С какими данными работал

Типы данных в моей практике

Обзор: очень разнообразный опыт

За 10+ лет работал с практически всеми типами данных, которые встречаются в большом бизнесе. Расскажу про самые значимые проекты.

1. E-commerce данные

Масштаб: 50 млн+ транзакций в месяц

-- Основные таблицы
Orders (order_id, user_id, amount, status, created_at)
OrderItems (item_id, order_id, product_id, quantity, price)
Products (product_id, category, price, stock)
Users (user_id, email, country, signup_date)
Payments (payment_id, order_id, method, amount, status)

Задачи анализа:

• RFM сегментация (Recency, Frequency, Monetary value)
• Анализ конверсии по фаннелам
• Когортный анализ (когда пользователи регистрируются, какой их lifecycle)
• Выявление fraud через аномалии в платежах
• Оптимизация цены через A/B тесты

Ключевые метрики:

• CAC (Customer Acquisition Cost)
• LTV (Lifetime Value)
• Retention Rate по месяцам
• AOV (Average Order Value)

2. СRM данные

Масштаб: 100k+ контактов, 50k+ сделок

Accounts (account_id, company_name, industry, created_at)
Contacts (contact_id, account_id, email, phone, title)
Deals (deal_id, account_id, amount, stage, close_date)
Activities (activity_id, contact_id, type, date, duration)

Анализы:

• Sales pipeline анализ (сколько денег на каждом этапе)
• Win/Loss rate по продавцам и регионам
• Среднее время закрытия сделки (Sales Cycle)
• Выявление потенциальных отвалов
• Предсказание revenue на основе открытых сделок

-- Пример: Pipeline анализ
SELECT 
  stage,
  COUNT(*) as count_deals,
  SUM(amount) as total_value,
  AVG(amount) as avg_deal_size,
  DATEDIFF(day, created_at, CURRENT_DATE) as avg_days_in_stage
FROM deals
WHERE created_at >= DATEADD(month, -12, CURRENT_DATE)
GROUP BY stage
ORDER BY stage;

3. Маркетинговые данные

Масштаб: 200M+ eventos, 10+ источников трафика

Источники:

• Google Analytics 4 (web events)
• Facebook Ads (impressions, clicks, conversions)
• Email маркетинг (opens, clicks, conversions)
• SMS (delivery, open rates)
• Attribution models

-- Events with attribution
Events (
  event_id,
  user_id,
  event_type,  -- page_view, add_to_cart, purchase
  source,      -- google, facebook, email, organic
  timestamp,
  event_value
)

AttributionModel (
  conversion_id,
  first_click_source,
  last_click_source,
  linear_attribution,  -- распределение кредита
  timestamp
)

Задачи:

• Анализ ROAS (Return on Ad Spend) по каналам
• Multi-touch attribution (кто на самом деле привел клиента)
• Оптимизация медиабюджета
• Анализ funnel'а: impression → click → conversion

-- ROAS по каналам за месяц
SELECT 
  source,
  SUM(ad_spend) as spend,
  SUM(revenue) as revenue,
  SUM(revenue) / SUM(ad_spend) as roas,
  COUNT(DISTINCT user_id) as users
FROM marketing_data
WHERE month = EXTRACT(MONTH FROM CURRENT_DATE)
GROUP BY source
ORDER BY roas DESC;

4. Product & Analytics данные

Масштаб: 1M+ DAU (Daily Active Users)

Sessions (session_id, user_id, start_time, duration, device_type)
PageViews (pageview_id, session_id, page, timestamp, time_on_page)
UserProperties (user_id, device_id, os, country, app_version)
FunnelEvents (user_id, funnel_step, timestamp, converted)

Анализы:

• Funnel анализ (sign up → onboarding → first action → paying)
• Retention curves (день 1, 7, 30 retention)
• Churn prediction (кто скоро бросит app)
• Feature adoption (какие пользователи используют новую фичу)
• Experiment результаты (A/B тесты)

# Retention анализ в Jupyter
import pandas as pd

# Когортный анализ
cohorts = df.groupby('signup_date')['user_id'].nunique()

# Retention по дням
for day in [1, 7, 30, 90]:
    retention = calculate_retention(df, days=day)
    print(f"Day {day} retention: {retention:.2%}")

5. Финансовые данные

Масштаб: 500k+ транзакций, 100+ валют

Transactions (
  tx_id,
  user_id,
  amount,
  currency,
  transaction_type,  -- deposit, withdrawal, transfer
  status,            -- completed, pending, failed
  timestamp,
  fx_rate           -- курс конвертации
)

BalanceHistory (
  user_id,
  date,
  available_balance,
  reserved_balance,
  currency
)

Задачи:

• Мониторинг fraud (необычные паттерны платежей)
• Анализ cash flow
• Риск оценка (есть ли у пользователя деньги на пополнение баланса)
• Изучение валютных операций

6. Временные ряды (Time Series)

Примеры:

• Website traffic (почасовое, посуточное)
• App download trends
• Revenue по дням/часам
• Real-time analytics

import pandas as pd
from statsmodels.tsa.arima.model import ARIMA

# Загружаем временной ряд
ts_data = pd.read_sql("""
  SELECT DATE, revenue
  FROM daily_revenue
  ORDER BY DATE
""", connection)

# ARIMA модель для прогноза
model = ARIMA(ts_data['revenue'], order=(1, 1, 1))
results = model.fit()
forecast = results.get_forecast(steps=30)

7. Данные IoT / Sensoris

Масштаб: 100+ устройств, 1М+ events в день

SensorEvents (
  device_id,
  sensor_type,  -- temperature, humidity, pressure
  value,
  timestamp,
  quality_flag  -- good, suspect, error
)

Анализы:

• Аномалия детекция
• Прогнозирование технического обслуживания
• Анализ надежности

8. Survey & NPS данные

Источник: Сотни тысяч survey responses

SurveyResponses (
  response_id,
  user_id,
  question_id,
  answer,  -- 1-10 для NPS
  feedback_text,
  created_at
)

Анализы:

• NPS тренды
• Sentiment analysis (положительный/отрицательный feedback)
• Корреляция между NPS и churn
• Выявление главных жалоб

9. Логи и Events

Объём: Миллиарды строк, EB+ данных

{
  "timestamp": "2024-01-15T10:30:45Z",
  "level": "ERROR",
  "service": "payment_service",
  "message": "Failed to process payment",
  "user_id": "123456",
  "error_code": "PAYMENT_TIMEOUT",
  "duration_ms": 5000
}

Анализы:

• Error rate мониторинг
• Performance анализ
• Выявление проблем в production

10. Данные партнеров / Marketplace

Примеры:

• Seller performance (рейтинги, reviews, sales)
• Buyer behavior (что покупает, когда, где)
• Inventory (есть ли товар в наличии)
• Delivery tracking

Инструменты для работы с этими данными

SQL:

PostgreSQL, MySQL, Vertica, Clickhouse, BigQuery

Python:

• Pandas (для трансформации)
• NumPy (для вычислений)
• Scikit-learn (для ML)
• Statsmodels (для временных рядов)

BI инструменты:

• Tableau (красивая визуализация)
• Looker (embedded BI)
• Metabase (простой BI)

Ключевые качества хорошего аналитика

1. Быстро адаптироваться к новым типам данных
2. Задавать правильные вопросы — "Откуда эти данные? Как они собираются?"
3. Верить в данные, но проверять — всегда валидировать
4. Понимать источники ошибок — bias в данных, missing values и т.п.
5. Рассказывать истории — цифры — это не конец анализа, это начало

Важное: В реальной жизни 80% времени аналитика уходит на очистку и трансформацию данных, и только 20% на сам анализ. Этому нужно быть готовым.