Что используешь для ведения аналитики?

Инструменты аналитики для Python разработчиков

Контекст вопроса

Аналитика в контексте разработки может означать разные вещи:

1. Application Monitoring — отслеживание ошибок, performance
2. Business Analytics — метрики пользователей, конверсии
3. Performance Analytics — CPU, memory, запросы к БД
4. Data Analytics — анализ данных для insights

Правильный ответ должен показать осведомлённость о различных инструментах и когда их использовать.

1. Application Performance Monitoring (APM)

Sentry — отслеживание ошибок

import sentry_sdk
from sentry_sdk.integrations.flask import FlaskIntegration

sentry_sdk.init(
    dsn="https://key@sentry.io/project-id",
    integrations=[FlaskIntegration()],
    traces_sample_rate=0.1,
    environment="production"
)

try:
    result = 1 / 0
except Exception as e:
    sentry_sdk.capture_exception(e)

New Relic — полный мониторинг приложения

import newrelic.agent

newrelic.agent.initialize("newrelic.ini")

class ApplicationMonitoring:
    def __init__(self):
        self.tools = {
            "response_time": "tracked automatically",
            "throughput": "tracked automatically",
            "error_rate": "tracked automatically",
            "database_queries": "tracked automatically"
        }

DataDog — комплексный мониторинг

from datadog import initialize, api

options = {
    "api_key": "YOUR_API_KEY",
    "app_key": "YOUR_APP_KEY"
}

initialize(**options)

2. Логирование и структурированная аналитика

Structured Logging — правильный путь

import logging
import json

logger = logging.getLogger()
handler = logging.StreamHandler()

logger.info(
    "User login",
    extra={
        "user_id": 123,
        "ip_address": "192.168.1.1",
        "duration_ms": 250
    }
)

ELK Stack (Elasticsearch, Logstash, Kibana)

class LogAnalyticsStack:
    components = {
        "Elasticsearch": "Search and analytics engine",
        "Logstash": "Data processing pipeline",
        "Kibana": "Visualization and dashboards"
    }

3. Метрики и Monitoring

Prometheus — стандарт DevOps индустрии

from prometheus_client import Counter, Histogram, Gauge

request_count = Counter(
    "app_requests_total",
    "Total HTTP requests",
    ["method", "endpoint"]
)

request_latency = Histogram(
    "app_request_latency_seconds",
    "Request latency in seconds",
    buckets=(0.1, 0.5, 1.0, 2.0)
)

memory_usage = Gauge(
    "app_memory_bytes",
    "Memory usage in bytes"
)

StatsD — лёгкий вариант для метрик

from statsd import StatsClient

statsd = StatsClient("localhost", 8125)

statsd.incr("request.count")
statsd.timing("request.latency", 250)
statsd.gauge("memory.usage", 512)

4. Трассировка (Tracing)

OpenTelemetry — стандарт для distributed tracing

from opentelemetry import trace
from opentelemetry.sdk.trace import TracerProvider
from opentelemetry.sdk.trace.export import SimpleSpanProcessor
from opentelemetry.exporter.jaeger import JaegerExporter

jaeger_exporter = JaegerExporter(
    agent_host_name="localhost",
    agent_port=6831,
)

trace.set_tracer_provider(TracerProvider())
tracer = trace.get_tracer(__name__)

with tracer.start_as_current_span("my_function") as span:
    span.set_attribute("user_id", 123)
    with tracer.start_as_current_span("database_query") as child_span:
        pass

5. Business Analytics

Mixpanel / Amplitude — отслеживание пользовательского поведения

from mixpanel import Mixpanel

mp = Mixpanel("YOUR_TOKEN")

mp.track(user_id, "User Login", {
    "source": "email",
    "device": "mobile"
})

mp.people_set(user_id, {
    "Email": "user@example.com",
    "Plan": "premium"
})

Google Analytics (для веб)

class GoogleAnalyticsTracking:
    def track_event(self):
        return {
            "category": "User",
            "action": "Login",
            "label": "email_signup"
        }

6. Data Analytics

SQL и Data Warehouse

import pandas as pd
from sqlalchemy import create_engine

engine = create_engine("postgresql://user:password@localhost/db")

query = """
SELECT 
    DATE_TRUNC("day", created_at) as day,
    COUNT(*) as total_users,
    COUNT(CASE WHEN is_active THEN 1 END) as active_users
FROM users
GROUP BY 1
ORDER BY 1 DESC
"""

df = pd.read_sql(query, engine)
print(df)

Рекомендуемый стек в 2024

Для разных сценариев:

analytics_stack = {
    "для_ошибок": "Sentry (бесплатный до определенного уровня)",
    "для_логов": "Structured logging + Loki/ELK Stack",
    "для_метрик": "Prometheus + Grafana",
    "для_трейсинга": "OpenTelemetry + Jaeger",
    "для_APM": "DataDog или New Relic (платные, но мощные)",
    "для_бизнеса": "Amplitude / Mixpanel",
    "для_data": "DuckDB / BigQuery + dbt для трансформации"
}

Пример ответа на интервью

Вариант 1 — практический подход:

Я использую разные инструменты для разных целей:

• Sentry для отслеживания ошибок в production
• Prometheus с Grafana для метрик и мониторинга
• Structured logging (JSON) и отправка в ELK для анализа логов
• OpenTelemetry для distributed tracing в микросервисной архитектуре Для бизнес-метрик используем Amplitude. Всё это интегрируется в единый мониторинг.

Вариант 2 — если есть опыт:

На моём последнем проекте мы использовали DataDog для полного стека аналитики. В стартапах обычно комбинирую Sentry (ошибки), Prometheus (метрики), Google Analytics (бизнес) и Kibana (логи).

Выводы

1. Правильная аналитика — основа production систем
2. Структурированное логирование — обязательно для больших систем
3. Prometheus — стандарт для метрик в DevOps
4. OpenTelemetry — будущее для трейсинга (стандарт CNCF)
5. Не бери слишком сложные инструменты для маленьких проектов
6. Комбинируй инструменты — нет одного идеального решения
7. Логирование и аналитика — это не опция, а обязательность в production