В каких ситуациях используешь Python

Python в работе Data Analyst: использование и практические применения

Python — это основной инструмент в моём арсенале как аналитика, особенно когда нужна гибкость и специализированная обработка данных.

Когда я использую Python

1. Обработка и трансформация больших объёмов данных

• Когда SQL неудобен или неэффективен для сложных преобразований
• Работа с иерархическими структурами данных (JSON, вложенные объекты)
• Очистка и нормализация данных перед загрузкой в DWH

2. Machine Learning и прогнозирование

• Построение моделей для предсказания тренда
• Сегментация пользователей с использованием scikit-learn
• Анализ временных рядов с statsmodels

3. Автоматизация аналитических процессов

• Парсинг HTML/XML с BeautifulSoup или Selenium
• Работа с API внешних сервисов
• Автоматическое генерирование отчётов

4. Статистический анализ и визуализация

• Расчёт корреляций и проверка гипотез
• Создание интерактивных графиков с Plotly
• А/B тестирование с statsmodels

Примеры из практики

Сценарий 1: Очистка и обогащение данных

import pandas as pd
import numpy as np
from datetime import datetime

df = pd.read_csv('raw_events.csv')

# Удаление дубликатов и пропусков
df = df.drop_duplicates(subset=['user_id', 'event_time'])
df = df.dropna(subset=['user_id'])

# Преобразование типов
df['event_time'] = pd.to_datetime(df['event_time'])
df['revenue'] = pd.to_numeric(df['revenue'], errors='coerce')

# Создание признаков
df['hour'] = df['event_time'].dt.hour
df['day_of_week'] = df['event_time'].dt.day_name()
df['is_weekend'] = df['day_of_week'].isin(['Saturday', 'Sunday']).astype(int)

# Группировка и агрегация
summary = df.groupby('user_id').agg({
    'revenue': ['sum', 'count', 'mean'],
    'event_time': 'count'
}).reset_index()

Сценарий 2: Статистический анализ и тестирование

from scipy import stats

# A/B тест
control = df[df['group'] == 'A']['conversion']
treatment = df[df['group'] == 'B']['conversion']

t_stat, p_value = stats.ttest_ind(control, treatment)

if p_value < 0.05:
    print(f'Результат статистически значим (p-value: {p_value:.4f})')
    print(f'Разница конверсии: {treatment.mean() - control.mean():.2%}')
else:
    print('Нет статистически значимой разницы')

# Расчёт доверительного интервала
from scipy import stats
mean = df['revenue'].mean()
std_err = stats.sem(df['revenue'])
ci = stats.t.interval(0.95, len(df)-1, loc=mean, scale=std_err)
print(f'95% CI для среднего дохода: {ci[0]:.2f} - {ci[1]:.2f}')

Сценарий 3: Парсинг данных из API

import requests
import json

api_url = 'https://api.example.com/events'
headers = {'Authorization': f'Bearer {api_key}'}

events = []
for page in range(1, 11):
    response = requests.get(
        api_url,
        headers=headers,
        params={'page': page, 'limit': 100}
    )
    if response.status_code == 200:
        events.extend(response.json()['data'])
    else:
        print(f'Ошибка: {response.status_code}')
        break

df = pd.json_normalize(events)

Когда я предпочитаю SQL

• Для простых SELECT/JOIN/GROUP BY операций (быстрее выполняется на БД)
• Когда нужна работа с очень большими объёмами данных (не поместятся в памяти)
• Для регулярных, повторяемых запросов (более эффективно в Airflow)

Инструменты и библиотеки

Основной stack

• pandas: манипуляция и анализ данных
• numpy: численные вычисления
• scipy/statsmodels: статистика и тестирование
• scikit-learn: машинное обучение
• matplotlib/seaborn/plotly: визуализация

Дополнительные инструменты

• requests: работа с HTTP API
• beautifulsoup4: парсинг HTML
• sqlalchemy: работа с БД из Python
• jupyter: интерактивный анализ

Best practices

• Использую виртуальные окружения (venv) для изоляции зависимостей
• Версионирую код на Git
• Пишу unit-тесты для критических функций
• Документирую код с docstrings
• Профилирую код перед оптимизацией

Python даёт мне гибкость для быстрого прототипирования и детального анализа, но я всегда выбираю инструмент по задаче, а не использую Python везде.