Что такое потоковая обработка данных?

Потоковая обработка данных: Real-time Processing

Потоковая обработка данных (Stream Processing) — это технология обработки данных в режиме реального времени по мере их поступления, в отличие от традиционной пакетной обработки, которая обрабатывает данные блоками. Это критически важный компонент современной архитектуры Data Engineering.

Пакетная обработка vs Потоковая обработка

Пакетная обработка (Batch Processing):

Данные накапливаются → Запуск ETL → Обработка всех данных → Результат
(с задержкой)                      (Часы, дни)

Потоковая обработка (Stream Processing):

Данные поступают → Обработка в реальном времени → Результат
(непрерывно)       (миллисекунды, секунды)

Ключевые характеристики потоковой обработки

1. Real-time — результаты доступны практически немедленно
2. Continuous — обработка никогда не прерывается, работает 24/7
3. Stateless или Stateful — может хранить состояние для окна данных
4. High throughput — обработка миллионов событий в секунду
5. Low latency — задержка в миллисекундах или секундах

Примеры потоковой обработки в реальной жизни

• Мониторинг систем — алерты при аномалиях
• Рекомендации —Real-time персонализированные предложения
• Финтех — детектирование мошенничества
• IoT — обработка sensor data с миллионов устройств
• Аналитика — Real-time дашборды

Популярные фреймворки потоковой обработки

Практический пример: Обнаружение мошенничества

Архитектура:

Кредитные карты → Kafka Topic → Flink Job → Alert если > 3 транзакции за 1 сек

Apache Flink код:

from pyflink.datastream import StreamExecutionEnvironment
from pyflink.datastream.functions import KeyedProcessFunction

env = StreamExecutionEnvironment.get_execution_environment()

# Читаем из Kafka
kafka_stream = env.add_source(...)

# Группируем по card_id и обнаруживаем паттерны
class FraudDetector(KeyedProcessFunction):
    def process_element(self, value, ctx):
        # Проверяем количество транзакций за окно времени
        if self.check_fraud(value):
            yield ("ALERT", value)

kafka_stream.key_by(lambda x: x['card_id']) \
    .process(FraudDetector()) \
    .add_sink(alert_sink)

env.execute("Fraud Detection")

Концепции потоковой обработки

1. Event Time vs Processing Time vs Ingestion Time

Event Time: 14:30:00 — когда событие произошло
Ingestion Time: 14:30:05 — когда событие поступило в систему
Processing Time: 14:30:07 — когда система обработала событие

Важно использовать Event Time для корректной аналитики!

2. Windowing (Окна)

Обработка данных в окнах времени или по количеству элементов:

# Tumbling Window (не пересекаются)
kafka_stream.key_by(lambda x: x['user_id']) \
    .window(TumblingEventTimeWindow.of(Time.seconds(10))) \
    .apply(SumAggregation())

# Sliding Window (пересекаются)
kafka_stream.window(SlidingEventTimeWindow.of(
    Time.seconds(30),  # размер окна
    Time.seconds(10)   # сдвиг
))

# Session Window (по активности)
kafka_stream.window(EventTimeSessionWindow.with_gap(
    Time.seconds(60)  # если нет событий 60 сек, новое окно
))

3. Stateful Processing

Хранение состояния между событиями:

class CountingReducer:
    def __init__(self):
        self.state = {}  # RuntimeContext управляет состоянием
    
    def reduce(self, value1, value2):
        # Flink отвечает за сохранение этого в State Backend
        return value1 + value2

4. Backpressure (Противодавление)

Что если обработчик не успевает за потоком данных?

Кафка: 10MB/s → Flink job: 5MB/s
↓
Заполняется очередь → Противодавление
↓
Кафка замедляет отправку → Система стабилизируется

Вызовы потоковой обработки

1. Гарантии доставки

   • At-most-once (может потерять данные)
   • At-least-once (может обработать дважды)
   • Exactly-once (идеально, но дороже)

2. Обработка поздних данных — что если событие пришло с задержкой?

3. Управление состоянием — как хранить большие состояния?

4. Масштабирование — как добавлять новые инстанции без потери данных?

Сравнение: Batch vs Stream

Практический совет для Data Engineer

Используй потоковую обработку когда:

• Нужны результаты в реальном времени (< 1 минуты)
• Объём данных огромный (terabytes/day)
• Важна реакция на аномалии
• Нужна высокая availability

Используй пакетную обработку когда:

• Задержка в часы приемлема
• Нужны сложные трансформации
• Требуется переработать всю историю
• Бюджет ограничен

Вывод

Потоковая обработка — это будущее Data Engineering. Из batch-only мира мы переходим в мир lambda architecture (batch + stream) и kappa architecture (только stream). Понимание потоковой обработки — критический навык современного Data Engineer.