Расскажи про Big data стэк

Расскажи про Big data стэк

Полная архитектура

Data Sources → Ingestion → Storage → Processing → Analytics → Visualization APIs → Kafka → HDFS → Spark → ClickHouse → Tableau Databases Logstash S3 Flink PostgreSQL Grafana

Слои Big Data Stack

1. Data Ingestion (Сбор)

Инструменты:

• Kafka — высоконагруженные потоки (100k+ events/sec)
• Logstash — логирование
• Beats (Filebeat, Metricbeat) — метрики

2. Data Storage (Хранение)

Batch:

• HDFS — Hadoop Distributed File System
• S3 — Amazon cloud storage
• Parquet/ORC format — оптимизированные форматы

Streaming:

• Kafka topics — буфер
• Redis — кеширование

3. Data Processing (Обработка)

Batch:

from pyspark.sql import SparkSession
spark = SparkSession.builder.appName("BigData").getOrCreate()
df = spark.read.parquet("s3://bucket/data/")
result = df.groupBy("user_id").agg({"purchase": "sum"})
result.write.parquet("s3://bucket/processed/")

Stream:

• Spark Structured Streaming — микробатчинг
• Flink — истинный streaming

4. Data Warehouse (Analytics)

CREATE TABLE events (
    event_time DateTime,
    user_id UInt32,
    event_type String
) ENGINE = MergeTree() ORDER BY (user_id, event_time)
PARTITION BY toDate(event_time);

Или: BigQuery (Google), Redshift (AWS), Snowflake

5. Data Lake (озеро данных)

s3://my-datalake/ ├── raw/ # Сырые данные ├── processed/ # Обработанные └── curated/ # Для BI

6. Orchestration (Оркестрация)

Apache Airflow:

from airflow import DAG
from airflow.operators.spark_operator import SparkOperator
dag = DAG('sales_pipeline', schedule_interval='0 2 * * *')
extract >> transform >> load

Components справочник

Kafka: Real-time events > 100k/sec Spark: Batch & stream, < 1M events/sec Flink: Истинный streaming, сложная логика ClickHouse: Аналитические запросы, триллионы строк Airflow: Scheduling complex DAGs dbt: ELT (Extract Load Transform)

Big Data Skills для Data Engineer'а

Core:

• SQL (трансформация)
• Python (automation)
• Distributed systems (Spark, Kafka)
• Cloud platforms (AWS, GCP)

Advanced:

• Stream processing
• Infrastructure as Code (Terraform)
• Data quality (Great Expectations)
• Monitoring (Prometheus)

Итог

Big Data Stack — это экосистема инструментов. Каждый решает свою задачу:

• Ingestion → Kafka
• Storage → HDFS/S3
• Processing → Spark/Flink
• Analytics → ClickHouse/BigQuery
• Orchestration → Airflow