Зачем нужны распределенные системы?

Зачем нужны распределенные системы?

Распределённые системы — это совокупность независимых компьютеров или узлов, которые работают параллельно и скоординированно для решения общей задачи. В контексте Data Engineering они абсолютно необходимы для обработки современных больших объёмов данных.

Основные причины использования распределённых систем

1. Масштабируемость (Scalability)

Обработка данных растет экспоненциально. Одна машина не может справиться:

Одна машина (16 ядер, 256GB RAM):
- Может обработать ~5 TB данных в день
- При 100 TB в день просто не справится

Распределённая система (100 машин):
- Может обработать ~500 TB данных в день
- Линейная масштабируемость

Примеры: Apache Spark на кластере из 1000 узлов обрабатывает петабайты данных, что невозможно на одной машине.

2. Высокая доступность (High Availability)

Если одна машина падает, система продолжает работать благодаря избыточности. Это критично для production систем:

# Пример высокой доступности в Kafka
# Topic с replication factor = 3
# Если 1 broker падает, данные всё ещё доступны на других
from kafka import KafkaProducer

producer = KafkaProducer(
    bootstrap_servers=['broker1:9092', 'broker2:9092', 'broker3:9092'],
    acks='all'  # Подтверждение от всех replicas
)
producer.send('events', b'data')

3. Отказоустойчивость (Fault Tolerance)

Система может выдержать отказ одного или нескольких узлов:

• В HDFS файлы реплицируются на 3 узлах
• В Cassandra каждый key хранится на нескольких узлах
• Apache Spark может переиспользовать данные если task провалился

4. Параллелизм и производительность

Задачи выполняются одновременно на разных узлах:

# Пример распределённой обработки в Spark
from pyspark.sql import SparkSession

spark = SparkSession.builder.master("spark://cluster:7077").getOrCreate()
df = spark.read.parquet("s3://data/large_file.parquet")

# Данные автоматически разделены на партиции
# Обработка идёт параллельно на всех узлах
result = df.filter(df.value > 100).groupBy("category").count()
result.write.parquet("s3://output/result")

5. Географическое распределение

Узлы могут быть размещены в разных регионах/дата-центрах:

• Снижает latency для конечных пользователей
• Обеспечивает disaster recovery
• Соответствие GDPR требованиям (данные в определённых географических местах)

Примеры распределённых систем в Data Engineering

Вызовы распределённых систем

Однако нужно учитывать сложность:

Теорема CAP (Consistency, Availability, Partition tolerance):

В распределённой системе невозможно гарантировать все три свойства одновременно.
Нужно выбирать: CP (Strong consistency) или AP (High availability)

Примеры:
- PostgreSQL (CP): консистентность важнее доступности
- DynamoDB (AP): доступность важнее немедленной консистентности

Другие вызовы:

• Network latency и partitions
• Сложность отладки (logs разбросаны)
• Сложность синхронизации между узлами
• Данные могут быть дублированы, потребляя больше storage

Когда использовать распределённые системы?

✅ Используй, если:

• Объём данных > 10 TB
• Нужна обработка в real-time
• Требуется высокая доступность (99.9%+ uptime)
• Нужна горизонтальная масштабируемость

❌ Не используй, если:

• Данные < 100 GB
• Batch обработка раз в день достаточна
• Одной машины хватает по производительности

Распределённые системы — это фундамент современного Data Engineering, без них невозможно работать с петабайтами данных эффективно.