Объясните принципы работы MapReduce. В чём его преимущества и недостатки?

Объясните принципы работы MapReduce. В чём его преимущества и недостатки?

MapReduce — это фреймворк для распределённой обработки больших наборов данных на кластерах компьютеров. Это парадигма разделяй-и-властвуй для параллельной обработки, которая стала основой Hadoop и популярна для обработки петабайт данных.

Основные принципы MapReduce

MapReduce состоит из двух фаз:

1. Map фаза (Отображение)

Функция Map получает входные данные и преобразует их в пары ключ-значение (key-value pairs).

def map_function(key, value):
    """
    Входные параметры:
    - key: позиция в файле (смещение байт)
    - value: строка из входного файла
    
    Выход: последовательность (intermediate_key, intermediate_value) пар
    """
    words = value.split()
    for word in words:
        yield (word, 1)  # Выдаём (слово, 1) для каждого слова

# Пример входа:
# (0, "hello world")
# (13, "hello hadoop")
#
# Пример выхода Map:
# ("hello", 1), ("world", 1), ("hello", 1), ("hadoop", 1)

2. Reduce фаза (Свёртка)

Функция Reduce получает все значения с одинаковым ключом и агрегирует их.

def reduce_function(key, values):
    """
    Входные параметры:
    - key: промежуточный ключ
    - values: список всех значений для этого ключа
    
    Выход: финальные пары (key, result)
    """
    return (key, sum(values))  # Суммируем все значения

# Пример входа для reduce:
# ("hello", [1, 1])  # Все значения с ключом "hello"
# ("world", [1])
# ("hadoop", [1])
#
# Пример выхода Reduce:
# ("hello", 2), ("world", 1), ("hadoop", 1)

Промежуточный этап: Shuffle and Sort

Между Map и Reduce этапами происходит:

1. Shuffle — все пары (key, value) группируются по ключам
2. Sort — данные сортируются по ключам

Мап Выход:
(word1, 1), (word2, 1), (word1, 1), (word3, 1)
           ↓ Shuffle & Sort
Reduce Вход:
(word1, [1, 1]), (word2, [1]), (word3, [1])

Полный пример: Подсчёт слов

from mrjob.job import MRJob

class WordCount(MRJob):
    def mapper(self, _, line):
        """Map функция: разбиваем строку на слова"""
        for word in line.split():
            yield word, 1
    
    def reducer(self, word, counts):
        """Reduce функция: суммируем счётчики"""
        yield word, sum(counts)

if __name__ == '__main__':
    WordCount.run()

# Использование:
# python word_count.py data.txt
#
# Результат:
# "hello"	2
# "world"	1
# "hadoop"	1

Архитектура Hadoop MapReduce

┌─────────────────────────────────────┐
│      Входные данные                 │
│    (HDFS файлы)                     │
└────────┬────────────────────────────┘
         │
    ┌────┴──────────────────────────────┐
    │ Input Format (разбиение на блоки) │
    └────┬──────────────────────────────┘
         │
    ┌────▼─────────────────────────────┐
    │  Map Phase (параллельно)         │
    │  ├─ Map Task 1: блок 1           │
    │  ├─ Map Task 2: блок 2           │
    │  └─ Map Task 3: блок 3           │
    └────┬─────────────────────────────┘
         │
    ┌────▼──────────────────────────────┐
    │  Shuffle & Sort                   │
    │  (группировка по ключам)          │
    └────┬──────────────────────────────┘
         │
    ┌────▼─────────────────────────────┐
    │  Reduce Phase (параллельно)      │
    │  ├─ Reduce Task 1: ключи A-M     │
    │  ├─ Reduce Task 2: ключи N-Z     │
    │  └─ ...                          │
    └────┬─────────────────────────────┘
         │
    ┌────▼──────────────────────────────┐
    │  Выходные данные (HDFS)           │
    └─────────────────────────────────┘

Пример: Подсчёт среднего значения по группам

class AverageByDepartment(MRJob):
    def mapper(self, _, line):
        # Входные данные: "John,Sales,50000"
        name, department, salary = line.split(',')
        yield department, int(salary)
    
    def reducer(self, department, salaries):
        salaries_list = list(salaries)
        avg = sum(salaries_list) / len(salaries_list)
        yield department, avg

# Входные данные:
# John,Sales,50000
# Jane,Sales,55000
# Bob,IT,60000
# Alice,IT,65000
#
# Выходные данные:
# Sales	52500.0
# IT	62500.0

Преимущества MapReduce

1. Масштабируемость

Инфраструктура:
┌──────────┐    ┌──────────┐    ┌──────────┐
│  Node 1  │    │  Node 2  │    │  Node 3  │
│(Map/Red) │    │(Map/Red) │    │(Map/Red) │
└──────────┘    └──────────┘    └──────────┘
     │               │               │
     └───────────────┼───────────────┘
                HDFS Network

100 узлов = 100x параллелизм

1. Отказоустойчивость — если узел упадёт, задача переиспользуется
2. Локальность данных — Map задачи работают на тех же узлах, где хранятся данные
3. Простота программирования — не нужно заботиться о синхронизации
4. Универсальность — применяется к любым задачам обработки данных

Недостатки MapReduce

1. Производительность I/O

MapReduce часто переписывает данные на диск несколько раз:

HDFS → Map → Диск → Shuffle → Диск → Reduce → HDFS

Каждое переписывание на диск = задержка

2. Неэффективность для итеративных алгоритмов

# MapReduce требует несколько проходов для итеративных задач
for iteration in range(10):
    # Каждая итерация = новая Map/Reduce работа
    # Каждая работа = полное переписывание на диск
    output = run_mapreduce()

3. Сложность с графами и машинным обучением

# MapReduce плохо подходит для:
# - Граф-обработки (нужна итерация по рёбрам)
# - Машинного обучения (нужна итерация по параметрам)
# - Интерактивной аналитики (нужны быстрые запросы)

4. Статус задачи и отладка

Sложно отследить статус длительной работы и отладить проблемы.

5. Неиспользование памяти

MapReduce предполагает работу с диском даже когда данные могут fit в памяти.

Сравнение с современными подходами

Когда всё ещё использовать MapReduce

✅ Используй MapReduce когда:

• Нужна очень высокая отказоустойчивость
• Инфраструктура уже на Hadoop
• Данные очень большие (петабайты) и простые для обработки
• Не нужна скорость

❌ Не используй MapReduce когда:

• Нужна быстрая обработка (используй Spark)
• Нужны потоковые данные (используй Kafka + Stream Processing)
• Нужна интерактивная аналитика (используй SQL на columnar БД)
• Нужно машинное обучение (используй Spark MLlib)

Современная эволюция

Hadoop Ecosystem 2024:

Hadoop 1.0 (2006): MapReduce
        ↓
Hadoop 2.0 (2013): YARN + MapReduce + HBase + Hive
        ↓
Spark Era (2014+): Spark SQL, Spark Streaming заменили MapReduce
        ↓
Kubernetes Era (2019+): HDFS → S3/GCS + Spark on K8s
        ↓
Serverless (2024+): Databricks, Snowflake, BigQuery — никакой инфраструктуры

Итог

MapReduce — это исторический фреймворк, который:

• Решил проблему обработки петабайт данных в 2000-х
• Установил парадигму распределённой обработки
• Сейчас заменён более быстрыми решениями (Spark, Flink)
• Всё ещё используется в legacy системах

Для новых проектов используй Spark или Flink, а не MapReduce.