В каких случаях задача может требовать различное количество памяти

Факторы, влияющие на требуемый объём памяти при обработке данных

Объём требуемой памяти зависит от множества факторов. За 10+ лет я сталкивался с задачами, где один и тот же алгоритм требовал от 100 MB до 100 GB памяти. Вот ключевые случаи:

1. Размер входных данных

Очевидно, но критично:

# Обработка 1000 строк
df = pd.read_csv('small.csv')  # ~10 MB в памяти

# Обработка 1 млрд строк
# Нужно читать чанками
for chunk in pd.read_csv('huge.csv', chunksize=10000):
    process_chunk(chunk)  # Каждый чанк ~50 MB

Правило: DataFrame в памяти в 5-10 раз больше, чем на диске (в CSV). Используй memory_usage() для проверки.

2. Тип данных (dtype)

Останавливается многие:

# НЕПРАВИЛЬНО
df['id'] = df['id'].astype('int64')  # 8 bytes per value
df['status'] = pd.Categorical(['A', 'B'] * 500000)  # 1 byte per value

# ПРАВИЛЬНО
df['id'] = df['id'].astype('int32')  # 4 bytes per value
df['status'] = df['status'].astype('category')  # Хранит индексы

# Экономия памяти на объекте
import psutil
print(df.memory_usage(deep=True).sum() / 1024**2, 'MB')

Пример: Строковые столбцы (object dtype) требуют в 10 раз больше памяти, чем категории.

3. Операции, требующие промежуточного хранения

JOIN'ы и GROUP BY

-- Требует полной загрузки обеих таблиц в памяти для hash-join
SELECT a.id, a.value, b.metric
FROM large_table_a a
JOIN large_table_b b ON a.id = b.id;

-- Решение: стримить данные, не вся таблица сразу
SELECT a.id, COUNT(*) 
FROM events a
GROUP BY a.id;  -- Память зависит от количества уникальных ID

Distinct/Unique значения

# Требует хранить ВСЕ уникальные значения в памяти
unique_ids = df['user_id'].unique()  # Если 1M уникальных - ~8 MB

# При 1 млрд уникальных значений - 8 GB памяти!
# Решение: использовать approximate counting
import hyperloglog
hll = HyperLogLog()
for batch in batches:
    hll.update(batch['user_id'])

4. Сложность алгоритма

Сортировка

# Требует дублирования данных во время сортировки
df.sort_values('column')  # ~2x оригинальной памяти

# Для больших данных
df.sort_values('column', ascending=False, na_position='last')
# Может потребоваться 3x памяти в худшем случае

Кумулятивные функции

# Этот запрос требует хранить ВСЕ значения до точки вычисления
SELECT 
  date,
  value,
  SUM(value) OVER (ORDER BY date) as cumsum
FROM events;

-- Для 1 млрд строк нужно хранить сумму в памяти
-- ~8 bytes на число

5. Уровень параллелизма

# Single-threaded: 1x данные
result = df.apply(expensive_func, axis=1)

# Multiprocessing: N x данные (копируется на каждый процесс!)
from multiprocessing import Pool
with Pool(4) as p:
    result = p.map(expensive_func, df.values)
# Итого: 4 копии DataFrame в разных процессах = 4x памяти

# Решение: Dask
import dask.dataframe as dd
ddf = dd.from_pandas(df, npartitions=4)
result = ddf.apply(expensive_func, meta=('x', 'f8')).compute()

6. Внешние форматы данных

# JSON - очень много памяти (текстовое)
import json
data = json.load(file)  # 10GB JSON → 15GB в памяти

# Parquet - оптимален
import pyarrow.parquet as pq
df = pq.read_table('data.parquet').to_pandas()  # 10GB Parquet → 8GB в памяти

# CSV - требует парсинга
df = pd.read_csv('data.csv')  # 10GB CSV → 12GB в памяти

7. Специфика данных (sparsity)

# Плотные данные: все значения заполнены
df = pd.DataFrame(np.random.rand(1000000, 100))  # 800 MB

# Разреженные данные: много нулей
from scipy import sparse
sparse_matrix = sparse.csr_matrix((1000000, 100))  # 0.8 MB

Практический подход к оценке

До запуска задачи:

1. Оцени размер: SELECT pg_total_relation_size('table') в БД
2. Выбери chunk size: для CSV/Parquet
3. Профилируй память:

import tracemalloc
tracemalloc.start()

# твой код

current, peak = tracemalloc.get_traced_memory()
print(f'Peak memory: {peak / 10**6:.1f} MB')

1. Используй инструменты:

# В PySpark
spy.conf.set('spark.executor.memory', '16g')

# В ClickHouse
SET max_memory_usage = 8000000000;  -- 8 GB

Вывод: память зависит не только от размера данных, но и от операций, типов данных, и алгоритмической сложности. Требуется профилирование и оптимизация для каждого конкретного случая.