В чем разница по объему памяти между stack и heap?

В чем разница по объему памяти между stack и heap?

Stack и Heap — это два разных типа памяти в компьютере, которые используются для хранения различных данных при выполнении программы. Понимание различий критично для написания эффективного кода в Data Science.

Stack (Стек)

Stack — это структура памяти LIFO (Last In First Out), используемая для хранения локальных переменных и информации о вызовах функций.

def calculate(x, y):
    # При вызове функции создаётся stack frame
    result = x + y  # Локальная переменная в stack
    return result

# На диаграмме памяти:
# Stack:
# | result (4 байта, int)
# | y (8 байт, в Python всегда объект)
# | x (8 байт, в Python всегда объект)
# | return address
# |___________________

Характеристики:

• Размер ограничен: обычно 1-8 MB
• Очень быстро: поскольку это просто указатель, помещение O(1)
• Автоматическое освобождение: при выходе из функции память освобождается
• LIFO порядок: последняя переменная удаляется первой
• Переполнение: StackOverflow если рекурсия слишком глубокая

# Пример переполнения stack
def infinite_recursion(n):
    return infinite_recursion(n + 1)

# infinite_recursion(0)  # RecursionError: maximum recursion depth exceeded

Heap (Куча)

Heap — это неупорядоченная область памяти для динамического распределения объектов.

# В Python почти всё на heap
class DataScientist:
    def __init__(self, name):
        self.name = name  # Объект на heap

ds = DataScientist("Alice")  # Ссылка на heap в переменной ds (в stack)

# На диаграмме памяти:
# Stack:
# | ds → (адрес на heap)
# |
# Heap:
# | DataScientist object: {"name": "Alice"}

Характеристики:

• Размер большой: обычно остаток доступной памяти (гигабайты)
• Медленнее: нужно искать свободное место
• Ручное/автоматическое освобождение: требуется garbage collection или явное удаление
• Не упорядочено: порядок выделения случаен
• Фрагментация: может привести к неэффективному использованию памяти

Сравнение по объёму памяти

Практический пример: почему это важно в Data Science

import numpy as np

# Allocate большой array на heap
data = np.array([1, 2, 3] * 1000000)  # ~24 MB на heap

# Создание локальной переменной на stack
def process_data(array):
    # stack использует только указатель на array (8 байт на 64-bit)
    sum_value = 0  # 8 байт на stack
    
    for i in range(len(array)):
        sum_value += array[i]  # Читаем из heap
    
    return sum_value

# result на stack (8 байт)
result = process_data(data)

Проблема: утечка памяти на Heap

# Плохо: создаём объекты без освобождения
large_arrays = []
for i in range(1000000):
    arr = np.zeros((1000, 1000))  # Каждый на heap
    large_arrays.append(arr)  # Ссылка на stack, но объект на heap

# Heap: переполнен 1 миллиардом элементов!

# Хорошо: освобождаем ненужные объекты
def process_in_batches():
    for i in range(1000000):
        arr = np.zeros((1000, 1000))  # На heap
        process_batch(arr)
        del arr  # Явно удаляем, heap может освободить

Python специфика

# В Python:
# - Всё, кроме примитивов (int, float, bool) → heap
# - Примитивы также могут быть на heap (в CPython)

# Stack
def function():
    x = 5  # Может быть на stack (в режиме оптимизации)
    s = "hello"  # На heap (строка — объект)
    lst = [1, 2, 3]  # На heap (список — объект)

# Примечание: в Jython/IronPython может быть иначе

Optimization в контексте Data Science

# Плохо: копируем данные много раз
def inefficient_process(data):
    data_copy = data.copy()  # Новое место на heap
    data_squared = data_copy ** 2  # Ещё одно на heap
    return data_squared.sum()

# Хорошо: используем in-place операции
def efficient_process(data):
    return (data ** 2).sum()  # Минимум временных объектов

# Лучше: используем NumPy broadcasting
import numpy as np
data = np.array([1, 2, 3, 4, 5])
result = np.power(data, 2).sum()  # Оптимизировано на уровне C

Memory Profiling

# Используй memory_profiler для анализа
from memory_profiler import profile

@profile
def my_function():
    arr = np.zeros((10000, 10000))  # ~800 MB на heap
    return arr.sum()

# Запуск: python -m memory_profiler script.py