Какой принцип работы garbage collector?

Принцип работы Garbage Collector

Garbage Collector (GC) — это автоматический механизм управления памятью, который освобождает неиспользуемую память. Это особенно важно при работе с большими датасетами и долгоживущими процессами в Data Science.

Основной принцип

GC отслеживает объекты в памяти и удаляет те, которые больше не используются программой. Это избавляет разработчика от ручного управления памятью (как в C/C++), снижая риск утечек памяти и ошибок.

Алгоритмы сборки мусора

Reference Counting (Подсчёт ссылок)

• Каждый объект имеет счётчик ссылок на него
• Когда переменная присваивается объекту, счётчик увеличивается
• Когда переменная выходит из области видимости или переприсваивается, счётчик уменьшается
• Когда счётчик = 0, объект удаляется немедленно

Плюсы: немедленная очистка, предсказуемо Минусы: не может удалить циклические ссылки; Python использует это

Mark and Sweep (Пометить и очистить)

• GC проходит по графу объектов, начиная с корней (глобальные переменные, локальные переменные в стеке)
• Помечает все достижимые объекты как живые
• Удаляет все непомеченные объекты

Плюсы: справляется с циклическими ссылками Минусы: требует остановки программы, задержка (pause)

Generational Garbage Collection

• Объекты разделены на поколения: молодые, среднего возраста, старые
• Молодые объекты проверяются часто (их много и они быстро умирают)
• Старые объекты проверяются редко (их мало и они обычно живут долго)
• Отличный баланс между скоростью и корректностью

Python использует именно это: Reference Counting для быстрого удаления + Mark and Sweep для циклических ссылок, организованные по поколениям.

В контексте Data Science

Проблемы в ML-пайплайнах:

1. Утечка памяти при работе с большими датасетами — объекты остаются в памяти, если есть циклические ссылки
2. Долгоживущие процессы (обучение моделей) — во время обучения нейросети градиенты и активации занимают память, GC работает, но не всегда достаточно часто
3. Параллельные процессы (multiprocessing) — каждый процесс имеет собственный GC, нужно внимательнее следить за памятью

Управление GC в производстве

Отключение автоматического GC на критических участках может улучшить производительность на 10-30%, если GC работает слишком часто. После завершения критического кода нужно включить GC обратно и вызвать сборщик мусора явно.

Это компромисс между удобством (нет необходимости вручную управлять памятью) и производительностью (задержки на сборку мусора). В Data Science чаще всего используется generational GC Python с Reference Counting, что хорошо подходит для анализа данных и обучения моделей.