Что такое неуправляемые ресурсы?

Что такое неуправляемые ресурсы?

Неуправляемые ресурсы — это ресурсы вычислительной системы, которые не контролируются автоматической системой управления памятью языка программирования (garbage collector). Они требуют явного освобождения вручную программистом, иначе произойдёт утечка памяти и деградация производительности.

Примеры неуправляемых ресурсов

• Файловые дескрипторы — подключённые файлы, потоки данных
• Сетевые соединения — socket-ы, HTTP-соединения, подключения к БД
• Выделенная память в C++ — указатели, выделённые через malloc/new
• GPU-память — при работе с TensorFlow, PyTorch
• Блокировки (locks) — mutex-ы, семафоры в многопоточном коде
• Временные файлы — кэш, логи, checkpoint-ы моделей

Проблемы при работе с неуправляемыми ресурсами

Утечка памяти — если не закрыть соединение с БД или файл, ресурс останется занят.

Деградация производительности — накопление открытых соединений замедляет систему.

Deadlock-и — забытые блокировки могут привести к взаимной блокировке потоков.

Исключения при масштабировании — код работает на малых данных, но падает на production на больших объёмах.

Правильное управление ресурсами на примере Python

# ❌ Плохо — ресурс не закроется при ошибке
file = open("data.csv", "r")
data = file.read()
file.close()

# ✅ Хорошо — контекстный менеджер автоматически закроет файл
with open("data.csv", "r") as file:
    data = file.read()

# ✅ Для БД соединений
with psycopg2.connect(dbname="ml_db") as conn:
    with conn.cursor() as cur:
        cur.execute("SELECT * FROM features")
        data = cur.fetchall()

# ✅ Для GPU памяти в PyTorch
import torch
tensor = torch.randn(1000, 1000)
del tensor  # освободить VRAM
torch.cuda.empty_cache()  # очистить кэш

Лучшие практики для Data Scientist-ов

1. Используй контекстные менеджеры (with statement) для файлов и соединений
2. Закрывай соединения с БД после каждого запроса или сессии
3. Очищай GPU память если работаешь с large models: torch.cuda.empty_cache()
4. Удаляй большие переменные явно: del large_array перед загрузкой нового dataset
5. Логируй открытые ресурсы в production для отладки утечек
6. Используй инструменты профилирования (memory_profiler, tracemalloc) для поиска утечек
7. Правильно завершай long-running процессы (например, при работе с Kafka, Redis)

В контексте ML-проектов это особенно важно при работе с большими моделями, долгоживущими обучающими процессами и production системами с ограниченными ресурсами.