Какие знаешь критерии остановки в градиентном спуске?

Какие знаешь критерии остановки в градиентном спуске?

Критерии остановки (Stopping Criteria) в градиентном спуске

Градиентный спуск требует критериев для определения когда прекратить обучение. Это важная часть оптимизации, влияющая на скорость и качество модели.

1. Критерий на основе градиента

Останавливаемся, когда градиент становится очень маленьким: ||градиент|| < epsilon.

Преимущества:

• Логичен математически
• Ловит сходимость к локальному минимуму

Недостатки:

• Чувствителен к масштабу функции
• Может быть медленным

2. Критерий на основе изменения параметров

Останавливаемся, когда параметры почти не меняются: ||x_new - x_old|| < epsilon.

Используется когда интересует конвергенция параметров, а не функции.

3. Критерий на основе значения функции потерь

Останавливаемся, когда функция потерь перестает улучшаться: |f(x_new) - f(x_old)| < epsilon.

Лучший выбор для практики — смотрим на улучшение loss.

4. Критерий максимального количества итераций

Просто останавливаемся после N итераций: iteration >= max_iterations.

Используется как резервная остановка в комбинации с другими критериями.

5. Early Stopping (Ранняя остановка) — САМЫЙ ВАЖНЫЙ

Останавливаемся, когда метрика на валидации перестает улучшаться.

from sklearn.neural_network import MLPClassifier

model = MLPClassifier(
    hidden_layer_sizes=(100, 50),
    early_stopping=True,
    n_iter_no_change=10,  # 10 итераций без улучшения = стоп
    validation_fraction=0.1,
)

Критерии:

• n_iter_no_change: количество итераций без улучшения
• validation_fraction: размер валидационного набора
• Обычно используют 10-50 итераций без улучшения

6. Критерий для бустинга (XGBoost, LightGBM)

from xgboost import XGBClassifier

model = XGBClassifier(
    n_estimators=1000,
    learning_rate=0.1,
)

model.fit(
    X_train, y_train,
    eval_set=[(X_val, y_val)],
    eval_metric='logloss',
    early_stopping_rounds=50,  # 50 деревьев без улучшения = стоп
    verbose=10,
)

Параметры:

• early_stopping_rounds: количество раундов без улучшения
• eval_set: набор для валидации
• eval_metric: метрика для отслеживания

7. Критерий на основе относительного улучшения

Останавливаемся, когда относительное улучшение мало: (f_old - f_new) / f_old < epsilon.

8. Критерий на основе обобщающей способности

Останавливаемся, когда train-val разница растет (переобучение). Используем patience для количества эпох без улучшения на валидации.

9. Комбинированный критерий (рекомендуется)

Используем несколько критериев вместе:

1. Малый градиент
2. Малое улучшение loss
3. Ранняя остановка (early stopping)
4. Максимум итераций

Сравнение критериев

Рекомендации для практики

Для Neural Networks:

• Используйте early_stopping=True с n_iter_no_change
• Разделите данные на train/val/test
• Сохраняйте лучшую модель по валидационной метрике

Для XGBoost/LightGBM:

• early_stopping_rounds=50 — стандартное значение
• Следите за eval_metric
• Используйте отдельный валидационный набор

Комбинированный подход:

1. Early stopping на валидации (главный критерий)
2. Максимум итераций (резервный)
3. Малое улучшение loss (дополнительный)

Критические ошибки

• Останавливаться только по train loss (может быть переобучение)
• Игнорировать early stopping в бустинге
• Не использовать валидационный набор для мониторинга
• Игнорировать patience параметр

Итого

Лучший критерий остановки:

• Early stopping на валидационном наборе — предотвращает переобучение
• Комбинация критериев (gradient + loss change + early stopping)
• Всегда сохраняйте лучшую модель по валидационной метрике

Ranging от простых (max iterations) до сложных (generalization monitoring), критерии остановки — ключевая часть успешного обучения моделей. В modern ML практически all используют early stopping для предотвращения переобучения.