Что такое вероятностный смысл регуляризации?

Вероятностный смысл регуляризации

Регуляризация — один из ключевых инструментов в машинном обучении, который помогает избежать переобучения. Но её смысл становится особенно ясным, если посмотреть на неё через призму теории вероятностей и байесовского подхода.

Связь с байесовским выводом

Если мы интерпретируем регуляризацию с вероятностной точки зрения, то добавление штрафного члена к функции потерь эквивалентно введению априорного распределения (prior) на параметры модели. Когда мы минимизируем:

L(w) = L_data(w) + λ * R(w)

это равносильно максимизации апостериорного распределения в байесовском смысле:

P(w | data) ∝ P(data | w) * P(w)

где:

• P(data | w) — likelihood (соответствует L_data)
• P(w) — prior (соответствует R(w))
• λ — параметр, контролирующий наше доверие к априорному знанию

L2-регуляризация (Ridge regression)

L2-штраф (λ * ||w||²) соответствует гауссовскому априорному распределению на параметры:

P(w) = N(w | 0, σ²I)

Чем большее λ, тем более узкое распределение (более сильное убеждение, что веса должны быть близки к нулю). При λ → ∞ мы максимально доверяем прiors и минимально — данным.

L1-регуляризация (Lasso)

L1-штраф (λ * ||w||₁) соответствует распределению Лапласа:

P(w) = exp(-λ|w|)

Это создаёт эффект разреженности (sparsity) — распределение имеет острый пик в нуле, поэтому модель часто устанавливает некоторые веса ровно в 0.

Практический смысл

Имея такое вероятностное объяснение, мы можем:

1. Выбирать тип регуляризации на основе наших предположений о распределении параметров
2. Настраивать λ как степень доверия к этим предположениям
3. Интерпретировать результаты в терминах posterior и выражать неопределённость
4. Применять специальные техники вроде эмпирического байеса для автоматической подстройки λ

Важное замечание

Эта вероятностная интерпретация работает именно в контексте меньшей нормы параметров. Если регуляризация соответствует другим ограничениям (например, dropout), интерпретация будет иной. Но суть остаётся: регуляризация — это способ привнести предварительное знание о том, какие модели более правдоподобны.