В чем может быть проблема quantile loss?

Проблемы quantile loss в регрессии

Quantile loss (квантильная потеря) — это мощный инструмент для предсказания интервалов доверия и моделирования распределений, но она имеет множество подводных камней.

1. Проблема крещения кванилей (Quantile Crossing)

Одна из самых больших проблем — предсказанные квантили могут пересекаться.

# Пример проблемы:
y_pred_q10 = 100  # 10-й квантиль
y_pred_q50 = 90   # медиана (50-й квантиль) — НИЖЕ чем q10!
y_pred_q90 = 85   # 90-й квантиль — ещё ниже!

# Это логически невозможно: q10 < q50 < q90 по определению

Почему это происходит? Каждый квантиль обучается независимо, и модель может минимизировать потерю для q10 и q90, но случайно обучить q50 неправильно.

from torch import nn
import torch

def quantile_loss(predictions, targets, quantiles):
    """Обучает квантили независимо — может привести к crossing"""
    losses = []
    for i, q in enumerate(quantiles):
        # Каждый квантиль минимизируется отдельно
        error = targets - predictions[i]
        loss = q * torch.max(error, torch.zeros_like(error)) + \
               (1 - q) * torch.max(-error, torch.zeros_like(error))
        losses.append(loss.mean())
    
    # Итоговая потеря — просто сумма, без ограничений на порядок
    return sum(losses)

# Решение: добавить штраф за crossing
def quantile_loss_with_crossing_penalty(
    predictions, targets, quantiles, penalty_weight=1.0
):
    # Основная потеря
    base_loss = quantile_loss(predictions, targets, quantiles)
    
    # Штраф за пересечения
    crossing_penalty = 0
    for i in range(len(quantiles) - 1):
        # q_i должен быть <= q_{i+1}
        violation = torch.relu(predictions[i+1] - predictions[i])
        crossing_penalty += violation.mean()
    
    return base_loss + penalty_weight * crossing_penalty

Решение 1: используй монотонные сетевые архитектуры или добавляй штраф за пересечения.

Решение 2: используй диагональную (diagonal) архитектуру, где квантили предсказываются последовательно через базовое предсказание:

# Diagonal quantile network
base_output = model(x)  # Базовое предсказание (например, медиана)
quantile_offsets = other_network(x)  # Смещения для квантилей

# q50 = base_output
# q90 = base_output + positive_offset_90
# q10 = base_output - positive_offset_10

2. Требует много данных

Quantile loss требует больше обучающих данных, чем MSE или MAE.

# Для одного квантиля нужно ~100-500 примеров для хорошего обучения
# Если предсказываешь 5 квантилей (q10, q25, q50, q75, q90),
# то данных нужно в 5 раз больше, чем для простой регрессии

# При маленьком датасете (< 1000 примеров) рекомендуется:
# - Использовать только 2-3 ключевых квантиля
# - Применять регуляризацию
# - Использовать transfer learning

3. Трудная оптимизация (Non-smooth градиенты)

Quantile loss — это негладкая функция в точке, где ошибка = 0.

from torch import nn

# Quantile loss для одного квантиля q:
def quantile_loss(y_pred, y_true, q):
    error = y_true - y_pred
    return torch.mean(torch.max(q * error, (q - 1) * error))
    # В точке error=0 эта функция имеет "излом"
    # Градиент может быть нестабильным

Последствия:

• Оптимизация может колебаться или застревать в локальных минимумах
• Нужны специальные scheduler для learning rate (например, cyclical learning rates)
• Нужна хорошая инициализация

# Рекомендации по оптимизации:
optimizer = torch.optim.Adam(model.parameters(), lr=0.001)
scheduler = torch.optim.lr_scheduler.CyclicLR(
    optimizer, base_lr=0.0001, max_lr=0.001, cycle_momentum=False
)

4. Интерпретируемость и выбор квантилей

Какие квантили выбирать? Это не очевидно:

# Опция 1: стандартные квантили для интервалов доверия
quantiles = [0.05, 0.25, 0.50, 0.75, 0.95]  # 90% confidence interval

# Опция 2: асимметричные квантили (для дисбаланса ошибок)
quantiles = [0.10, 0.50, 0.90]  # если overestimate дороже

# Опция 3: много квантилей для полного распределения
quantiles = [0.05, 0.15, 0.25, 0.35, 0.50, 0.65, 0.75, 0.85, 0.95]

Проблема: больше квантилей = более сложная модель и выше требования к данным.

5. Плохо работает с экстремальными выбросами

Quantile loss на экстремальных квантилях (q=0.01 или q=0.99) становится нестабильным.

# Для q=0.01 (1-й процентиль) нужны данные с экстремальными значениями
# В маленьком датасете могут быть только 1-2 выброса
# На них будет обучаться модель — очень нестабильно

from scipy import stats

# Для экстремальных квантилей лучше использовать:
# Extreme Value Theory (EVT), Generalized Pareto Distribution и т.д.

6. Слабо калибруется

Предсказанные квантили могут быть смещены.

# Проверка калибровки:
for q in quantiles:
    # Доля точек, где y < y_pred_q должна быть ~q
    empirical_q = (y_test < y_pred_q).mean()
    
    if empirical_q != q:
        # Модель не откалибрована
        print(f"Expected {q}, got {empirical_q}")

# Решение: post-hoc калибровка через quantile mapping

Практические рекомендации

Альтернативы

1. Pinball Loss — просто другое название quantile loss
2. Distributional Regression — предсказывать полное распределение (Normal, NB и т.д.)
3. Conformal Prediction — model-agnostic подход для интервалов
4. Quantile Regression Forests — ensemble метод, более стабильный

Вывод

Quantile loss — это отличный инструмент для uncertainty quantification и интервалов доверия, но требует тщательной реализации, хороших данных и внимательной оптимизации. Всегда проверяй на crossing, калибровку и стабильность предсказаний.