Какие знаешь подходы, где не используется стохастический градиентный спуск?

Подходы оптимизации без SGD

Стохастический градиентный спуск (SGD) — универсальный инструмент, но существуют альтернативные методы оптимизации, часто более эффективные в специфических задачах.

Аналитическое решение (Closed-form solution)

Для линейной регрессии существует прямое математическое решение через нормальное уравнение:

import numpy as np

# OLS: w = (X^T X)^-1 X^T y
w = np.linalg.inv(X.T @ X) @ X.T @ y

Плюсы: находит оптимум за один шаг, без итераций. Минусы: O(n³) сложность из-за инверсии матрицы, неприменимо при n > m или невырожденной матрице.

Методы второго порядка (Newton, Quasi-Newton)

Используют информацию о кривизне (Гессиан) для более быстрой сходимости:

from scipy.optimize import minimize

result = minimize(loss_function, x0, method="BFGS")  # Quasi-Newton

L-BFGS: экономит память, аппроксимирует Гессиан через последние градиенты.

Методы эволюционные и генетические

Для задач с многими локальными минимумами или когда градиент недифференцируем:

from scipy.optimize import differential_evolution

result = differential_evolution(
    loss_function, 
    bounds=[(-5, 5), (-5, 5)],
    seed=42
)

Плюсы: глобальная оптимизация, параллелизм. Минусы: требует много вычислений.

Методы координатного спуска

Оптимизирует переменные по одной или блокам:

# Coordinate descent для Lasso
from sklearn.linear_model import Lasso
model = Lasso()  # Внутри использует координатный спуск
model.fit(X, y)

Применение: Lasso, Ridge, SVM (dual form).

Прямые методы (Direct Search)

Симплекс-метод Нелдера-Мида, не требующий вычисления градиентов:

from scipy.optimize import minimize

result = minimize(loss_function, x0, method="Nelder-Mead")

Когда использовать: потеря функция недифференцируема или вычислить градиент дорого.

Динамическое программирование и рекурсия

Для комбинаторных задач (например, выбор подмножества признаков):

# Брутфорс отбор признаков через динамическое программирование
def select_features_dp(X, y):
    # Бинарный поиск лучшей комбинации признаков
    pass

Методы, специфичные для конкретных задач

• Gibbs sampling → байесовский вывод, MCMC
• EM-алгоритм → вероятностные модели, скрытые переменные
• Симплекс-метод → линейное программирование, задачи оптимизации
• K-means → кластеризация (локальная оптимизация)
• Метод множителей Лагранжа → условная оптимизация

Когда НЕ использовать SGD?

• Маленькие датасеты → OLS или BFGS будут быстрее и точнее
• Нужна глобальная оптимизация → генетические алгоритмы, simulated annealing
• Задача комбинаторная → динамическое программирование
• Есть аналитическое решение → используй его!
• Много локальных минимумов → многорестартовый поиск, эволюционные методы

Выбор метода зависит от размера данных, сложности функции потерь, требуемой точности и вычислительных ресурсов.