Зачем нужна функция активации?

Функции активации в нейронных сетях

Функции активации — это математические функции, которые добавляют нелинейность в нейронные сети. Это критически важный компонент, без которого глубокие нейросети не могли бы решать сложные задачи.

Основные причины использования

1. Введение нелинейности

Без функций активации каждый слой сети выполнял бы линейное преобразование. Даже при наличии множества слоёв композиция линейных преобразований остаётся линейной функцией:

# Без активации — всё сводится к одному линейному преобразованию
output = W3 * (W2 * (W1 * x + b1) + b2) + b3
# Эквивалентно: output = (W3 * W2 * W1) * x + bias

Такая сеть не могла бы аппроксимировать нелинейные функции. С добавлением активаций:

# С нелинейностью — появляется выразительная мощь
output = ReLU(W3 * ReLU(W2 * ReLU(W1 * x + b1) + b2) + b3)

Теперь сеть способна выучить произвольную нелинейную функцию.

2. Универсальная аппроксимация

Теорема Цибенко доказывает, что одного скрытого слоя с нелинейной активацией достаточно для аппроксимации любой непрерывной функции. Без активаций эта теорема не работает.

3. Улучшение обучения

Активации способствуют:

• Лучшему градиентному спуску: ReLU имеет постоянный градиент для положительных значений
• Нормализации выходов: сигмоид и tanh ограничивают значения, предотвращая взрывные градиенты
• Разреженности представлений: ReLU обнуляет часть нейронов, создавая разреженные активации

Популярные функции активации

ReLU (Rectified Linear Unit)

def relu(x):
    return max(0, x)

Плюсы: простота, эффективность, не страдает от vanishing gradient Минусы: dying ReLU problem (мёртвые нейроны)

Sigmoid

def sigmoid(x):
    return 1 / (1 + np.exp(-x))

Плюсы: вероятностная интерпретация, гладкая функция Минусы: vanishing gradient, медленное обучение

Tanh

def tanh(x):
    return np.tanh(x)

Плюсы: центрирована около 0, сильнее сигмоида Минусы: всё ещё страдает от vanishing gradient

LeakyReLU

def leaky_relu(x, alpha=0.01):
    return np.where(x > 0, x, alpha * x)

Плюсы: решает dying ReLU problem Минусы: немного медленнее стандартного ReLU

Практический пример

import numpy as np
from tensorflow.keras.layers import Dense, ReLU, Activation
from tensorflow.keras.models import Sequential

# Сеть без активаций — не может выучить XOR
model_linear = Sequential([
    Dense(10, input_dim=2),
    Dense(1)
])

# Сеть с активациями — может выучить XOR
model_nonlinear = Sequential([
    Dense(10, input_dim=2),
    ReLU(),
    Dense(1),
    Activation('sigmoid')
])

Выводы

Функции активации необходимы для:

1. Введения нелинейности — единственный способ превратить сеть из линейного классификатора в универсальный аппроксиматор
2. Обучения сложных функций — позволяют выучить нелинейные границы решений
3. Эффективного обучения — разные активации имеют разные свойства градиентов
4. Адекватной репрезентации — разреженность и распределение активаций улучшают обобщение

Выбор функции активации — важная гиперпараметр, который влияет на скорость обучения, стабильность и финальное качество модели.