Как бороться с градиентным затуханием?

Как бороться с градиентным затуханием (Vanishing Gradient Problem)

Градиентное затухание возникает при обучении глубоких нейронных сетей, когда градиенты ошибки становятся экспоненциально малыми при распространении в обратном направлении через слои. Это делает обновления весов в ранних слоях практически нулевыми, замораживая обучение.

Почему возникает проблема

При использовании функций активации, таких как sigmoid или tanh, производная ограничена диапазоном [0, 1] (для sigmoid) или [-1, 1] (для tanh). При обратном распространении ошибки градиенты перемножаются:

∂L/∂w_early = ∂L/∂y * ∂y/∂z_n * ∂z_n/∂z_n-1 * ... * ∂z_1/∂w_early

Если каждая производная меньше 1, произведение экспоненциально убывает с глубиной сети.

Способы решения

1. Использование ReLU и его модификаций

ReLU имеет производную 1 при положительных значениях, что предотвращает затухание:

import tensorflow as tf

# Плохо: sigmoid приводит к затуханию градиентов
model = tf.keras.Sequential([
    tf.keras.layers.Dense(64, activation=sigmoid),
    tf.keras.layers.Dense(64, activation=sigmoid),
    tf.keras.layers.Dense(10, activation=softmax)
])

# Хорошо: ReLU сохраняет градиенты
model = tf.keras.Sequential([
    tf.keras.layers.Dense(64, activation=relu),
    tf.keras.layers.Dense(64, activation=relu),
    tf.keras.layers.Dense(64, activation=relu),
    tf.keras.layers.Dense(10, activation=softmax)
])

# Ещё лучше: LeakyReLU избегает мёртвых нейронов
model = tf.keras.Sequential([
    tf.keras.layers.Dense(64),
    tf.keras.layers.LeakyReLU(alpha=0.01),
    tf.keras.layers.Dense(64),
    tf.keras.layers.LeakyReLU(alpha=0.01),
    tf.keras.layers.Dense(10, activation=softmax)
])

2. Нормализация слоев (Batch Normalization)

Batch Normalization стабилизирует распределение входов каждого слоя, предотвращая затухание:

model = tf.keras.Sequential([
    tf.keras.layers.Dense(64),
    tf.keras.layers.BatchNormalization(),
    tf.keras.layers.Activation(relu),
    tf.keras.layers.Dense(64),
    tf.keras.layers.BatchNormalization(),
    tf.keras.layers.Activation(relu),
    tf.keras.layers.Dense(10, activation=softmax)
])

3. Skip connections (остаточные связи)

Architecture ResNet использует skip connections, позволяющие градиентам проходить напрямую:

class ResidualBlock(tf.keras.layers.Layer):
    def __init__(self, units):
        super().__init__()
        self.dense1 = tf.keras.layers.Dense(units, activation=relu)
        self.dense2 = tf.keras.layers.Dense(units)
    
    def call(self, inputs):
        x = self.dense1(inputs)
        x = self.dense2(x)
        # Прямая связь от входа к выходу
        return tf.keras.activations.relu(x + inputs)

4. Инициализация весов

Правильная инициализация весов критична для предотвращения затухания:

# He initialization (для ReLU)
model = tf.keras.Sequential([
    tf.keras.layers.Dense(64, activation=relu,
                         kernel_initializer=he_normal),
    tf.keras.layers.Dense(64, activation=relu,
                         kernel_initializer=he_normal),
    tf.keras.layers.Dense(10, activation=softmax)
])

# Xavier initialization (для sigmoid/tanh)
model = tf.keras.Sequential([
    tf.keras.layers.Dense(64, activation=tanh,
                         kernel_initializer=glorot_uniform),
    tf.keras.layers.Dense(64, activation=tanh,
                         kernel_initializer=glorot_uniform),
    tf.keras.layers.Dense(10, activation=softmax)
])

5. Gradient Clipping

Ограничивает величину градиентов во время обучения:

optimizer = tf.keras.optimizers.Adam(learning_rate=0.001, clipvalue=1.0)

model.compile(
    optimizer=optimizer,
    loss=categorical_crossentropy,
    metrics=[accuracy]
)

model.fit(X_train, y_train, epochs=10)

6. Использование LSTM/GRU вместо ванильных RNN

Для рекуррентных сетей LSTM и GRU имеют механизм обновления ячеек, который лучше сохраняет градиенты:

# Плохо для длинных последовательностей
model = tf.keras.Sequential([
    tf.keras.layers.SimpleRNN(64, return_sequences=True),
    tf.keras.layers.SimpleRNN(64),
    tf.keras.layers.Dense(10, activation=softmax)
])

# Хорошо
model = tf.keras.Sequential([
    tf.keras.layers.LSTM(64, return_sequences=True),
    tf.keras.layers.LSTM(64),
    tf.keras.layers.Dense(10, activation=softmax)
])

Сравнение методов

Практический совет

Для большинства задач глубокого обучения эффективная комбинация включает:

1. ReLU как функция активации
2. Batch Normalization после плотных слоёв
3. He initialization для инициализации весов
4. Adam оптимизатор с адаптивной скоростью обучения

Эта комбинация решает проблему градиентного затухания в 95% случаев и позволяет обучать глубокие сети эффективно.