Как выбирается порог в дереве?

Как выбирается порог в дереве решений

Порог (threshold) в дереве решений — это критическое значение, которое определяет, как разбить признак при построении узла. Это один из ключевых механизмов, обеспечивающих качество модели.

Основной принцип выбора порога

При построении дерева решений алгоритм перебирает все возможные значения признака и выбирает тот порог, который максимально снижает примеси (impurity) в дочерних узлах. Для регрессии и классификации используются разные критерии.

Критерии выбора порога

1. Для классификации (Gini и Entropy):

# Gini impurity — вероятность неправильной классификации
Gini = 1 - sum(p_i^2)

# Information gain (энтропия)
Entropy = -sum(p_i * log2(p_i))

Алгоритм выбирает порог, который максимизирует информационный прирост (Information Gain):

IG = Entropy(parent) - (N_left/N * Entropy(left) + N_right/N * Entropy(right))

2. Для регрессии (MSE/MAE):

Порог выбирается для минимизации среднеквадратичной ошибки в дочерних узлах:

MSE_split = (N_left * MSE_left + N_right * MSE_right) / N

Алгоритм выбора

1. Сортировка значений признака
2. Перебор кандидатов на порог — обычно выбираются значения между уникальными значениями признака
3. Вычисление метрики (Information Gain, Gini, MSE) для каждого кандидата
4. Выбор лучшего порога — порог с максимальным Information Gain

from sklearn.tree import DecisionTreeClassifier

# DecisionTree автоматически выбирает пороги
clf = DecisionTreeClassifier(criterion=gini)  # или entropy
clf.fit(X, y)

# Пороги хранятся в tree_.threshold
print(clf.tree_.threshold)

Практический пример

Если у нас есть признак "возраст" со значениями [25, 35, 45, 55], алгоритм проверит пороги ~30, ~40, ~50 и выберет тот, который лучше разделяет классы.

Специальные случаи

• Бинарные признаки (0/1): порог всегда 0.5
• Категориальные признаки: в CART (Classification and Regression Trees) выбирается binary split
• Пропуски (NaN): обрабатываются отдельно, часто игнорируются при выборе порога

Оптимизация выбора порога

На практике перебираются не все возможные значения, а только промежуточные значения между уникальными элементами — это снижает вычислительную сложность с O(n²) до O(n log n).

Правильный выбор порога критически важен для интерпретируемости дерева и избежания переобучения.