Что такое Gini?

Gini: Коэффициент концентрации

Gini coefficient это метрика для измерения inequality или concentration. В Machine Learning чаще всего встречается в контексте Gini importance для деревьев решений и Gini impurity для splitting.

Определение (Экономический контекст)

Gini coefficient измеряет неравенство распределения. Значение от 0 до 1:

- Gini = 0: Идеальное равенство (все одинаково)
- Gini = 1: Идеальное неравенство (всё у одного)
- Gini = 0.5: Средняя концентрация

Визуально: Curve Лоренца

100%  ┌─────────────────
      │       /    Кривая Лоренца
80%   │      /
      │     /
60%   │    /  Площадь = Gini
      │   /
40%   │  /
      │ /
20%   │/____
      └─────────────────
0%    0%   20%  40%  60%  80% 100%
      Population (от бедных к богатым)

В Machine Learning: Gini Impurity

Для классификации, Gini impurity измеряет чистоту узла в дереве решений:

# Формула
Gini = 1 - Σ(p_i)^2

Где p_i = доля класса i в узле

# Пример
Узел с 10 примеров:
- 8 класс A
- 2 класс B

Gini = 1 - (0.8^2 + 0.2^2) = 1 - (0.64 + 0.04) = 1 - 0.68 = 0.32

Пример вычисления

from sklearn.tree import DecisionTreeClassifier
import numpy as np

# Чистый узел (один класс)
Gini_pure = 1 - (1.0**2 + 0.0**2) = 0.0  # Идеально

# Смешанный узел (50/50)
Gini_mixed = 1 - (0.5**2 + 0.5**2) = 1 - 0.5 = 0.5  # Максимум

# Другое распределение (80/20)
Gini_imbalanced = 1 - (0.8**2 + 0.2**2) = 1 - 0.68 = 0.32

Как дерево использует Gini для split

# Узел со смешанными классами
# [5 класс A, 5 класс B] → Gini = 0.5

# Возможные split:

# Split 1: age < 30
Left: [4 класс A, 1 класс B] → Gini = 1 - (0.8^2 + 0.2^2) = 0.32
Right: [1 класс A, 4 класс B] → Gini = 1 - (0.2^2 + 0.8^2) = 0.32
Gain = 0.5 - (6/10 * 0.32 + 4/10 * 0.32) = 0.5 - 0.32 = 0.18

# Split 2: income < 50k
Left: [5 класс A, 0 класс B] → Gini = 0.0 (чистый!)
Right: [0 класс A, 5 класс B] → Gini = 0.0 (чистый!)
Gain = 0.5 - (5/10 * 0.0 + 5/10 * 0.0) = 0.5 (лучше!)

# Дерево выбирает Split 2 (больше Gain)

Практический пример в коде

from sklearn.tree import DecisionTreeClassifier
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split

# Загрузить данные
iris = load_iris()
X = iris.data
y = iris.target

# Модель
model = DecisionTreeClassifier(criterion='gini', max_depth=3)
model.fit(X, y)

# Важность признаков (основана на Gini gain)
feature_importance = model.feature_importances_
for name, importance in zip(iris.feature_names, feature_importance):
    print(f"{name}: {importance:.3f}")

# Результат (примерно):
# sepal length: 0.023
# sepal width: 0.000
# petal length: 0.543  ← Самый важный (максимум gain)
# petal width: 0.434   ← Второй

Gini vs Entropy (Information Gain)

# Оба способа для выбора split в дереве

# ENTROPY:
Entropy = -Σ(p_i * log(p_i))

# Пример:
Entropy([0.8, 0.2]) = -(0.8*log(0.8) + 0.2*log(0.2))
                    = -(0.8*(-0.32) + 0.2*(-2.32))
                    = 0.72

# GINI:
Gini = 1 - Σ(p_i)^2

# Пример:
Gini([0.8, 0.2]) = 1 - (0.8^2 + 0.2^2) = 0.32

# Сравнение:
# Оба показывают чистоту узла
# Гини обычно быстрее (нет логарифмов)
# Результаты похожи на практике

Таблица сравнения

Важность для feature engineering

model = DecisionTreeClassifier(criterion='gini')
model.fit(X_train, y_train)

# Gini importance показывает какие признаки лучше
feature_importance = pd.DataFrame({
    'feature': X_train.columns,
    'importance': model.feature_importances_
}).sort_values('importance', ascending=False)

print(feature_importance)

# Результат:
#        feature  importance
# 3  age         0.456
# 1  income      0.234
# 0  education   0.156
# 2  region      0.154

# Insights:
# - age очень важен для классификации
# - region почти не влияет → можно удалить

Gini Coefficient (Экономический контекст)

Вне ML, Gini используется для измерения неравенства доходов:

import numpy as np

def gini_coefficient(values):
    """Compute Gini coefficient for income inequality"""
    sorted_values = np.sort(values)
    n = len(values)
    cumsum = np.cumsum(sorted_values)
    return (2 * np.sum(np.arange(1, n+1) * sorted_values)) / (n * np.sum(sorted_values)) - (n + 1) / n

# Пример
incomes = [10, 20, 30, 40, 100]  # В тысячах
print(f"Gini: {gini_coefficient(incomes):.2f}")

# Результат: ~0.52 (довольно высокое неравенство)
# Если бы [30, 30, 30, 30, 30] → Gini = 0 (идеально равно)

Когда использовать Gini в Decision Tree

# Используй criterion='gini' для:
dt = DecisionTreeClassifier(criterion='gini')

# Плюсы:
# - Быстро (нет логарифмов)
# - Интуитивно (% чистоты)
# - Хорошо работает в большинстве случаев

# Минусы:
# - Иногда информация энтропия работает лучше
# - Bias к признакам с много значениями

# Альтернатива:
dt = DecisionTreeClassifier(criterion='entropy')
# Теория информации, иногда более точно

Практический совет

from sklearn.ensemble import RandomForestClassifier
import shap

# Random Forest использует Gini importance
rf = RandomForestClassifier(criterion='gini', n_estimators=100)
rf.fit(X_train, y_train)

# Но важно: Gini importance может быть biased
# Лучше использовать SHAP для true feature importance
explainer = shap.TreeExplainer(rf)
shap_values = explainer.shap_values(X_test)
shap.summary_plot(shap_values[1], X_test)  # Для класса 1

Вывод

Gini это:

1. В ML (Gini Impurity): метрика для измерения чистоты узла в дереве

   • Используется для choosing splits (Information Gain = parent Gini - weighted children Gini)
   • Значение 0-1, где 0 = чистый узел, 1 = максимум беспорядка
   • Быстрее энтропии (no logs)

2. В экономике (Gini Coefficient): метрика неравенства доходов

   • 0 = идеальное равенство
   • 1 = идеальное неравенство

3. Практически: для интерпретации важности признаков в деревьях

   • Но SHAP часто дает более точные результаты
   • Для feature selection используй с осторожностью

В интервью помни: Gini = мера чистоты, используется для splitting в trees!