Что такое математическое ожидание?

Математическое ожидание: основа теории вероятности

Определение

Математическое ожидание (Expected Value, E[X]) - это среднее значение случайной величины, взвешенное по вероятностям её возможных исходов.

Интуитивно: если провести эксперимент много раз, средний результат будет близок к математическому ожиданию.

Формула для дискретной величины

E[X] = Σ x_i * P(X = x_i)

где x_i = возможные значения, P(X = x_i) = вероятность

Пример 1: Игральная кость

Возможные исходы: 1, 2, 3, 4, 5, 6 Вероятность каждого: 1/6

E[X] = 1*(1/6) + 2*(1/6) + 3*(1/6) + 4*(1/6) + 5*(1/6) + 6*(1/6) E[X] = (1+2+3+4+5+6)/6 = 21/6 = 3.5

Хотя 3.5 никогда не выпадет, если бросать много раз, средний результат будет 3.5.

Пример 2: Лотерея

Выигрыш 100 рублей с вероятностью 0.1 Выигрыш 10 рублей с вероятностью 0.3 Выигрыш 0 рублей с вероятностью 0.6

E[Прибыль] = 1000.1 + 100.3 + 0*0.6 = 10 + 3 + 0 = 13 рублей

В среднем каждый билет приносит 13 рублей прибыли.

Свойства математического ожидания

1. Линейность: E[aX + b] = aE[X] + b
2. Сумма: E[X + Y] = E[X] + E[Y]
3. Произведение (если независимы): E[X * Y] = E[X] * E[Y]

Практический пример в Python

import numpy as np

values = [10, 20, 30]
probabilities = [0.5, 0.3, 0.2]

expected_value = sum(v * p for v, p in zip(values, probabilities))
print(f'E[X] = {expected_value}')  # 17

# Симуляция подтверждает
results = [np.random.choice(values, p=probabilities) for _ in range(100000)]
print(f'Средний результат: {np.mean(results)}')  # близко к 17

Математическое ожидание в ML

Loss Function:

MSE = E[(y_true - y_pred)²]

Это математическое ожидание ошибки на всех возможных данных.

Риск модели: Теоретический риск = E[loss(y, f(x))] - что хотим минимизировать Эмпирический риск = средняя ошибка на обучающих данных

Цель ML: минимизировать теоретический риск, используя эмпирический.

Дисперсия

Диспер сия = E[(X - E[X])²]

Показывает, насколько данные разбросаны вокруг среднего.

data = [1, 2, 3, 4, 5]
mean = 3
variance = ((1-3)**2 + (2-3)**2 + (3-3)**2 + (4-3)**2 + (5-3)**2) / 5
variance = (4 + 1 + 0 + 1 + 4) / 5 = 2
std_dev = sqrt(2) = 1.41

Практический пример: средний доход

В компании 100 сотрудников:

• 50 зарабатывают 40k/месяц
• 30 зарабатывают 80k/месяц
• 15 зарабатывают 200k/месяц
• 5 зарабатывают 1000k/месяц

Е[доход] = 400.5 + 800.3 + 2000.15 + 10000.05 = 124k

Средний доход 124k, но большинство зарабатывает меньше. Показывает разницу между средним и медианой!

Когда математическое ожидание важно

1. Оценка справедливости ставок

   • E[выигрыш] < 0 → невыгодная ставка
   • E[выигрыш] > 0 → выгодная ставка

2. Оценка качества моделей

   • E[accuracy] = 0.85 → в среднем модель правильна в 85% случаев

3. Инвестиции

   • Выбираем портфель с максимальным E[доход] при приемлемом риске

Заключение

Математическое ожидание - центральная концепция теории вероятности. Это среднее значение, к которому стремятся данные при бесконечном числе экспериментов. Используется везде в ML - от функций потерь до оценки качества. Критично для принятия решений в условиях неопределённости.