В каких пределах может находится логарифмированная вероятность

Пределы логарифмированной вероятности

Вероятность - это величина, которая находится в диапазоне [0, 1]. Логарифм этой вероятности будет находиться в другом диапазоне.

Математическая основа

Для натурального логарифма (ln):

Поскольку вероятность P находится в пределах [0, 1]:

• ln(P) при P ∈ (0, 1] дает значения (-∞, 0]
• Когда P = 1: ln(1) = 0
• Когда P → 0: ln(P) → -∞
• ln(0) не определен (неопределенность)

import numpy as np

# Примеры натурального логарифма вероятностей
print(ln(1.0))      # 0
print(ln(0.5))      # -0.693
print(ln(0.1))      # -2.303
print(ln(0.01))     # -4.605
print(ln(0.001))    # -6.908

Для логарифма по основанию 10 (log10):

• log10(P) при P ∈ (0, 1] дает значения (-∞, 0]
• Когда P = 1: log10(1) = 0
• Когда P → 0: log10(P) → -∞

print(log10(1.0))   # 0
print(log10(0.1))   # -1
print(log10(0.01))  # -2
print(log10(0.001)) # -3

Практическое применение

Log-likelihood в статистике:

В машинном обучении часто используется логарифм правдоподобия (log-likelihood) для оптимизации моделей:

from sklearn.linear_model import LogisticRegression
import numpy as np

# Log-loss (бинарная кросс-энтропия) в пределах (-∞, 0]
# Так как берется логарифм вероятности
y_true = [1, 0, 1]
y_pred_proba = [0.9, 0.2, 0.8]

log_likelihood = sum([np.log(y_pred_proba[i]) if y_true[i] == 1 
                      else np.log(1 - y_pred_proba[i]) 
                      for i in range(len(y_true))])

Ключевые моменты

1. Диапазон: логарифмированная вероятность всегда ≤ 0
2. Максимум: 0 (когда вероятность = 1, т.е. полная уверенность)
3. Минимум: -∞ (когда вероятность → 0, т.е. минимальная вероятность)
4. Практически: в реальных данных обычно диапазон в пределах [-20, 0]

Это свойство широко используется в оптимизации, так как минимизация отрицательного логарифма правдоподобия (MLE) эквивалентна максимизации правдоподобия модели.