Как оценить ценность данных для проекта?

Как оценить ценность данных для проекта?

Оценка ценности данных — критически важный этап перед началом проекта. Это помогает определить, стоит ли вкладывать ресурсы в сбор, обработку и анализ данных. Ценность оценивается по нескольким измерениям.

1. Полнота и качество данных

Полнота (Completeness) показывает, какой процент значений присутствует в датасете:

import pandas as pd
import numpy as np

def assess_data_completeness(df):
    completeness = {}
    for col in df.columns:
        missing = df[col].isna().sum()
        total = len(df)
        completeness[col] = {
            'missing_count': missing,
            'missing_percent': (missing / total) * 100,
            'filled_percent': ((total - missing) / total) * 100
        }
    
    return pd.DataFrame(completeness).T

completeness_report = assess_data_completeness(df)
print(completeness_report)

Правило: если пропусков > 50% в критичной колонке — данные малоценны для задачи.

2. Разнообразие данных (Diversity)

Данные должны содержать достаточно вариативности, особенно для целевой переменной:

def assess_diversity(df, target_column=None):
    diversity_metrics = {}
    
    # Для числовых признаков
    numeric_cols = df.select_dtypes(include=[np.number]).columns
    for col in numeric_cols:
        diversity_metrics[col] = {
            'unique_values': df[col].nunique(),
            'std_dev': df[col].std(),
            'cv': df[col].std() / df[col].mean() if df[col].mean() != 0 else 0
        }
    
    # Для целевой переменной (классификация)
    if target_column and target_column in df.columns:
        class_dist = df[target_column].value_counts(normalize=True)
        print(f'\nРаспределение классов:\n{class_dist}')
        
        # Проверка дисбаланса
        if class_dist.max() / class_dist.min() > 10:
            print('Внимание: сильный дисбаланс классов!')
    
    return diversity_metrics

diversity = assess_diversity(df, target_column='label')

3. Репрезентативность данных

Данные должны отражать реальное распределение проблемы:

def check_representativeness(train_df, test_df, numeric_cols=None):
    if numeric_cols is None:
        numeric_cols = train_df.select_dtypes(include=[np.number]).columns
    
    print('Сравнение распределений (Тренировка vs Тест):\n')
    
    for col in numeric_cols:
        train_mean = train_df[col].mean()
        test_mean = test_df[col].mean()
        shift = abs(train_mean - test_mean) / train_mean * 100 if train_mean != 0 else 0
        
        print(f'{col}: сдвиг среднего = {shift:.2f}%')
        
        if shift > 10:
            print(f'  ⚠️ Потенциальный дрейф данных!')

check_representativeness(train_df, test_df)

4. Релевантность признаков

Признаки должны быть связаны с целевой переменной:

from sklearn.preprocessing import StandardScaler
from scipy.stats import pearsonr, spearmanr

def assess_feature_relevance(df, target_column):
    target = df[target_column]
    numeric_cols = df.select_dtypes(include=[np.number]).columns
    numeric_cols = [col for col in numeric_cols if col != target_column]
    
    correlations = {}
    for col in numeric_cols:
        # Корреляция Пирсона
        corr, p_value = pearsonr(df[col].fillna(df[col].mean()), target)
        correlations[col] = {
            'correlation': abs(corr),
            'p_value': p_value,
            'significant': p_value < 0.05
        }
    
    corr_df = pd.DataFrame(correlations).T.sort_values('correlation', ascending=False)
    print('Релевантность признаков (по корреляции с целью):')
    print(corr_df)
    
    irrelevant = corr_df[corr_df['correlation'] < 0.1]
    if len(irrelevant) > 0:
        print(f'\nНайдено {len(irrelevant)} нерелевантных признаков')
    
    return corr_df

relevance = assess_feature_relevance(df, target_column='target')

5. Временная актуальность (Timeliness)

def assess_data_freshness(df, date_column=None):
    if date_column and date_column in df.columns:
        df[date_column] = pd.to_datetime(df[date_column])
        
        latest = df[date_column].max()
        oldest = df[date_column].min()
        days_old = (pd.Timestamp.now() - latest).days
        
        print(f'Самые свежие данные: {latest} ({days_old} дней назад)')
        print(f'Самые старые данные: {oldest}')
        print(f'Временной диапазон: {(latest - oldest).days} дней')
        
        if days_old > 365:
            print('⚠️ Данные устарели более чем на год')
        
        return {'latest': latest, 'oldest': oldest, 'days_old': days_old}

assess_data_freshness(df, date_column='date')

6. ROI-анализ данных (Business Value)

def calculate_data_roi(data_cost, expected_improvement, current_metric):
    """
    Оценка окупаемости инвестиций в данные
    
    data_cost: стоимость сбора и обработки данных
    expected_improvement: ожидаемое улучшение метрики (в долях)
    current_metric: текущее значение метрики (например, прибыль)
    """
    
    expected_gain = current_metric * expected_improvement
    roi = ((expected_gain - data_cost) / data_cost) * 100
    payback_period = data_cost / (expected_gain / 12)  # месяцы
    
    print(f'Ожидаемый прирост: ${expected_gain:,.0f}')
    print(f'ROI: {roi:.1f}%')
    print(f'Период окупаемости: {payback_period:.1f} месяцев')
    
    return roi > 100  # Выгодно ли?

is_worthwhile = calculate_data_roi(50000, 0.15, 1000000)

7. Масштабируемость и доступность

def assess_data_accessibility(df):
    metrics = {
        'размер_в_GB': df.memory_usage(deep=True).sum() / (1024**3),
        'кол_во_строк': len(df),
        'кол_во_признаков': df.shape[1],
        'скорость_обработки_сек': None  # Заполнить после бенчмарка
    }
    
    if metrics['размер_в_GB'] > 100:
        print('⚠️ Данные требуют специализированной инфраструктуры')
    
    if metrics['кол_во_строк'] < 1000:
        print('⚠️ Недостаточно данных для надежного ML')
    
    return metrics

accessibility = assess_data_accessibility(df)
print(accessibility)

Комплексная оценка ценности

def rate_data_value(df, target_column, weights=None):
    """
    综合оценка ценности данных по шкале 1-10
    """
    if weights is None:
        weights = {
            'completeness': 0.2,
            'diversity': 0.2,
            'relevance': 0.3,
            'size': 0.15,
            'freshness': 0.15
        }
    
    # Полнота
    completeness_score = (1 - df.isna().sum().sum() / (len(df) * len(df.columns))) * 10
    
    # Разнообразие
    diversity_score = min((df.shape[0] / 1000) * 2, 10)  # Оптимум 1000+ строк
    
    # Релевантность (упрощённая)
    relevance_score = 7  # Требует assess_feature_relevance()
    
    # Размер и масштабируемость
    size_score = min((df.shape[1] / 50) * 10, 10)  # Оптимум 50+ признаков
    
    # Свежесть
    freshness_score = 8  # Требует assess_data_freshness()
    
    overall_score = (
        completeness_score * weights['completeness'] +
        diversity_score * weights['diversity'] +
        relevance_score * weights['relevance'] +
        size_score * weights['size'] +
        freshness_score * weights['freshness']
    )
    
    print(f'Полнота: {completeness_score:.1f}/10')
    print(f'Разнообразие: {diversity_score:.1f}/10')
    print(f'Релевантность: {relevance_score:.1f}/10')
    print(f'Размер: {size_score:.1f}/10')
    print(f'Свежесть: {freshness_score:.1f}/10')
    print(f'\nОбщая оценка: {overall_score:.1f}/10')
    
    if overall_score >= 8:
        print('✓ Отличные данные для проекта')
    elif overall_score >= 6:
        print('~ Приемлемые данные, требуют обработки')
    else:
        print('✗ Данные неадекватны для надежного ML')
    
    return overall_score

data_value = rate_data_value(df, target_column='target')

Ключевые показатели ценности данных

• Полнота: минимум 80% непропущенных значений в критичных признаках
• Разнообразие: минимум 1000+ примеров, хороший баланс классов
• Релевантность: корреляция с целью > 0.2-0.3 для количественных признаков
• Размер: 10000+ строк для стандартного ML, 100000+ для глубокого обучения
• Свежесть: данные не старше 3-6 месяцев (зависит от домена)
• ROI: ожидаемая прибыль > затрат на сбор и обработку в 3+ раза

Если данные проходят эти пороги — они имеют достаточную ценность для вложения ресурсов в проект.