Встречался ли с проблемами недостатка или переизбытка данных

Встречался ли с проблемами недостатка или переизбытка данных

Да, и с тем, и с другим. Обе ситуации встречаются часто в реальных ML-проектах и требуют разных подходов к решению.

Недостаток данных (Data Scarcity)

Проблема: Когда датасета недостаточно для обучения качественной модели.

Примеры из практики:

# Пример 1: Классификация редких заболеваний
# Задача: распознать редкое заболевание по снимкам МРТ
# Доступно: 100 позитивных примеров (больные)
#           50000 негативных примеров (здоровые)

# Проблема: Дисбаланс классов + мало позитивных примеров

# Решение 1: Data Augmentation
from torchvision import transforms
augmented_transforms = transforms.Compose([
    transforms.RandomRotation(15),
    transforms.RandomHorizontalFlip(),
    transforms.GaussianBlur(kernel_size=3),
])

# Решение 2: Transfer Learning (предобучение на большом датасете)
from torch import hub
model = hub.load('pytorch/vision:v0.10.0', 'resnet50', pretrained=True)
# Обучаем только последние слои на маленьком датасете

# Решение 3: Few-shot learning / Meta-learning
# Модель учится "учиться" на малом числе примеров

Примеры 2: Рекомендательная система для нового пользователя

# Cold Start Problem
# Новый пользователь: 0 истории взаимодействий
# Как рекомендовать?

# Решение 1: Content-based filtering
# Используем признаки товаров, не историю

# Решение 2: Collaborative filtering с регуляризацией
# Используем информацию о похожих пользователях

# Решение 3: Hybrid approach
# Комбинируем информацию о товарах и пользователях

Переизбыток данных (Data Abundance)

Проблема: Слишком много данных, что усложняет обработку и обучение.

Примеры из практики:

# Пример 1: Обработка миллиардов логов
# Компания генерирует 100 GB логов в день
# Задача: найти аномалии

# Проблема 1: Не умещается в памяти
# Решение: Streaming algorithms + batching

import numpy as np

def process_huge_logs_in_batches(log_file, batch_size=1000):
    """Обрабатываем большой файл порциями"""
    with open(log_file) as f:
        while True:
            batch = []
            for _ in range(batch_size):
                line = f.readline()
                if not line:
                    return
                batch.append(parse_log(line))
            
            # Обрабатываем порцию
            anomalies = detect_anomalies(batch)
            yield anomalies

# Проблема 2: Медленно обучается
# Решение: Sampling + Early stopping

from sklearn.datasets import make_classification
X, y = make_classification(n_samples=1000000, n_features=100)

# Вместо обучения на всех 1M примерах:
sample_indices = np.random.choice(len(X), size=100000, replace=False)
X_sample = X[sample_indices]
y_sample = y[sample_indices]

model.fit(X_sample, y_sample)

Пример 2: Изображения в Интернете

# Google имеет миллиарды изображений
# Задача: обучить модель для распознавания объектов

# Проблема 1: Слишком много шума и дубликатов
# Решение: Data cleaning и deduplication

# Проблема 2: Дисбаланс классов (много котов, мало панд)
# Решение: Stratified sampling

from sklearn.model_selection import train_test_split

train, test = train_test_split(
    data, 
    test_size=0.2,
    stratify=data['label']  # Сохраняем распределение классов
)

# Проблема 3: Медленная обработка
# Решение: Distributed processing (Spark, Dask)

import dask.dataframe as dd

ddf = dd.read_csv('huge_file_*.csv')  # Автоматически распределяется
result = ddf.groupby('category').mean().compute()

Сравнение: недостаток vs переизбыток

Мой опыт решения

Недостаток данных:

# Проект: Классификация фотографий морозов в сельском хозяйстве
# Доступные данные: 500 фотографий (очень мало)

# Решение:
# 1. Transfer Learning на ResNet50 (ImageNet)
# 2. Data Augmentation: вращение, масштабирование, шум
# 3. Ensemble из 5 моделей
# 4. Вручную собрали дополнительные 200 фотографий

from torch.utils.data import Dataset

class AugmentedFrostDataset(Dataset):
    def __init__(self, images, labels, augment=True):
        self.images = images
        self.labels = labels
        self.augment = augment
    
    def __getitem__(self, idx):
        img = self.images[idx]
        if self.augment:
            img = self.augment_image(img)
        return img, self.labels[idx]
    
    def augment_image(self, img):
        # Вращение, масштабирование, шум
        return augmented_transforms(img)

Переизбыток данных:

# Проект: Анализ 10 TB логов для обнаружения мошеничества
# Доступные данные: 100 миллиардов записей

# Решение:
# 1. Sampling (1% данных = 1 миллиард записей)
# 2. Parallel processing (Spark)
# 3. Streaming algorithms для real-time anomaly detection

import pyspark.sql as sql

spark = sql.SparkSession.builder.appName("fraud_detection").getOrCreate()

logs = spark.read.parquet('s3://logs/2024/*.parquet')

# Обрабатываем параллельно
result = (logs
    .filter(logs.user_id == "target_user")
    .groupBy("transaction_type")
    .count()
    .show())

Компромиссные решения

# Когда у тебя ОДНОВРЕМЕННО мало и много данных
# (много данных, но в узком сегменте мало)

# Пример: Распознавание объектов в определённой стране
# - Общих фотографий: миллиарды
# - Фотографий в нужном стиле: только 1000

# Решение:
# 1. Transfer Learning на общих данных
# 2. Data Augmentation для целевого сегмента
# 3. Active Learning для сбора самых информативных новых примеров

def active_learning_loop():
    """Активное обучение: выбираем самые полезные примеры"""
    for iteration in range(10):
        # Обучаем модель
        model.fit(labeled_data)
        
        # Выбираем примеры, в которых модель наименее уверена
        uncertainties = model.predict_proba(unlabeled_data).max(axis=1)
        most_uncertain_idx = np.argsort(uncertainties)[:10]
        
        # Человек помечает эти примеры
        for idx in most_uncertain_idx:
            label = ask_human(unlabeled_data[idx])
            labeled_data.append((unlabeled_data[idx], label))

Практические рекомендации

• Мало данных: Transfer Learning > Data Augmentation > Regular Learning
• Много данных: Sampling > Distributed Processing > Regular approach
• Зависит от задачи: Медицина (точность > скорость) vs Реклама (скорость важна)
• Всегда профилируй: Бутылочное горло — это не всегда объём данных, часто это качество