Есть ли технические ограничения у ML?

Технические ограничения машинного обучения

Да, множество серьёзных ограничений. Это важно понимать перед внедрением ML, чтобы не разочароваться в результатах.

Data-related ограничения

Холодный старт (Cold Start Problem)

Суть: когда для нового пользователя нет истории данных.

Примеры:

• Новый user в системе рекомендаций: нет истории покупок/просмотров
• Новый товар в интернет-магазине: мало рейтингов и отзывов
• Новая компания на B2B платформе: нет информации о её поведении

Последствия:

• Модель не знает, что рекомендовать, даёт случайные предложения
• Новые юзеры получают плохой опыт
• Retention новых пользователей падает на 20-30%

Решение: комбинировать ML с контентом (рекомендовать популярные товары) или использовать демографию.

Data Drift (изменение распределения)

Суть: данные меняются со временем, но модель не обновляется.

Реальный пример из моей практики: Онлайн-школа внедрила модель предсказания того, какие студенты бросят курс. Модель была обучена на данных 2021 года. Когда в 2022 все пошли в оффлайн, распределение студентов кардинально изменилось. Модель начала выдавать бесполезные предсказания.

Типичный сценарий:

• COVID запирает страны → поведение юзеров меняется
• Новый конкурент появляется → другой трафик
• Система логирования обновляется → другой формат данных
• Сезонность → летом используют по-другому

Класс дисбаланс (Imbalanced Classes)

Суть: одного класса намного больше, чем другого.

Примеры:

• Предсказание fraud: 99.9% транзакций легальны, 0.1% мошеннические
• Медицинская диагностика: 95% здоровых, 5% больных
• Отток пользователей: 90% остаются, 10% уходят

Проблема: Модель говорит: "Все здоровые!" — и получает 95% accuracy, но не ловит болезни.

Решение: использовать precision/recall, f1-score, не accuracy.

Computational ограничения

Latency (время отклика)

Суть: ML модель требует времени на обработку запроса.

Real-time vs Batch:

• Если нужна рекомендация за 50ms (пока грузится страница), сложные модели не подойдут
• Если можно рассчитать offline и кэшировать, проблем нет

Мой опыт: рекомендательная система e-commerce с нейросетью давала ответ за 300ms, что было слишком медленно. Переделали на более простую модель — 50ms, результаты немного хуже, но пользователи счастливы.

Масштабируемость

Проблема: обучение модели на 1 млрд строк данных может занять дни или недели.

Примеры:

• Яндекс обучает модели ранжирования на trilions логов
• Facebook обучает модели на миллиардах импрессий

Для стартапа: часто можно использовать подвыборку данных или более простые модели.

Quality ограничения

Интерпретируемость (Interpretability)

Суть: что предлагает модель, мы не всегда понимаем.

Deep Learning (нейросети):

• "Чёрный ящик" — модель говорит "риск fraud = 0.9", но почему?
• В регулируемых индустриях (финансы, медицина) это неприемлемо
• Регуляторы требуют объяснений

Моё наблюдение: банк внедрил deep learning для оценки кредитной истории. Регулятор сказал: "Это может быть дискриминацией по расе или полу". Пришлось переделать на логистическую регрессию.

Bias (предвзятость)

Суть: модель воспроизводит или усиливает bias в данных.

Примеры:

• HR система по найму: обучена на исторических данных, где мужчин нанимали больше → рекомендует мужчин
• Система оценки преступников: обучена на арестах, которые смещены против чёрного населения → рекомендует долгие сроки
• Алгоритм ютуба: усиливает поляризацию мнений

Деловой риск: репутационный урон (как с Amazon и HR системой в 2018).

Performance ограничения

Accuracy plateau

Суть: точность модели растёт до определённого предела, дальше упирается в потолок.

Почему:

• Шум в данных (опечатки, ошибки сбора)
• Неполная информация (нет всех факторов)
• Объективные границы (даже человек не может лучше)

Пример: система предсказания оттока клиентов улучшилась с 70% до 82%, потом застряла. Оказалось, нужна информация из системы CRM, которая недоступна аналитикам.

Концептуальный drift

Суть: целевое явление меняется с течением времени (не просто данные, а сама природа явления).

Пример:

• Модель предсказания популярности видео на YouTube обучена на видео 2010-х
• В 2020 TikTok меняет природу популярности (short-form контент)
• Старая модель неприменима

Мой практический чеклист

Перед внедрением ML спроси:

1. Данные:

• Достаточно ли истории для обучения? (обычно >10k примеров)
• Качественные ли данные? (нет ошибок, пропусков?)
• Есть ли cold start проблемы?

2. Вычисления:

• Хватает ли latency требований? (50ms, 100ms, 1s?)
• Есть ли infrastructure для переобучения модели?

3. Качество:

• Может ли бизнес объяснить решение моделей?
• Проверили ли bias и дискриминацию?
• Какая реальная точность нужна? (не 99%, а практический результат)

Вывод

Технические ограничения ML не непреодолимы, но их нужно учитывать при планировании. Часто простая эвристика работает лучше сложной модели. Золотое правило: использовать самый простой метод, который работает.