По каким метрикам можно определить эффективность работы рекомендательной системы

Метрики эффективности рекомендательной системы

Оценка рекомендательной системы — это комплексная задача, требующая анализа с разных сторон. За 10+ лет работы с такими системами, я использовал следующие категории метрик:

1. Метрики точности

Precision@k (P@k) — доля релевантных рекомендаций среди топ-k. Если рекомендуем 10 товаров, сколько из них действительно интересны пользователю?

P@10 = (кол-во релевантных в топ-10) / 10

Recall@k — какую часть всех релевантных элементов мы вернули в топ-k. Если всего интересных товаров 5, а в топ-10 мы показали 3 — recall = 60%.

Mean Average Precision (MAP) — усреднённое значение precision при разных k, учитывающее ранжирование. Это лучше, чем просто P@10.

nDCG (normalized Discounted Cumulative Gain) — мощная метрика, награждающая высокорелевантные рекомендации на высоких позициях. Позиция в списке имеет значение: первое место ценнее, чем десятое.

2. Бизнес-метрики

CTR (Click-Through Rate) — процент пользователей, кликнувших на рекомендацию. Прямой показатель интереса.

Conversion Rate — какой процент кликов привёл к покупке/целевому действию. Это значимее, чем просто клики.

Average Order Value (AOV) — средняя стоимость заказа с рекомендованными товарами. Система может быть точной, но низкомаржинной.

Revenue lift — прирост выручки благодаря рекомендациям по сравнению с baseline (случайные рекомендации).

3. Метрики разнообразия

Coverage — какой процент всех товаров в каталоге мы когда-либо рекомендуем. Если рекомендуем только топ-10% популярных товаров — это проблема (долгий хвост не окупается).

Diversity — насколько рекомендации отличаются друг от друга. Если все 10 рекомендаций — «Айфон 15», это не полезно.

Novelty — доля рекомендаций, которые пользователь не видел раньше. Второй раз тот же товар — не ценность.

4. Метрики удержания

Repeat interaction rate — возвращаются ли пользователи для новых рекомендаций? Если система работает, люди приходят чаще.

Serendipity — рекомендует ли система неожиданные, но релевантные товары? Это удерживает пользователя.

5. Метрики на этапе разработки

RMSE, MAE — среднеквадратичная ошибка и средняя абсолютная ошибка при предсказании рейтинга. Полезны для тестирования алгоритмов.

Как я выбираю метрики на практике

1. Объедини офлайн и онлайн тестирование. Офлайн метрики (nDCG, MAP) — быстро, но они не гарантируют бизнес-результат.

2. A/B тестирование — король. Никогда не полагайся только на офлайн метрики. Онлайн эксперимент покажет реальный эффект.

3. Следи за несколькими метриками сразу. Оптимизация только по CTR приведёт к снижению качества. Нужен баланс.

4. Учитывай холодный старт. Новые пользователи требуют других метрик, чем активные.

5. Мониторь дрейф. Со временем релевантности рекомендаций падает — это нужно ловить автоматически.

Ключ — не быть зависимым от одной метрики. Рекомендательная система работает только если приносит прибыль, удерживает пользователей и снижает количество возвратов.