В какой период проводится тест для DAU

# В какой период проводить A/B тест для DAU

Краткий ответ

Для метрики DAU (Daily Active Users) тест должен длиться минимум 7 дней (одна полная неделя), а лучше 14 дней (две недели).

Почему 7 дней?

Недельные паттерны

Пользовательское поведение кардинально отличается по дням недели:

• Выходные (сб-вс): DAU выше на 15-20%, сессии длиннее
• Будни (пн-пт): DAU ниже, люди работают/учатся
• Конец недели (пт-сб): Выше чем начало

Если запустить тест на 1-2 дня, результат не будет репрезентативен.

Пример проблемы

Тест только в выходные (сб-вс):
- DAU выше чем обычно
- Результаты завышены
- Неверный вывод!

Тест только в будни (пн-пт):
- DAU ниже чем обычно  
- Результаты занижены
- Неверный вывод!

Рекомендации по длительности

7 дней (одна неделя) - МИНИМУМ

• ✅ Охватывает все дни недели
• ✅ Быстро (можно решить через неделю)
• ✅ Подходит если эффект большой (lift > 5%)
• ❌ Может быть недостаточно для маленьких эффектов

14 дней (две недели) - ЛУЧШЕ

• ✅ Две полные недели
• ✅ Нейтрализует случайные флуктуации
• ✅ Лучше статистическая мощность
• ✅ Рекомендуется если эффект маленький (< 3%)
• ❌ Дольше по времени

Какой день недели для старта?

Лучше всего начинать вторник или среду:

• ✅ Середина недели (стабильный трафик)
• ✅ Не пятница (смешивает выходные)
• ✅ Не понедельник (может быть spike)
• ✅ Позволяет закончить в следующий вторник (ровно 7 дней)

Специальные случаи

Маленький DAU (< 100K)

Увеличь до 14-28 дней для достаточного sample size

Очень большой DAU (> 100M)

Можешь делать короче, но всё равно минимум 7 дней

Маленький эффект (< 2%)

Обязательно 14-28 дней

Мой финальный рецепт

По умолчанию: 7-14 дней, начиная со вторника или среды.

Выбор между 7 и 14 днями:

• Большой эффект (> 5%)? → 7 дней
• Средний эффект (2-5%)? → 7-14 дней
• Маленький эффект (< 2%)? → 14-28 дней

Итог

Для DAU тестов нужна минимум одна полная неделя чтобы покрыть все дни недели и избежать selection bias. Это стандарт в индустрии (Google, Uber, Netflix).