Сколько человек необходимо для проведения исследования?

Оптимальное количество людей для проведения исследования

Это классический вопрос, который я много раз обсуждал с коллегами. Правильный ответ: "Зависит от цели исследования", но давайте разберем конкретнее.

Золотое правило: 30-40% от валидного размера выборки

Хочу сразу сказать: не нужно 10,000 людей для качественного инсайта. Статистически валидная выборка для большинства SaaS задач — 30-50 пользователей. Но качественных интервью часто хватает намного меньше.

Николас Лемом (Nielsen Norman Group) провел исследование и выяснил:

• На 5 интервью вы уловите 85% главных проблем в UX
• На 15 интервью — вы покроете 99% проблем
• После 15 интервью идеи начинают повторяться

Это значит, что для качественного user research часто достаточно 10-20 человек.

Разные типы исследований — разные размеры выборки

1. Качественные интервью (Discovery)

Цель: понять, ПОЧЕМУ пользователи так делают.

Количество: 10-20 человек

Оптимальный процесс:

• Сегментируйте на personas (e.g., "новые пользователи", "power users", "ушедшие пользователи")
• Из каждого сегмента берите 3-5 человек
• Итого: 10-15 человек

Почему 10-15, а не 100? Потому что:

• Качественные интервью дорогие (требуют вашего времени)
• Идеи насыщаются быстро
• На 100 интервью вы потратите месяц и не получите дополнительного инсайта

Мой опыт: На последнем проекте я провел 15 интервью с пользователями, которые отменили подписку. На интервью 12-15 я услышал те же самые проблемы. Это было сигналом, что данных достаточно.

2. Опросы (Quantitative Surveys)

Цель: понять, НА СКОЛЬКО распространена проблема.

Количество: 200-500 человек (зависит от точности, которая вам нужна)

Формула для расчета:

• Если ваша база пользователей: 50,000
• Уровень доверия: 95%
• Margin of error: 5%
• Нужное количество: примерно 380 человек

Но в реальности:

• На response rate 20-30%, нужно отправить опрос 1,500-2,000 человекам
• Часто компании довольствуются меньшей точностью (10% margin of error) и берут 100-150 ответов

Трюк: Если у вас есть сегментация (новые vs. старые, free vs. paid), вы можете выбрать подвыборку из каждого сегмента. Например, 50 из новых + 50 из старых = 100 ответов, но они будут более информативны, чем 100 случайных.

3. A/B тесты (Quantitative Experiments)

Цель: понять, работает ли решение.

Количество: минимум 100 на каждый вариант (итого 200-300)

Но это зависит от:

• Baseline conversion rate
• Минимальный прирост, который вас интересует

Пример расчета:

• Текущая conversion rate: 5%
• Минимальный прирост, который вас интересует: +1% (до 6%)
• Статистическая мощность: 80%
• Significance level: 95%
• Нужное количество: ~3,200 пользователей на каждую группу

Но если вас интересует просто понять, помогает ли фича или нет (big effect size):

• Текущая conversion rate: 20%
• Минимальный прирост: +10% (до 30%)
• Нужное количество: ~200 на каждую группу

Трюк: Во многих SaaS компаниях traffic недостаточен для статистически валидного теста. В этом случае:

• Берите то количество, которое у вас есть
• Запускайте тест дольше (несколько недель)
• Смотрите на direction эффекта, а не на абсолютное значение
• Если direction обнадеживающий, запускайте фичу и смотрите на реальные метрики

4. Юзабилити тестирование (Usability testing)

Цель: понять, может ли пользователь использовать интерфейс.

Количество: 5-8 человек

Почему так мало? Потому что:

• На 5 человеках вы найдете 85% проблем с UX
• На 8 человеках — практически все
• 9-й человек покажет те же проблемы, что 1-й

Мой процесс:

• Приглашаю 5-8 пользователей
• По 45-60 минут интервью на каждого
• Заранее готовлю сценарий (e.g., "Как вы бы нашли эту фичу?")
• Записываю видео и слушаю 2 раза
• Аналитик или дизайнер выписывают основные проблемы
• На выход: список 15-20 UX проблем, отсортированный по частоте

5. Фокус-группы

Цель: получить глубокое обсуждение темы, услышать разные мнения.

Количество: 6-10 человек на одну группу

Оптимум:

• 1 модератор
• 6-8 участников (больше — они не все говорят; меньше — мало контраста мнений)
• 60-90 минут на группу

Трюк: часто нужны 2-3 фокус-группы с разными сегментами. Например:

• FG1: новые пользователи
• FG2: опытные пользователи
• FG3: пользователи конкурента

Итого: 15-25 человек в 2-3 фокус-группах.

Как я определяю размер выборки на практике

Шаг 1: Определяю вопрос

• Качественный вопрос? ("Почему?") → интервью
• Количественный вопрос? ("Сколько?") → опрос или тест
• Design question? ("Может ли пользователь?" ) → юзабилити тест

Шаг 2: Определяю бюджет

• Время: сколько часов я могу потратить?
• Деньги: могу ли я нанять research агентство?
• Инструменты: есть ли у нас Qualtrics, Typeform, UserTesting?

Шаг 3: Балансирую между скоростью и точностью

Например, если нужно ответить на вопрос за неделю:

• Я бы провел 10 качественных интервью самостоятельно
• Записал бы видео
• Выписал бы ключевые инсайты

Если есть месяц:

• Я бы сделал 20 интервью (более представительно)
• Добавил бы опрос на 300 людях (к чему придали значение в интервью)
• Запустил бы A/B тест на 1,000 человеках

Шаг 4: Думаю о риске неправильного ответа

Вопросы с high risk (e.g., "Переводим основной продукт на новую архитектуру"):

• Нужна большая выборка (100+ человек для опроса или тест на 10,000 человеках)

Вопросы с low risk (e.g., "Переназываем кнопку"):

• Можно обойтись 5 человеками на юзабилити тесте

Сколько нужно людей для разных сценариев (мой опыт)

"Что думают пользователи о новой фиче?" → 10-15 интервью + 200 человек в опросе = хороший баланс

"Какой вариант дизайна лучше?" → 5-8 человек на юзабилити тест + A/B тест на 500-1,000 human

"Стоит ли нам делать этот продукт?" → 20 интервью + 400 человек в опросе + опционально фокус-группа

"Почему пользователи уходят?" → 15-20 интервью с churned users, это даст вам 80% ответов

"Какую кнопку нажимать?" → 5-8 человек на юзабилити тесте, можно даже меньше

Частые ошибки, которые я видел

Ошибка 1: Проводить 100 интервью Результат: месячное исследование, 80% информации — повторы, потрачено слишком много времени. → Вывод: 15 интервью дают 99% инсайтов. Используйте остальное время на анализ или тестирование.

Ошибка 2: Опрос только 20 человек Результат: неправильно интерпретируете как trends то, что может быть просто шумом. → Вывод: опрос должен быть минимум 100 человек, иначе это просто "несколько разговоров".

Ошибка 3: Юзабилити тест с 20 людьми Результат: потрачено время и деньги, но получили информацию на 10 человеках (остальные 10 в зависимых переменных). → Вывод: 5-8 это оптимум, больше 10 — это overkill.

Ошибка 4: Не сегментировать выборку Результат: усреднили 20 human, но новые user отличаются от старых, вывод бесполезен. → Вывод: всегда сегментируйте (новые/старые, SMB/Enterprise, free/paid).

Финальный совет

Лучше провести 15 интервью за 2 недели и принять решение, чем ждать 100 интервью за 3 месяца. Сейчас конкурентное преимущество — в скорости обучения, а не в абсолютной точности.

Помните: исследование с 5 людьми, которое делает вас двигаться БЫСТРО, лучше, чем исследование со 1,000 людей, которое парализует вас нерешительностью.