Какую аналитику делаешь на текущем проекте?

Аналитика на текущем проекте

На своём текущем проекте я работаю над Data Analyst функционалом для платформы интервьюирования и подготовки к собеседованиям. Это позволяет мне применять практически все ключевые области аналитики.

Общее описание проекта

Проект PrepBro — это платформа для подготовки кандидатов к собеседованиям. Система позволяет:

• Решать задачи по разным профессиям (Data Analyst, Backend Developer и т.д.)
• Получать детальные ответы от агентов ИИ
• Проходить интерактивные интервью
• Отслеживать прогресс обучения

Это требует гораздо больше аналитики, чем обычное веб-приложение.

Ключевые области аналитики

1. Поведенческая аналитика (Behavioral Analytics)

• Воронка обучения: регистрация → первая задача → 10-я задача → тест → успех
• Метрики engagement:
  • Среднее время на одну задачу (по профессии)
  • % пользователей, прошедших 3+ задачи за сессию
  • Retention (возврат на неделю 2, месяц 2)
  • Churn rate по типу профессии

# Примерный запрос для анализа
SELECT 
    profession_name,
    COUNT(DISTINCT user_id) as total_users,
    COUNT(CASE WHEN tasks_solved >= 10 THEN 1 END) as users_10_tasks,
    COUNT(CASE WHEN tasks_solved >= 10 THEN 1 END) * 100.0 / 
        COUNT(DISTINCT user_id) as completion_rate,
    AVG(time_spent_minutes) as avg_time_minutes
FROM user_progress
GROUP BY profession_name
ORDER BY completion_rate DESC;

2. Качество контента (Content Analytics)

• Анализ сложности задач: какие задачи решают быстро, какие — не решают вообще
• Полезность ответов: сколько пользователей кликали на ответ, помогло ли это им решить задачу
• Оценка учебного материала: какие темы имеют низкий success rate

# Анализ сложности по вопросам
SELECT 
    question_id,
    question_title,
    profession_name,
    COUNT(*) as attempts,
    SUM(CASE WHEN solved = true THEN 1 ELSE 0 END) as solved_count,
    SUM(CASE WHEN solved = true THEN 1 ELSE 0 END) * 100.0 / 
        COUNT(*) as success_rate,
    AVG(time_to_solve_minutes) as avg_time
FROM question_attempts
GROUP BY question_id, question_title, profession_name
HAVING COUNT(*) > 50  -- Минимум 50 попыток
ORDER BY success_rate ASC;  -- Самые сложные первыми

3. Аналитика агентов ИИ (Agent Performance)

Так как ответы генерируют агенты, нужно мониторить их качество:

• Среднее время ответа (SLA: < 5 секунд)
• Полнота ответов: содержит ли ответ примеры кода, формулы, выводы
• Отзывы пользователей: %положительных оценок ответа
• Варьирование: разные агенты дают разные ответы на одно вопрос — нормально

SELECT 
    agent_id,
    profession_name,
    COUNT(*) as answers_given,
    AVG(response_time_seconds) as avg_response_time,
    AVG(answer_length_chars) as avg_answer_length,
    COUNT(CASE WHEN user_rating >= 4 THEN 1 END) * 100.0 / 
        COUNT(*) as positive_rating_rate
FROM agent_answers
WHERE created_at >= NOW() - INTERVAL '7 days'
GROUP BY agent_id, profession_name
ORDER BY positive_rating_rate DESC;

4. Когортный анализ (Cohort Analysis)

• Когорты по дате регистрации: как меняется retention с течением времени
• Когорты по профессии: какие специалисты остаются активнее
• Когорты по источнику трафика: кто приходит из рекламы, с рефералов, из поиска

# Когортный анализ по неделям
WITH cohorts AS (
    SELECT 
        user_id,
        DATE_TRUNC('week', created_at) as cohort_week,
        DATE_TRUNC('week', CURRENT_DATE) - DATE_TRUNC('week', created_at) as age_weeks
    FROM users
)
SELECT 
    cohort_week,
    age_weeks,
    COUNT(DISTINCT user_id) as returning_users
FROM cohorts
GROUP BY cohort_week, age_weeks
ORDER BY cohort_week DESC, age_weeks;

5. Анализ монетизации (если есть платный контент)

• Conversion rate: % пользователей, купивших подписку
• LTV (Lifetime Value): средняя выручка на пользователя
• Cost of acquisition: сколько стоит привести пользователя

Инструменты, которые использую

• PostgreSQL: основная БД, основной инструмент аналитики
• Python (pandas, numpy): обработка данных, статистика
• Jupyter Notebooks: исследования и внутренние отчёты
• BI Tools: если есть — Metabase или Grafana для дашбордов
• Git: версионирование SQL запросов и Python скриптов

Текущие задачи

1. Дашборд прогресса: отслеживать в реальном времени, сколько пользователей активно решают задачи
2. Анализ сложности: автоматически выявлять вопросы, с которыми большинство не справляется
3. A/B тест нового интерфейса: сравнивать, как изменения влияют на completion rate
4. Тесты качества ответов: проверять, что агенты дают полные, полезные ответы

Ключевые метрики для руководства

Это практическая аналитика, которая непосредственно влияет на развитие продукта и улучшение опыта пользователей.