Для чего использовал ClickHouse?

ClickHouse для аналитики и обработки больших объемов данных

Я использовал ClickHouse в проекте реального времени аналитики, где требовалось хранить и анализировать миллиарды событий пользователей с минимальными задержками.

Сценарий использования

Разработал систему мониторинга для SaaS платформы:

// Node.js сервис отправляет события в ClickHouse
const clickhouse = new ClickHouse({
  host: clickhouse.example.com,
  port: 8123,
  database: analytics,
});

// Пакетная вставка событий
await clickhouse.insert({
  table: events,
  values: [
    { user_id: 123, event_type: login, timestamp: now(), country: RU },
    { user_id: 124, event_type: signup, timestamp: now(), country: US },
  ],
}).toPromise();

Почему именно ClickHouse?

1. Колоночное хранилище

• Оптимально для аналитических запросов (SELECT с агрегацией)
• Сжатие данных на 10-100x
• Традиционная SQL база неэффективна для анализа миллиардов строк

2. Скорость запросов

• Простой запрос: 100 млн строк за 100ms
• Группировка по стране, типу события, часам — за секунды
• MongoDB/PostgreSQL в 100 раз медленнее на таких объёмах

3. Разреженные данные

-- Найти страны с самой высокой конверсией за месяц
SELECT country,
       count(*) as total_users,
       countIf(event_type = purchase) as purchases,
       (purchases / total_users) * 100 as conversion_pct
FROM events
WHERE timestamp >= today() - 30
GROUP BY country
ORDER BY conversion_pct DESC
LIMIT 10;

Так как у нас 10 млрд событий за месяц, это запрос выполняется за 2-3 секунды.

Интеграция с Node.js

Pipeline:

1. Приложение генерирует события (login, purchase, view)
2. Отправляет в Redis queue для батчинга
3. Worker каждые 10 секунд отправляет batch в ClickHouse
4. Dashboard (React) запрашивает ClickHouse через API

// Worker для батчинга
setInterval(async () => {
  const events = await redis.lpop(events:queue, 1000);
  if (events.length === 0) return;
  
  await clickhouse.insert({
    table: events,
    values: events.map(e => JSON.parse(e)),
  }).toPromise();
}, 10000);

Что еще использовал

• Apache Kafka для реального времени потока событий (вместо Redis для high-volume)
• Superset для dashboards (работает с ClickHouse нативно)
• Grafana для мониторинга инфраструктуры

Когда НЕ использовать ClickHouse

• Транзакционные операции (UPDATE, DELETE медленные)
• Данные с частыми обновлениями
• Когда нужны ACID гарантии
• Сложные JOIN на большие таблицы

Для OLTP (операционные данные) остаю с PostgreSQL или MongoDB, а ClickHouse только для OLAP (аналитики).