Как будешь строить систему алертов?

Система алертов

Система алертов состоит из компонентов:

1. Источник данных

Метрики в БД, обновляются каждый час

2. Правила

Дефинируем правила в таблице alert_rules: условие, пороги, severity

3. Движок проверки

Асинхронный процесс проверяет правила каждые 5 минут

4. Каналы уведомлений

• Slack для critical (мгновенно)
• Email для warning
• PagerDuty для инцидентов
• SMS для ночи

5. Эскалация

Шаги эскалации: сначала Slack → через 5 мин PagerDuty → через 10 мин email

6. Дедупликация

Не отправляем одно и то же чаще чем раз в 30 минут

7. Метрики для алертов

• DAU упал на 30%
• Conversion rate упал
• Error rate > 5%
• Database response > 1s
• API недоступен
• Синхронизация отстаёт

8. Архитектура

Метрики → Проверка → Дедупликация → Отправка (Slack/Email/PagerDuty)