Что входит в ELK?

ELK Stack — Elasticsearch, Logstash, Kibana

ELK — это популярный стек для централизованного логирования, анализа и визуализации данных. За годы работы я использовал его в нескольких production проектах, и это мощный инструмент для мониторинга.

Что входит в ELK

ELK состоит из трёх компонентов:

1. Elasticsearch

Поисковая и аналитическая система на основе Lucene.

• Хранит логи в распределённом индексе
• Позволяет очень быстро искать и фильтровать логи
• Работает с JSON документами
• Масштабируется горизонтально (добавляй узлы)

# Пример индекса в Elasticsearch
document = {
    "timestamp": "2026-03-23T10:30:00Z",
    "service": "api",
    "level": "ERROR",
    "message": "Database connection timeout",
    "stack_trace": "...",
    "user_id": 123
}

Электронный поиск может индексировать миллиарды событий.

2. Logstash

Pipeline для сбора, обработки и отправки логов.

• Читает логи из разных источников (файлы, сокеты, Kafka, и т.д.)
• Обрабатывает и трансформирует логи (парсит, фильтрует, обогащает)
• Отправляет в Elasticsearch или другие хранилища

# Пример конфигурации Logstash
config = """
input {
  file {
    path => "/var/log/app/*.log"
    start_position => "beginning"
  }
}

filter {
  grok {
    match => { "message" => "%{LOGLEVEL:level} %{GREEDYDATA:message}" }
  }
  date {
    match => [ "timestamp", "ISO8601" ]
  }
}

output {
  elasticsearch {
    hosts => ["localhost:9200"]
    index => "app-logs-%{+YYYY.MM.dd}"
  }
}
"""

3. Kibana

Платформа для визуализации и анализа данных из Elasticsearch.

• Красивые дашборды с графиками
• Поиск и фильтрация логов
• Алерты при определённых условиях
• Анализ трендов и аномалий

Архитектура ELK

# Типичный flow:

Лог от приложения
    ↓
  [Filebeat/Fluent/Agent] ← собирает логи
    ↓
  [Logstash] ← парсит и обрабатывает
    ↓
  [Elasticsearch] ← индексирует и хранит
    ↓
  [Kibana] ← визуализирует

Альтернативные компоненты

Вместо Logstash используют:

• Filebeat — лёгкий агент для сбора логов
• Fluentd — более гибкий обработчик логов
• Beats — семейство лёгких агентов (метрики, APM)

ELK расширился до:

• Elastic Stack (новое название)
• X-Pack — комерческие возможности (security, monitoring)

Как я использовал ELK на практике

1. Мониторинг ошибок в production:

• Все логи приложения идут в Logstash
• Elasticsearch индексирует их
• В Kibana смотрю дашборд с ошибками в реальном времени

2. Отладка проблем:

• Ищу логи по user_id или request_id
• Вижу полный flow запроса
• Быстро находу где упало

3. Анализ производительности:

• Отслеживаю время отклика API
• Вижу когда начались проблемы
• Планирую масштабирование

4. Сотрудничество с DevOps:

• Создаю дашборды для разных команд
• Настраиваю алерты
• Документирую проблемы

Команды для работы с ELK

# Проверка статуса Elasticsearch
curl http://localhost:9200/_cluster/health

# Просмотр индексов
curl http://localhost:9200/_cat/indices

# Поиск логов через API
curl -X GET "localhost:9200/app-logs-*/_search" -H "Content-Type: application/json" -d'
{
  "query": {
    "match": {
      "message": "error"
    }
  },
  "size": 100
}'

Плюсы ELK

✅ Централизованное логирование — все логи в одном месте ✅ Быстрый поиск — индексирование делает поиск молниеносным ✅ Масштабируемость — работает с миллиардами логов ✅ Гибкость — можешь обрабатывать любой формат логов ✅ Визуализация — красивые дашборды для анализа ✅ Open source — бесплатна в базовой версии

Минусы ELK

❌ Сложность настройки — требует знаний DevOps ❌ Ресурсы — Elasticsearch жрёт RAM и диск ❌ Обучение — нужно учиться работать с query DSL ❌ Комплексность — три компонента, которые нужно синхронизировать

Альтернативы

• Splunk — коммерческий, мощный
• CloudWatch — если на AWS
• Datadog — комплексный мониторинг
• New Relic — APM и мониторинг
• Grafana Loki — лёгкий вариант для логов

Когда использовать ELK

Используй ELK если:

• production окружение с множеством сервисов
• нужна быстрая отладка проблем
• важна аналитика логов
• бюджет позволяет

Не используй ELK если:

• маленький проект с 1-2 серверами
• логов немного (можно файлами)
• нет DevOps на команде
• нет бюджета на инфраструктуру

ELK — это инвестиция в качество мониторинга, которая окупается в production окружениях.