Что такое ELK Stack и для чего его используют?

# ELK Stack: определение и применение

ELK — это аббревиатура трёх open-source технологий для логирования и мониторинга:

• Elasticsearch — распределённая поисковая база данных
• Logstash — инструмент обработки логов
• Kibana — визуализация и аналитика данных

1. Компоненты стека

Elasticsearch

Назначение: полнотекстовая поисковая база данных на основе Apache Lucene

public class LogIndexer {
    private final RestHighLevelClient client;
    
    public void indexLog(ApplicationLog log) throws IOException {
        IndexRequest request = new IndexRequest("logs-app")
            .id(log.getId())
            .source(convertToJson(log), XContentType.JSON);
        client.index(request, RequestOptions.DEFAULT);
    }
}

Характеристики:

• Индексирует JSON-документы
• Поддерживает полнотекстовый поиск с фильтрацией
• Масштабируется горизонтально (шардирование, репликация)
• Хранит исторические данные (индексы по датам)

Logstash

Назначение: сбор, обработка и трансформация логов из разных источников

Функции:

• Чтение логов из TCP/UDP, файлов, Kafka, Syslog
• Парсинг структурированных и неструктурированных логов
• Фильтрация и трансформация (изменение полей, удаление конфиденциальных данных)
• Отправка в Elasticsearch, S3, других систем

Kibana

Назначение: веб-интерфейс для поиска, анализа и визуализации логов

Возможности:

• Discover — поиск по логам с фильтрацией и сортировкой
• Visualizations — графики, диаграммы, тепловые карты
• Dashboards — составление кастомных панелей мониторинга
• Alerts — настройка оповещений при определённых условиях
• Dev Tools — консоль для запросов к Elasticsearch

2. Архитектура и поток данных

Приложение Java → Logstash agents → Elasticsearch cluster → Kibana → DevOps Engineer

3. Когда используют ELK Stack

В микросервисной архитектуре

@Configuration
public class LoggingConfig {
    @Bean
    public Logger setupLogger() {
        return LoggerFactory.getLogger("application");
    }
}

В системе из 10+ микросервисов ELK позволяет:

• Агрегировать логи всех сервисов в единое хранилище
• Искать по корреляционным ID (X-Request-ID, X-Trace-ID)
• Отследить запрос через весь сервис-граф

Отладка production issues

Проблема в production? ELK позволяет:

• Найти все логи с ошибкой за последний час
• Видеть stack trace, context и информацию о user'е
• Отследить root cause инцидента

Мониторинг performance

• Response time анализ — построить график p50, p95, p99 latency
• Error rate мониторинг — отследить тренд ошибок в реальном времени
• Database query анализ — найти slow queries через логи Hibernate
• Memory leaks detection — анализ GC логов и heap usage

Compliance и аудит

@Aspect
@Component
public class AuditAspect {
    @Around("@annotation(AuditLog)")
    public Object auditLog(ProceedingJoinPoint jp) throws Throwable {
        Map<String, Object> auditEvent = new LinkedHashMap<>();
        auditEvent.put("timestamp", Instant.now());
        auditEvent.put("user_id", getCurrentUserId());
        auditEvent.put("action", jp.getSignature().getName());
        
        logger.info("AUDIT_EVENT: {}", objectMapper.writeValueAsString(auditEvent));
        return jp.proceed();
    }
}

Для соответствия GDPR, PCI-DSS, SOC 2 требуется логирование всех действий.

4. Альтернативы

5. Практические советы

1. Структурированное логирование — логируйте в JSON
2. Retention policy — удаляйте старые индексы для экономии дискового пространства
3. Шарды — правильно настройте количество шардов
4. Security — защитите Elasticsearch и Kibana паролем
5. Backup — регулярно бэкапьте snapshot'ы индексов

Заключение

ELK Stack — это мощный open-source решение для логирования, мониторинга и анализа данных. Он идеален для микросервисных архитектур, production troubleshooting и соответствия compliance требованиям. Альтернативой являются облачные решения (Datadog, Splunk), которые проще в обслуживании, но дороже.