Есть ли у микросервисов интеграция в Logstash

# Интеграция микросервисов с Logstash

Да, интеграция микросервисов с Logstash является стандартной практикой в современной архитектуре. Logstash играет ключевую роль в сборе, обработке и передаче логов из распределённых систем.

Architektura ELK Stack

Logstash обычно используется как часть ELK Stack:

Микросервисы → Logstash → Elasticsearch → Kibana
   (Logs)   (Pipeline)   (Storage)      (Visualization)

Способы интеграции

1. Файловые логи через Logstash

# logstash.conf
input {
  file {
    path => "/var/log/application/*.log"
    start_position => "beginning"
  }
}

filter {
  grok {
    match => { "message" => "%{TIMESTAMP_ISO8601:timestamp} %{LOGLEVEL:level} %{DATA:logger} - %{GREEDYDATA:msg}" }
  }
}

output {
  elasticsearch {
    hosts => ["localhost:9200"]
    index => "logs-%{+YYYY.MM.dd}"
  }
}

2. Logback + Logstash Encoder (рекомендуется для Java)

<!-- pom.xml -->
<dependency>
    <groupId>net.logstash.logback</groupId>
    <artifactId>logstash-logback-encoder</artifactId>
    <version>7.3</version>
</dependency>

<!-- logback-spring.xml -->
<configuration>
    <appender name="STASH" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <file>logs/logstash.log</file>
        <encoder class="net.logstash.logback.encoder.LogstashEncoder">
            <customFields>{"service_name":"user-service"}</customFields>
        </encoder>
        <rollingPolicy class="ch.qos.logback.core.rolling.SizeAndTimeBasedRollingPolicy">
            <fileNamePattern>logs/logstash.%d{yyyy-MM-dd}.%i.log</fileNamePattern>
            <maxFileSize>100MB</maxFileSize>
            <maxHistory>30</maxHistory>
        </rollingPolicy>
    </appender>
    
    <root level="INFO">
        <appender-ref ref="STASH" />
    </root>
</configuration>

3. TCP Appender для прямой отправки

<!-- logback-spring.xml -->
<appender name="LOGSTASH_TCP" class="ch.qos.logback.core.net.SocketAppender">
    <remoteHost>logstash-server</remoteHost>
    <port>5000</port>
    <encoder class="net.logstash.logback.encoder.LogstashEncoder" />
</appender>

<root level="INFO">
    <appender-ref ref="LOGSTASH_TCP" />
</root>

# logstash.conf для TCP
input {
  tcp {
    port => 5000
    codec => json
  }
}

Логирование в микросервисной архитектуре

4. Централизованное логирование с трассировкой

import org.springframework.web.filter.OncePerRequestFilter;
import org.slf4j.MDC;

public class LoggingFilter extends OncePerRequestFilter {
    @Override
    protected void doFilterInternal(HttpServletRequest request, 
                                   HttpServletResponse response, 
                                   FilterChain filterChain) {
        String traceId = UUID.randomUUID().toString();
        MDC.put("traceId", traceId);
        MDC.put("serviceName", "product-service");
        
        try {
            filterChain.doFilter(request, response);
        } finally {
            MDC.clear();
        }
    }
}

<!-- logback-spring.xml с MDC полями -->
<encoder class="net.logstash.logback.encoder.LogstashEncoder">
    <customFields>{
        "service_name":"product-service",
        "environment":"production"
    }</customFields>
    <includeContext>true</includeContext>
</encoder>

5. Docker Compose для разработки

version: 3.8
services:
  elasticsearch:
    image: docker.elastic.co/elasticsearch/elasticsearch:8.0.0
    environment:
      - discovery.type=single-node
      - xpack.security.enabled=false
    ports:
      - "9200:9200"
  
  logstash:
    image: docker.elastic.co/logstash/logstash:8.0.0
    volumes:
      - ./logstash.conf:/usr/share/logstash/pipeline/logstash.conf
      - ./logs:/var/log/application
    ports:
      - "5000:5000"
    environment:
      - "LS_JAVA_OPTS=-Xmx256m -Xms256m"
  
  kibana:
    image: docker.elastic.co/kibana/kibana:8.0.0
    ports:
      - "5601:5601"
    environment:
      - ELASTICSEARCH_HOSTS=http://elasticsearch:9200

Преимущества интеграции

1. Централизованное хранилище логов — все микросервисы пишут в одно место
2. Полнотекстовый поиск — быстрое нахождение проблем
3. Аналитика и мониторинг — визуализация через Kibana
4. Корреляция событий — связь событий через traceId
5. Масштабируемость — легко обрабатывает огромные объёмы логов

Best Practices

• Используйте JSON формат вместо текстовых логов
• Добавляйте уникальные идентификаторы запросов (traceId, spanId)
• Структурируйте логи с контекстной информацией
• Используйте разные уровни логирования (INFO, WARN, ERROR)
• Фильтруйте чувствительные данные в Logstash
• Настраивайте индексацию по времени для эффективного хранения

Logstash — незаменимый инструмент в микросервисной архитектуре для агрегации, обработки и анализа логов.