Где смотреть логи, получаемые с виртуальной машины?

Мониторинг логов на виртуальных машинах: основные подходы и инструменты

Логи виртуальных машин — критически важный источник информации для диагностики проблем, аудита безопасности и анализа производительности инфраструктуры. В современной DevOps-практике существуют три основных уровня работы с логами: локальный сбор, централизованная агрегация и специализированные облачные сервисы. Рассмотрим каждый из них подробно.

1. Локальный просмотр логов на самой ВМ

На самой виртуальной машине логи традиционно хранятся в директории /var/log/ и её подкаталогах. Основные утилиты для работы с ними:

# Просмотр логов системного демона (systemd)
sudo journalctl -u nginx.service --since "2024-01-01" --until "2024-01-02"

# Мониторинг логов в реальном времени
tail -f /var/log/syslog

# Поиск ошибок в логах
grep -i "error" /var/log/auth.log | head -20

# Просмотр структурированных логов приложений
cat /var/log/myapp/app.log | jq '.'  # если логи в формате JSON

Ключевые системные логи:

• /var/log/syslog или /var/log/messages — общие системные сообщения
• /var/log/auth.log или /var/log/secure — аутентификация и безопасность
• /var/log/kern.log — сообщения ядра
• /var/log/dmesg — драйверы и аппаратные события
• Логи конкретных сервисов: /var/log/nginx/, /var/log/mysql/, /var/log/apache2/

2. Централизованный сбор логов с помощью ELK-стека

Для распределенных систем локальный просмотр становится неэффективным. Стандартное решение — централизованная log-агрегация:

# Пример конфигурации Filebeat для отправки логов в Logstash
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/*.log
  fields:
    environment: production
    vm_name: "web-server-01"

output.logstash:
  hosts: ["logstash-server:5044"]

Типичный стек для централизованного сбора:

• Filebeat/Fluentd/Fluent Bit — агенты для сбора и пересылки логов
• Logstash (опционально) — обработка и трансформация логов
• Elasticsearch — хранение и индексация
• Kibana — визуализация и анализ

Преимущества подхода:

• Единая точка доступа ко всем логам инфраструктуры
• Мощные возможности поиска и фильтрации
• Корреляция событий между разными системами
• Сохранение истории логов после удаления ВМ

3. Облачные сервисы мониторинга

В облачных средах (AWS, Azure, GCP) используются встроенные сервисы:

# AWS CloudWatch Logs: просмотр логов через CLI
aws logs filter-log-events \
  --log-group-name "/var/log/syslog" \
  --start-time $(date -d "1 hour ago" +%s000) \
  --filter-pattern "ERROR"

# Azure Monitor: запрос KQL
AzureActivity
| where TimeGenerated > ago(1h)
| where OperationName == "Microsoft.Compute/virtualMachines/start"
| project TimeGenerated, Caller, OperationName, ResourceGroup

Популярные облачные решения:

• AWS: CloudWatch Logs + CloudWatch Insights
• Azure: Azure Monitor + Log Analytics (Kusto Query Language)
• GCP: Cloud Logging + Cloud Monitoring
• Универсальные: Datadog, Splunk, Grafana Loki, New Relic

4. Современные подходы в контейнеризированных средах

При работе с контейнерами логи виртуальных машин обычно включают:

1. Логи runtime-окружения (Docker, containerd)
2. Логи оркестратора (Kubernetes Node logs)
3. Системные логи хостовой ОС

# Просмотр логов контейнеров Docker
docker logs --tail 50 --follow container_name

# Логи пода в Kubernetes
kubectl logs deployment/myapp -n production --since=1h

# Логи ноды Kubernetes
journalctl -u kubelet --no-pager -n 100

Рекомендации по организации работы с логами

Обязательные практики:

• Настройка ротации логов (logrotate) для предотвращения переполнения диска
• Использование структурированного формата (JSON) для machine-readable логов
• Внедрение парсинга и обогащения логов (добавление metadata: timestamp, source, severity)
• Настройка алертинга на критические ошибки (Integrate with PagerDuty, Opsgenie)
• Реализация ретеншн-политик в соответствии с требованиями compliance

Безопасность и compliance:

• Обеспечение безопасной передачи логов (TLS-шифрование)
• Контроль доступа к логам (RBAC в Kibana/Grafana)
• Архивирование критичных логов в долгосрочное хранилище (S3 Glacier, Azure Archive)
• Регулярный аудит доступа к логам

Оптимизация производительности:

• Фильтрация noise-логов на этапе сбора
• Использование sampling для high-volume логов
• Настройка индексации только необходимых полей в Elasticsearch
• Мониторинг объема и стоимости хранения логов

Выбор конкретного подхода зависит от масштаба инфраструктуры, требований compliance, бюджета и имеющихся компетенций команды. В современном DevOps-стеке рекомендуется начинать с централизованного сбора хотя бы критичных логов, даже в небольших проектах — это существенно сокращает MTTR (Mean Time To Resolution) при инцидентах.