Как удаляются старые индексы в Elasticsearch

Управление жизненным циклом индексов в Elasticsearch

Удаление старых индексов в Elasticsearch — критически важная задача для поддержания производительности кластера, контроля за использованием дискового пространства и соблюдения политик хранения данных. В зависимости от требований проекта, существует несколько стратегий управления жизненным циклом индексов.

Основные подходы к удалению старых индексов

1. Ручное удаление через API

Самый прямой метод — использование REST API для удаления индексов по имени или шаблону:

# Удаление конкретного индекса
curl -X DELETE "localhost:9200/logs-2024.01.01"

# Удаление по шаблону (индексы за январь 2024)
curl -X DELETE "localhost:9200/logs-2024.01.*"

# Удаление всех индексов, соответствующих шаблону
curl -X DELETE "localhost:9200/logs-*"

Важно: Удаление индексов — операция необратимая. Перед выполнением рекомендуется создавать снапшоты.

2. Использование Index Lifecycle Management (ILM)

Начиная с версии 6.6, Elasticsearch предлагает встроенный механизм Index Lifecycle Management, который автоматизирует управление индексами:

PUT _ilm/policy/logs_policy
{
  "policy": {
    "phases": {
      "hot": {
        "actions": {
          "rollover": {
            "max_size": "50gb",
            "max_age": "30d"
          }
        }
      },
      "delete": {
        "min_age": "90d",
        "actions": {
          "delete": {}
        }
      }
    }
  }
}

Преимущества ILM:

• Автоматическое удаление индексов по достижении возраста
• Интеграция с политиками rollover
• Централизованное управление через Kibana
• Поддержка фаз hot, warm, cold, delete

3. Скриптирование с использованием Curator

Elasticsearch Curator — специализированная утилита для управления индексами, особенно популярная до широкого внедрения ILM:

actions:
  1:
    action: delete_indices
    description: "Удалить индексы старше 30 дней"
    options:
      ignore_empty_list: True
      timeout_override: 300
      disable_action: False
    filters:
    - filtertype: pattern
      kind: prefix
      value: logs-
    - filtertype: age
      source: creation_date
      direction: older
      unit: days
      unit_count: 30

Ключевые особенности Curator:

• Гибкая фильтрация по возрасту, размеру, шаблонам имен
• Поддержка сложных условий удаления
• Возможность предварительного просмотра операций
• Интеграция в cron для регулярного выполнения

4. Кастомные скрипты на Python/Bash

Для сложных сценариев часто пишутся собственные скрипты:

#!/usr/bin/env python3
from elasticsearch import Elasticsearch
from datetime import datetime, timedelta

es = Elasticsearch(['localhost:9200'])
indices = es.indices.get('logs-*')

cutoff_date = datetime.now() - timedelta(days=30)

for index_name, index_info in indices.items():
    creation_date = datetime.fromtimestamp(
        int(index_info['settings']['index']['creation_date']) / 1000
    )
    
    if creation_date < cutoff_date:
        print(f"Удаляю индекс: {index_name}")
        es.indices.delete(index=index_name)

Рекомендации по реализации

Безопасное удаление

1. Всегда делайте бэкапы — используйте репозитории снапшотов:

PUT /_snapshot/my_backup/snapshot_2024
{
  "indices": "logs-*",
  "ignore_unavailable": true
}

1. Внедряйте постепенное удаление — начинайте с малого количества индексов
2. Мониторьте влияние на кластер — удаление индексов потребляет ресурсы

Оптимальные практики

• Используйте шаблоны именования (logs-YYYY.MM.DD) для упрощения фильтрации
• Разделяйте индексы по типам данных — разные политики для логов, метрик, транзакций
• Учитывайте репликацию — при удалении большого количества индексов временно уменьшайте число реплик
• Планируйте операции на период низкой нагрузки

Мониторинг и алертинг

Настройте алерты на:

• Неожиданно быстрое увеличение количества удалений
• Ошибки в процессе удаления
• Рост использования диска, несмотря на политики очистки

Заключение

Удаление старых индексов должно быть систематическим, автоматизированным и безопасным процессом. Для современных версий Elasticsearch (7.0+) я рекомендую использовать Index Lifecycle Management как наиболее интегрированное и надежное решение. Для legacy-систем или сложных сценариев Curator остается отличным выбором. Ключевой принцип — никогда не полагаться на ручное удаление в production-средах, так как это ведет к человеческим ошибкам и неконтролируемому росту данных.

Правильно настроенная политика удаления индексов обеспечивает стабильную работу кластера, предсказуемое использование ресурсов и соответствие требованиям регуляторов по хранению данных.