Как называется подход к оптимизации БД, при котором база очищается от устаревших данных?

Очистка устаревших данных в базах данных

Основной подход к удалению устаревших данных называется Data Purging или Data Expiration. Однако в современных системах чаще используется более комплексная стратегия Data Lifecycle Management (DLM), которая включает не только очистку, но и управление данными на всех этапах их существования.

Основные техники и реализации

1. TTL (Time-To-Live) механизмы

Многие базы данных поддерживают автоматическое удаление данных по времени.

Пример в PostgreSQL с использованием триггеров:

CREATE OR REPLACE FUNCTION purge_old_data()
RETURNS TRIGGER AS $$
BEGIN
    DELETE FROM orders 
    WHERE created_at < NOW() - INTERVAL '365 days';
    RETURN NULL;
END;
$$ LANGUAGE plpgsql;

CREATE TRIGGER purge_trigger
AFTER INSERT ON orders
EXECUTE FUNCTION purge_old_data();

Пример в Redis (встроенный TTL):

// Go пример работы с Redis TTL
import "github.com/go-redis/redis/v8"

func setWithTTL(client *redis.Client, key string, value interface{}) error {
    // Установка ключа с TTL 30 дней
    return client.Set(ctx, key, value, 30*24*60*60*time.Second).Err()
}

2. Архивация и партиционирование

Разделение данных на активные и исторические части:

-- PostgreSQL таблица с партиционированием по дате
CREATE TABLE logs (
    id SERIAL,
    message TEXT,
    created_at TIMESTAMP
) PARTITION BY RANGE (created_at);

-- Активная партиция (последний месяц)
CREATE TABLE logs_current PARTITION OF logs
FOR VALUES FROM ('2024-01-01') TO ('2024-02-01');

-- Архивная партиция (старые данные)
CREATE TABLE logs_archive PARTITION OF logs
FOR VALUES FROM ('2023-01-01') TO ('2024-01-01');

3. Периодические cleanup jobs

Регулярные задачи очистки через планировщики:

// Go пример периодической очистки с использованием cron
import "github.com/robfig/cron/v3"

func setupCleanupJob(db *sql.DB) {
    c := cron.New()
    
    // Ежедневная очистка в 2:00 AM
    c.AddFunc("0 2 * * *", func() {
        cleanupOldUsers(db)
        cleanupExpiredSessions(db)
    })
    
    c.Start()
}

func cleanupOldUsers(db *sql.DB) error {
    // Удаление пользователей без активности более года
    query := `
        DELETE FROM users 
        WHERE last_active_at < NOW() - INTERVAL '1 year'
        AND deleted_at IS NULL`
    
    _, err := db.Exec(query)
    return err
}

Ключевые стратегии управления

• Политика Retention Policy: определение правил хранения для разных типов данных (логи - 30 дней, транзакции - 7 лет).
• Шардирование по времени: распределение данных по разным узлам/таблицам основанное на временных интервалах.
• Холодное и горячее хранение: перемещение старых данных на более медленные/дешевые storage системы (S3, архивные БД).
• Компрессия исторических данных: применение алгоритмов сжатия для уменьшения объема без удаления.

Технические реализации в популярных БД

MongoDB TTL indexes:

// Создание TTL индекса для автоматического удаления
db.logs.createIndex(
    { "createdAt": 1 },
    { expireAfterSeconds: 86400 } // 24 часа
)

Cassandra TimeWindowCompactionStrategy: специальная стратегия компакции для удаления устаревших данных на уровне SSTable.

Оптимизации производительности

При массовых удалениях важно учитывать:

// Постепенное удаление больших объемов данных в Go
func batchDelete(db *sql.DB, batchSize int) error {
    for {
        // Удаление небольшими batch для избежания блокировок
        result, err := db.Exec(`
            DELETE FROM big_table 
            WHERE id IN (
                SELECT id FROM big_table 
                WHERE expired = true 
                LIMIT $1
            )`, batchSize)
        
        if err != nil || rowsAffected == 0 {
            break
        }
        
        // Пауза между batch для снижения нагрузки
        time.Sleep(100 * time.Millisecond)
    }
    return nil
}

Мониторинг и автоматизация

Реализация системы мониторинга объемов данных:

type StorageMetrics struct {
    TotalSize      int64
    ActiveDataSize int64
    ArchiveSize    int64
    ExpiredCount   int64
}

func monitorDataLifecycle(db *sql.DB) StorageMetrics {
    metrics := StorageMetrics{}
    
    // Анализ объема данных по категориям
    db.QueryRow(`SELECT COUNT(*) FROM orders WHERE created_at > NOW() - '90 days'`).
        Scan(&metrics.ActiveDataSize)
    
    db.QueryRow(`SELECT COUNT(*) FROM orders WHERE created_at < NOW() - '365 days'`).
        Scan(&metrics.ExpiredCount)
    
    return metrics
}

Практические рекомендации:

1. Всегда использовать soft delete сначала: помечать данные как удаленные, затем физически очищать.
2. Регулярный анализ growth rate: прогнозирование роста данных для планирования очистки.
3. Разделение на operational и analytical данные: операционные данные в OLTP, аналитические - в отдельные хранилища.
4. Легальные и compliance требования: соблюдение GDPR, требований к финансовым данным.

Эффективное управление устаревшими данными требует сочетания автоматических механизмов БД (TTL), регулярных административных задач и архитектурных решений (партиционирование, шардирование). Наиболее современные подходы интегрируют Data Lifecycle Management в DevOps процессы, включая очистку данных в CI/CD pipelines и инфраструктуру мониторинга.