Как выполняется очистка БД от устаревших данных?

Стратегии очистки базы данных от устаревших данных

Очистка устаревших данных — критически важная задача для поддержания производительности, соблюдения нормативных требований (GDPR, CCPA) и эффективного управления хранилищем. В Go-экосистеме применяется несколько стратегий, которые можно комбинировать.

Основные подходы к очистке

1. Прямое удаление через запросы (Hard Delete)

Наиболее простой метод — выполнение SQL-запросов на удаление записей, которые старше определённого срока.

DELETE FROM user_sessions WHERE last_activity < NOW() - INTERVAL '30 days';

В Go это реализуется через стандартный database/sql или ORM:

func purgeOldSessions(db *sql.DB, retentionDays int) error {
    query := `DELETE FROM user_sessions WHERE last_activity < $1`
    cutoff := time.Now().AddDate(0, 0, -retentionDays)
    _, err := db.Exec(query, cutoff)
    if err != nil {
        return fmt.Errorf("purge failed: %w", err)
    }
    return nil
}

Недостатки: Блокировка таблиц на время выполнения, нагрузка на журнал транзакций, возможная фрагментация.

2. Мягкое удаление (Soft Delete) с последующей очисткой

Практика добавления флага is_deleted или deleted_at с последующим физическим удалением отдельным процессом.

type Order struct {
    ID        int64
    Data      string
    DeletedAt *time.Time
    CreatedAt time.Time
}

func (s *Service) CleanupSoftDeleted(olderThan time.Duration) error {
    tx, _ := s.db.Begin()
    defer tx.Rollback()
    
    cutoff := time.Now().Add(-olderThan)
    _, err := tx.Exec(`
        DELETE FROM orders 
        WHERE deleted_at IS NOT NULL 
        AND deleted_at < $1
        LIMIT 1000
    `, cutoff)
    
    if err != nil {
        return err
    }
    return tx.Commit()
}

Преимущества: Возможность восстановления данных, меньше блокировок при постепенной очистке.

3. Партиционирование таблиц

Для хронологических данных оптимально использовать партиционирование по дате. Старые партиции можно быстро удалять или архивировать.

-- Создание партиционированной таблицы в PostgreSQL
CREATE TABLE logs (
    id SERIAL,
    message TEXT,
    created_at TIMESTAMP NOT NULL
) PARTITION BY RANGE (created_at);

-- Создание партиции на месяц
CREATE TABLE logs_2024_01 PARTITION OF logs
FOR VALUES FROM ('2024-01-01') TO ('2024-02-01');

-- Удаление устаревшей партиции одной операцией
DROP TABLE logs_2023_01;

Преимущества: Мгновенное удаление целых партиций, улучшенная производительность запросов по диапазону дат.

4. Архивация перед удалением

Перед физическим удалением данные можно перемещать в архивные таблицы или объектные хранилища.

func (a *Archiver) ArchiveAndPurge(table string, cutoff time.Time) error {
    // 1. Копируем данные в архив
    _, err := a.db.Exec(`
        INSERT INTO archive_$1 
        SELECT * FROM $1 
        WHERE created_at < $2
    `, table, cutoff)
    
    if err != nil {
        return fmt.Errorf("archive failed: %w", err)
    }
    
    // 2. Удаляем оригиналы
    _, err = a.db.Exec(`
        DELETE FROM $1 
        WHERE created_at < $2
    `, table, cutoff)
    
    return err
}

Практические аспекты реализации в Go

Планирование очистки

Использование планировщиков (cron, systemd timers) или встроенных тикеров:

func StartCleanupScheduler(db *sql.DB, interval time.Duration) {
    ticker := time.NewTicker(interval)
    go func() {
        for range ticker.C {
            if err := purgeOldData(db); err != nil {
                log.Printf("Cleanup failed: %v", err)
                // Реализовать экспоненциальную отсрочку (exponential backoff)
            }
        }
    }()
}

Контроль нагрузки

• Пакетная обработка (Batch processing): Удаление ограниченными порциями
• Паузы между пакетами: Для снижения нагрузки на БД
• Ограничение по времени: Прекращение операции при превышении временного бюджета

func batchDelete(ctx context.Context, db *sql.DB, batchSize int) error {
    for {
        select {
        case <-ctx.Done():
            return ctx.Err()
        default:
            result, err := db.ExecContext(ctx, `
                DELETE FROM events 
                WHERE id IN (
                    SELECT id FROM events 
                    WHERE created_at < NOW() - INTERVAL '90 days'
                    LIMIT $1
                )`, batchSize)
            
            if err != nil {
                return err
            }
            
            rows, _ := result.RowsAffected()
            if rows == 0 {
                return nil // Больше данных для удаления
            }
            
            time.Sleep(100 * time.Millisecond) // Пауза между пакетами
        }
    }
}

Мониторинг и логирование

Обязательно отслеживать:

• Количество удалённых записей
• Время выполнения операции
• Влияние на производительность БД
• Ошибки и повторы операций

Рекомендации для production-систем

1. Всегда делайте бэкапы перед массовыми удалениями
2. Тестируйте на staging-окружении с полной копией данных
3. Используйте транзакции для сохранения консистентности
4. Реализуйте feature flags для оперативного отключения очистки
5. Настройте алертинг на аномалии в процессе очистки
6. Документируйте политики хранения для каждой сущности

Инструменты и библиотеки

• Pg_cron (PostgreSQL) — планирование очистки на уровне БД
• Temporal — для сложных workflow архивации
• Go-migrate — управление миграциями с очисткой
• Custom operators в Kubernetes для распределённых задач очистки

Эффективная стратегия очистки всегда балансирует между требованиями к производительности, хранению и доступности данных, и должна быть адаптирована под конкретную бизнес-логику приложения.