Что такое Write-Ahead Log?

Write-Ahead Log (WAL)

Write-Ahead Log (журнал предварительной записи) — это механизм обеспечения надёжности и отказоустойчивости в распределённых системах. Суть идеи: перед тем, как применить изменение данных в памяти или в основной БД, это изменение сначала записывается в журнал на диск.

Принцип работы

Основной принцип WAL: запись → применение.

1. Операция записывается в журнал на диск
2. Операция применяется к данным в памяти/основной БД
3. При падении системы журнал используется для восстановления

public class WriteAheadLog {
    private final FileOutputStream logStream;
    private final List<String> transactions = new ArrayList<>();
    
    public void writeTransaction(String transaction) throws IOException {
        // Шаг 1: Записать в журнал на диск
        logStream.write(transaction.getBytes());
        logStream.flush(); // Обязательно! Гарантирует запись на диск
        logStream.getFD().sync(); // Синхронизировать с файловой системой
        
        // Шаг 2: Применить к памяти
        transactions.add(transaction);
    }
    
    public void recover() throws IOException {
        // При перезагрузке: прочитать журнал и восстановить состояние
        BufferedReader reader = new BufferedReader(new FileReader("wal.log"));
        String line;
        while ((line = reader.readLine()) != null) {
            transactions.add(line);
        }
    }
}

Применение в разных системах

PostgreSQL и MySQL

Оба используют WAL для durability:

// Это происходит внутри БД, но в Java мы видим:
Connection conn = DriverManager.getConnection("jdbc:postgresql://localhost/mydb");
conn.setAutoCommit(false); // Отключить автокоммит для контроля

Statement stmt = conn.createStatement();
stmt.execute("INSERT INTO users VALUES (1, 'John')");

conn.commit(); // После этого данные записаны в WAL
conn.close();

Apache Kafka

Кафка использует WAL под капотом:

Properties props = new Properties();
props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
props.put(ProducerConfig.ACKS_CONFIG, "all"); // Ждать подтверждения всех реплик

KafkaProducer<String, String> producer = new KafkaProducer<>(props);

ProducerRecord<String, String> record = 
    new ProducerRecord<>("my-topic", "key", "value");

// send() гарантирует запись в журнал перед ответом
producer.send(record, new Callback() {
    public void onCompletion(RecordMetadata metadata, Exception exception) {
        if (exception == null) {
            System.out.println("Записано в partition " + metadata.partition());
        }
    }
});

Преимущества WAL

• Durability: данные не теряются при сбое
• Consistency: можно гарантировать ACID свойства
• Recovery: быстрое восстановление состояния
• Performance: пакетная запись в журнал быстрее, чем синхронная запись в БД

Недостатки

• Дополнительная I/O: нужно писать дважды (в журнал и в БД)
• Сложность: требует правильного управления журналом
• Storage: журнал занимает место на диске

Оптимизация WAL

public class OptimizedWAL {
    private final BufferedOutputStream logStream;
    private final List<String> batch = new ArrayList<>();
    private static final int BATCH_SIZE = 100;
    
    public void writeTransaction(String transaction) throws IOException {
        batch.add(transaction);
        
        // Батчинг: писать несколько операций одновременно
        if (batch.size() >= BATCH_SIZE) {
            flush();
        }
    }
    
    private void flush() throws IOException {
        for (String transaction : batch) {
            logStream.write(transaction.getBytes());
        }
        logStream.flush();
        batch.clear();
    }
}

Интеграция с Java приложениями

В большинстве случаев разработчик не работает с WAL напрямую — это задача БД или фреймворка. Но важно понимать эту концепцию для правильной настройки надежности.