Что хранится в WAL журнале?

Что хранится в WAL (Write-Ahead Log) журнале?

WAL (Write-Ahead Log) — это критически важный механизм обеспечения устойчивости данных и согласованности в системах управления базами данных (чаще всего ассоциируется с PostgreSQL, но также используется в SQLite, etcd, InfluxDB и многих других системах, включая некоторые реализации на Go). Основной принцип: любые изменения в данных должны быть сначала записаны в журнал (логически или физически), и только после этого — в основные файлы данных. Это гарантирует, что даже в случае сбоя (например, отключения питания) система может восстановить целостность данных, "проиграв" (replay) записи из WAL.

Содержимое WAL-журнала

В контексте классических СУБД (например, PostgreSQL) и key-value хранилищ, WAL хранит последовательность записей (records) или логических операций, которые описывают изменения в данных. Конкретное содержимое может различаться в зависимости от реализации, но общие элементы включают:

1. Метаданные транзакций и контрольные точки (Checkpoints)

• Идентификаторы транзакций (XID) — для связи записей с конкретными транзакциями.
• LSN (Log Sequence Number) — уникальный порядковый номер каждой записи в логе, обеспечивающий строгую последовательность.
• Записи о начале (BEGIN) и завершении (COMMIT/ABORT) транзакций — для определения границ транзакций при восстановлении.
• Контрольные точки (Checkpoint records) — специальные метки, указывающие, что все данные до этой точки уже сохранены в основных файлах. Это позволяет "обрезать" WAL, так как более ранние записи больше не нужны для восстановления.

2. Описания изменений данных (Data Changes)

• Физические изменения (например, в PostgreSQL):

     - Записи о модификации конкретных **страниц данных (data pages)** — какие байты и по каким смещениям были изменены. Это позволяет "воссоздать" состояние страницы.
     - Указатели на **блоки (block)** и **смещения (offset)** внутри файлов данных.

• Логические изменения (в некоторых системах, например, в логической репликации или key-value хранилищах на Go):

     - **Операции вставки (INSERT), обновления (UPDATE), удаления (DELETE)** в виде логических команд.
     - **Изменения ключей и значений** в key-value хранилищах (например, в **etcd** или **BoltDB**).
     - Пример логической записи для key-value хранилища на Go (упрощённо):

   ```go
   type WalEntry struct {
       Operation   string    // "PUT" или "DELETE"
       Key         []byte
       Value       []byte    // для DELETE может быть nil
       Timestamp   int64
       SequenceID  uint64    // аналог LSN
   }
   ```

3. Служебная информация для обеспечения согласованности

• Указатели на предыдущие записи LSN (для построения цепочек изменений).
• CRC-контрольные суммы или хэши — для обнаружения повреждений данных в WAL (особенно важно в распределённых системах).
• Метаданные схемы (в некоторых системах) — если изменение затрагивает структуру таблицы (ALTER TABLE), это также может фиксироваться в WAL.

Пример работы WAL в Go-проекте (упрощённая реализация)

Рассмотрим минималистичный пример key-value хранилища на Go с WAL:

package main

import (
    "encoding/binary"
    "os"
)

type Wal struct {
    file *os.File
}

// Запись операции в WAL
func (w *Wal) WriteEntry(key, value []byte, op byte) error {
    // Структура записи: [op (1 байт) | lenKey (8 байт) | lenValue (8 байт) | key | value | crc (4 байта)]
    buf := make([]byte, 1+8+8+len(key)+len(value)+4)
    buf[0] = op // например, 0 = PUT, 1 = DELETE
    binary.LittleEndian.PutUint64(buf[1:], uint64(len(key)))
    binary.LittleEndian.PutUint64(buf[9:], uint64(len(value)))
    copy(buf[17:], key)
    copy(buf[17+len(key):], value)
    
    // Вычисление CRC32 (упрощённо, для демонстрации)
    crc := computeCRC(buf[:len(buf)-4])
    binary.LittleEndian.PutUint32(buf[len(buf)-4:], crc)
    
    _, err := w.file.Write(buf)
    return err
}

// Восстановление данных из WAL при запуске
func (w *Wal) Replay(applyFunc func(op byte, key, value []byte)) error {
    // Чтение записей и применение изменений к основному хранилищу
    for {
        entry, err := readNextEntry(w.file)
        if err != nil {
            break
        }
        applyFunc(entry.op, entry.key, entry.value)
    }
    return nil
}

Почему WAL критически важен в распределённых системах на Go?

1. Отказоустойчивость — WAL позволяет восстановить данные после сбоя, что особенно важно для систем с состоянием (stateful systems) на Go, таких как базы данных (например, CockroachDB использует схожий механизм) или очередей сообщений.
2. Согласованность — обеспечивает ACID-свойства, особенно durability (устойчивость) и atomicity (атомарность). Транзакция считается выполненной только после записи в WAL.
3. Производительность — запись в WAL (последовательный I/O) обычно быстрее, чем случайные записи в основные файлы данных. Это позволяет отложить "грязные" страницы (dirty pages) в памяти и сбрасывать их на диск асинхронно.
4. Репликация — WAL часто используется для репликации данных между узлами (например, в etcd или Consul), так как представляет собой последовательный поток изменений.

Заключение

В WAL журнале хранится последовательность атомарных изменений данных, представленных либо как физические изменения страниц, либо как логические операции, вместе с метаданными транзакций и служебной информацией (LSN, CRC). Это основа для восстановления после сбоев, обеспечения согласованности данных и поддержки репликации в современных системах хранения, включая те, что построены на Go. При проектировании подобных систем на Go важно учитывать формат WAL, стратегии ротации (checkpointing) и эффективное чтение/запись, чтобы минимизировать накладные расходы при сохранении гарантий надёжности.