Что такое TTA в Kafka?

TTA (Time To Acknowledgement) в Apache Kafka

TTA — это метрика, которая измеряет время между моментом, когда сообщение было опубликовано в Kafka топик, и моментом, когда потребитель успешно обработал это сообщение и отправил acknowledgement. Это критически важный показатель для мониторинга систем на основе Kafka.

Зачем нужна метрика TTA

TTA показывает, насколько быстро система обрабатывает сообщения. Низкое значение означает быструю обработку, а высокое может указывать на узкие места, сетевые задержки или ошибки обработки.

Автоматическое vs Ручное подтверждение

// Ручное подтверждение с мониторингом TTA
ConsumerConfig props = new ConsumerConfig();
props.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, false);

KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);

while (true) {
    ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
    
    for (ConsumerRecord<String, String> record : records) {
        long startTime = System.currentTimeMillis();
        
        try {
            processMessage(record.value());
            consumer.commitSync();
            
            long tta = System.currentTimeMillis() - startTime;
            System.out.println("TTA: " + tta + "ms");
        } catch (Exception e) {
            logger.error("Error", e);
        }
    }
}

Оптимизация TTA

• Параллелизм: распределить нагрузку между несколькими потребителями
• Батчинг: обрабатывать несколько сообщений за раз
• Асинхронная обработка: использовать ExecutorService
• Настройка fetch параметров: fetch.min.bytes, fetch.max.wait.ms

Связь с Consumer Lag

Consumer Lag показывает отставание потребителя (скольких сообщений не обработано). TTA дополняет эту метрику, показывая скорость обработки каждого сообщения.

Высокий Consumer Lag + низкое TTA означает, что потребитель медленно обрабатывает большой объем сообщений. Низкий Consumer Lag + высокое TTA может указывать на проблемы с отдельным сообщением.