Можно ли использовать Kafka для передачи ответа во время исполнения?

Использование Kafka для передачи ответа во время исполнения

Да, Kafka идеально подходит для этого сценария и является одним из лучших вариантов для асинхронной передачи данных между микросервисами. Давайте разберемся, почему и как это реализовать.

Когда это имеет смысл

Kafka особенно полезна когда:

• Нужна асинхронная обработка результатов
• Ответ может быть получен с задержкой
• Несколько сервисов должны получить один результат
• Требуется гарантированная доставка сообщений
• Нужна история обработки событий

Архитектурный паттерн

Типичный поток выглядит так:

1. Запрос приходит в REST API → сервис принимает его
2. Отправляется в Kafka как событие processing_started
3. Worker подхватывает сообщение и выполняет долгую операцию
4. Результат отправляется в Kafka как событие processing_completed
5. Клиент опрашивает статус (polling) или использует WebSocket для real-time обновления

Пример реализации

Producer (отправка задачи)

import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerRecord;

public class TaskProducer {
    private KafkaProducer<String, String> producer;
    
    public TaskProducer(String bootstrapServers) {
        Properties props = new Properties();
        props.put("bootstrap.servers", bootstrapServers);
        props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        this.producer = new KafkaProducer<>(props);
    }
    
    public void sendTask(String taskId, String taskData) {
        ProducerRecord<String, String> record = new ProducerRecord<>("task-queue", taskId, taskData);
        producer.send(record);
    }
}

Consumer (обработка задачи)

import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.clients.consumer.ConsumerRecords;

public class TaskWorker implements Runnable {
    private KafkaConsumer<String, String> consumer;
    
    @Override
    public void run() {
        while (true) {
            ConsumerRecords<String, String> records = consumer.poll(Duration.ofSeconds(1));
            records.forEach(record -> {
                String taskId = record.key();
                String taskData = record.value();
                processTask(taskId, taskData);
            });
        }
    }
}

С использованием Spring Kafka

@Service
public class TaskService {
    private KafkaTemplate<String, String> kafkaTemplate;
    
    public void publishTask(String taskId, String data) {
        kafkaTemplate.send("task-queue", taskId, data);
    }
    
    @KafkaListener(topics = "task-queue", groupId = "worker-group")
    public void processTask(String message) {
        String result = executeTask(message);
        kafkaTemplate.send("task-results", result);
    }
}

REST API

@RestController
@RequestMapping("/api/tasks")
public class TaskController {
    @PostMapping("/{id}")
    public ResponseEntity<?> executeTask(@PathVariable String id, @RequestBody TaskRequest request) {
        taskService.publishTask(id, request.getData());
        return ResponseEntity.accepted().body(Map.of("taskId", id, "status", "queued"));
    }
}

Преимущества Kafka

• Масштабируемость — обрабатывает миллионы сообщений
• Надежность — гарантирует доставку с replication
• Горизонтальное масштабирование — можно добавить worker'ов
• История — все сообщения сохраняются на диске
• Отказоустойчивость — consumer может переподключиться

Альтернативы

RabbitMQ для меньшей нагрузки, Redis Streams для быстрого результата в памяти, AWS SQS для cloud-native решений.

Вывод: Kafka — отличный выбор для асинхронной обработки с гарантией доставки.