Как решить проблему медленной загрузки данных из множества источников?

Решение проблемы медленной загрузки данных из множества источников

Это классическая задача оптимизации, которая решается несколькими взаимодополняющими подходами.

1. Асинхронная загрузка параллельно

Вместо последовательной загрузки данных из разных источников используйте параллельные запросы:

ExecutorService executor = Executors.newFixedThreadPool(10);
List<Future<Data>> futures = new ArrayList<>();

futures.add(executor.submit(() -> loadFromSourceA()));
futures.add(executor.submit(() -> loadFromSourceB()));
futures.add(executor.submit(() -> loadFromSourceC()));

List<Data> results = futures.stream()
  .map(future -> {
    try {
      return future.get(5, TimeUnit.SECONDS);
    } catch (TimeoutException e) {
      return Data.empty();
    }
  })
  .collect(Collectors.toList());

executor.shutdown();

2. CompletableFuture для лучшего управления

Элегантнее и гибче работать с CompletableFuture:

CompletableFuture<Data> source1 = CompletableFuture.supplyAsync(this::loadFromA);
CompletableFuture<Data> source2 = CompletableFuture.supplyAsync(this::loadFromB);
CompletableFuture<Data> source3 = CompletableFuture.supplyAsync(this::loadFromC);

CompletableFuture<List<Data>> allData = CompletableFuture.allOf(source1, source2, source3)
  .thenApply(v -> List.of(
    source1.join(),
    source2.join(),
    source3.join()
  ));

try {
  List<Data> results = allData.get(10, TimeUnit.SECONDS);
} catch (TimeoutException e) {
  allData.cancel(true);
}

3. Кэширование результатов

Агрессивное кэширование предотвращает повторные загрузки:

@Cacheable("sourceData")
public Data loadWithCache(String source) {
  return fetchFromSource(source);
}

4. Партиционирование и батчинг

Загружайте данные батчами вместо поштучно:

List<String> sourceIds = /* список ID */;
int batchSize = 100;

for (int i = 0; i < sourceIds.size(); i += batchSize) {
  List<String> batch = sourceIds.subList(i, Math.min(i + batchSize, sourceIds.size()));
  loadBatch(batch);
}

5. Реактивное программирование

Project Reactor или RxJava для управления потоками данных:

Flux.merge(
  loadFromSourceA(),
  loadFromSourceB(),
  loadFromSourceC()
)
.timeout(Duration.ofSeconds(10))
.onErrorResume(e -> Mono.empty())
.collectList()
.block();

Ключевые метрики и мониторинг

• Используйте Micrometer для отслеживания времени загрузки
• Логируйте задержки и ошибки из каждого источника
• Настройте Alert при превышении целевого времени отклика

Выбор оптимального подхода

• CompletableFuture — стандартное решение для Java 8+
• Spring Async — если используется Spring Framework
• Project Reactor — для микросервисной архитектуры
• Virtual Threads (Java 19+) — для экстремальной масштабируемости

Сочетание параллелизма, кэширования и таймаутов даёт наилучшие результаты.