Что такое планировщик ввода/вывода в Linux?

Планировщик ввода/вывода (I/O Scheduler) в Linux

Планировщик ввода/вывода (I/O Scheduler) — это критический компонент ядра Linux, который отвечает за оптимизацию порядка и приоритетов операций чтения/записи к блочным устройствам хранения данных (HDD, SSD, NVMe). Его основная цель — минимизировать перемещение головок диска для HDD (снижая задержки) и эффективно распределять нагрузку для SSD, обеспечивая максимальную пропускную способность и низкую задержку (latency) для всей системы.

Задачи и принципы работы

Планировщик решает несколько фундаментальных проблем:

• Упорядочивание запросов: Группирует и сортирует запросы, чтобы сократить время позиционирования механических головок HDD.
• Приоритизация: Обеспечивает выполнение критичных запросов (например, синхронных операций от интерактивных приложений) быстрее фоновых задач.
• Объединение и слияние (merging): Объединяет несколько смежных или перекрывающихся запросов в один, уменьшая накладные расходы.
• Предварительное чтение (readahead): Предсказывает последующие запросы на чтение и загружает данные в кэш заранее.

Основные типы планировщиков в современных ядрах

В зависимости от версии ядра и типа накопителя используются разные планировщики.

1. MQ-Deadline (Multi-Queue Deadline)

Стандартный планировщик для многих дистрибутивов. Использует два основных принципа:

• Сортировка по сроку (deadline): Каждому запросу присваивается срок выполнения. Если запрос "просрочен", он выполняется вне очереди, предотвращая голодание.
• Раздельные очереди для чтения и записи: Чтение обычно имеет более высокий приоритет, так как приложения часто блокируются в ожидании данных.

# Проверить текущий планировщик для устройства sda
cat /sys/block/sda/queue/scheduler
# Установить mq-deadline для sda
echo 'mq-deadline' | sudo tee /sys/block/sda/queue/scheduler

2. Kyber

Современный планировщик, разработанный для устройств с низкой задержкой (SSD, NVMe). Его логика основана на анализе задержек в реальном времени.

• Собирает статистику по задержкам чтения и записи.
• Динамически регулирует глубину очереди, чтобы удерживать задержки в заданных пределах.
• Идеален для интерактивных систем и баз данных, где предсказуемая низкая задержка важнее абсолютной пропускной способности.

3. BFQ (Budget Fair Queueing)

Планировщик, ориентированный на справедливое распределение пропускной способности между процессами и приложениями.

• Гарантирует, что один "прожорливый" процесс не монополизирует диск.
• Обеспечивает низкую задержку для интерактивных приложений (десктопы, мультимедиа).
• Может немного снижать общую пропускную способность на SSD в пользу справедливости.

# Включить BFQ для SSD (пример для системы с systemd)
# Можно через параметры ядра в загрузчике: scsi_mod.use_blk_mq=1

4. None (Noop)

Простейший планировщик, который по сути не выполняет никакого планирования.

• Объединяет только смежные запросы и передает их на устройство в порядке поступления в виде единой FIFO-очереди.
• Используется преимущественно для виртуализированных сред, где гостевая ОС работает на виртуальном диске, а реальное планирование выполняется на гипервизоре, или для быстрых устройств (некоторые NVMe), где собственные алгоритмы контроллера эффективнее.

Как планировщик влияет на производительность?

• Для HDD (механических дисков): Правильный выбор (mq-deadline или bfq) критически важен. mq-deadline часто дает лучшую пропускную способность для серверных нагрузок, а bfq — более плавную работу десктопа.
• Для SATA/SAS SSD: mq-deadline или kyber обычно являются оптимальным выбором, балансируя пропускную способность и задержку.
• Для высокоскоростных NVMe SSD: Зачастую оптимален none или kyber. Собственные аппаратные очереди (Multi-Queue, blk-mq) и параллелизм таких накопителей сводят на нет преимущества сложных алгоритмов сортировки. Kyber помогает контролировать задержки.

Настройка и мониторинг в DevOps-практике

В DevOps важно понимать и управлять планировщиками, особенно при развертывании высоконагруженных приложений (БД, хранилища, кэши).

1. Выбор планировщика определяется бенчмаркингом под конкретную нагрузку. Например, для PostgreSQL на NVMe часто рекомендуют none, а для Ceph OSD на HDD — mq-deadline.
2. Автоматизация настройки через систему управления конфигурациями (Ansible, Puppet):

# Пример задачи Ansible для установки планировщика
- name: Set I/O scheduler to mq-deadline for HDD
  lineinfile:
    path: "/sys/block/{{ item }}/queue/scheduler"
    line: "mq-deadline"
    regexp: "^.*$"
  loop: "{{ hdd_blocks }}"
  when: ansible_facts['devices'][item]['rotational'] == "1"

1. Мониторинг метрик с помощью iostat, iotop или Prometheus-экспортеров для наблюдения за очередями (avgqu-sz), утилизацией диска (%util) и временем ожидания (await).

Эволюция: от Single-Queue к Multi-Queue (blk-mq)

В старых ядрах использовались планировщики cfq, deadline и noop для архитектуры с единственной очередью запросов, что становилось узким местом на многоядерных системах. Современные ядра (примерно с 4.19) используют blk-mq (Multi-Queue Block Layer), где каждый CPU-核心 (или набор) имеет свою очередь. Это кардинально повышает параллелизм и масштабируемость. Все современные планировщики (mq-deadline, bfq, kyber) реализованы поверх blk-mq.

Итог: Планировщик ввода/вывода — это интеллектуальный диспетчер, балансирующий между пропускной способностью, задержкой и справедливостью. Его выбор и настройка являются важной частью тюнинга производительности Linux-систем, особенно в высоконагруженных продакшн-средах, где неоптимальный выбор может привести к деградации производительности приложений на десятки процентов. DevOps-инженер должен уметь подбирать планировщик эмпирически, исходя из характеристик железа и паттернов нагрузки приложения.