Что такое Netpoller?

Что такое Netpoller в Go

Netpoller (сетевой поллер) — это критически важный компонент рантайма Go, отвечающий за асинхронный ввод-вывод (I/O) в сетевых операциях. Это абстракция, скрывающая под собой системно-зависимые механизмы уведомлений о готовности сокетов (например, epoll в Linux, kqueue в BSD/macOS, IOCP в Windows). Его основная цель — позволить горутинам блокироваться на сетевых операциях (чтение/запись) без блокировки системных потоков (M) планировщика, что является фундаментом для высокопроизводительных конкурентных сетевых приложений.

Архитектура и принцип работы

Netpoller работает в тесной связке с планировщиком goroutine (GMP-модель):

1. Интеграция с планировщиком

Когда горутина выполняет блокирующую сетевую операцию (например, conn.Read()):

• Сетевой файловый дескриптор (сокет) переводится в неблокирующий режим.
• Горутина "засыпает" — она снимается с системного потока (M) и помещается в очередь ожидания.
• Дескриптор регистрируется в netpoller через системный механизм (например, epoll_ctl).

2. Цикл обработки событий

Отдельный системный поток (обычно один на процесс) выполняет цикл опроса:

// Упрощенная псевдо-логика netpoller'а
for {
    // Блокирующее ожидание событий от ОС
    events := syscall.EpollWait(epfd, ...)
    
    for _, ev := range events {
        // Найдена goroutine, ожидающая этот дескриптор
        g := getGoroutineByFD(ev.fd)
        
        // "Пробуждение" goroutine: она ставится в локальную
        // очередь планировщика (P) для выполнения
        ready(g)
    }
}

3. Пробуждение горутин

Когда ОС сигнализирует о готовности сокета (данные получены, возможна запись):

• Netpoller получает уведомление от epoll_wait/kqueue
• Находит связанную с этим дескриптором горутину
• Помещает её в очередь локального планировщика (P)
• Горутина продолжает выполнение с точки блокировки

Ключевые преимущества

Эффективность ресурсов

• Один поток обслуживает тысячи соединений vs модель "поток на соединение"
• Минимальные накладные расходы на переключение контекста
• Автоматическое масштабирование с количеством ядер CPU

Простота программирования

// Синхронный стиль кода с асинхронной эффективностью
func handleConnection(conn net.Conn) {
    buf := make([]byte, 1024)
    n, err := conn.Read(buf) // Блокируется только goroutine, не поток!
    if err != nil {
        return
    }
    // Обработка данных...
    conn.Write([]byte("response"))
}

Программист пишет последовательный, блокирующий по виду код, но рантайм обеспечивает асинхронное выполнение.

Интеграция с системой Go

• Сеть: net.Conn, net.Listen
• HTTP: net/http сервер
• Базы данных: драйверы, использующие сетевой I/O
• Синхронизация: таймеры и дедлайны тоже используют netpoller

Технические детали реализации

Абстракция над ОС

// Интерфейсная часть в runtime/netpoll.go
func netpollinit()          // Инициализация
func netpollopen(fd, pd)    // Регистрация дескриптора
func netpoll(block bool)    // Ожидание событий
func netpollBreak()         // Прерывание ожидания

Для каждой ОС — своя реализация: netpoll_epoll.go, netpoll_kqueue.go, netpoll_iocp.go.

Управление дескрипторами

Каждому сетевому дескриптору сопоставляется структура pollDesc:

type pollDesc struct {
    link *pollDesc
    fd   uintptr
    // Состояние: закрыт, таймаут, ожидание чтения/записи
    rg, wg atomic.Uint32
    // Связанная goroutine
    rt, wt guintptr
}

Производительность

• Zero-copy где возможно: sendfile() системные вызовы
• Batch processing: получение нескольких событий за один системный вызов
• Работа с таймерами: интеграция с runtime.timer для дедлайнов

Отличия от других моделей

Vs callback-based (Node.js)

• Go: Синхронный стиль + автоматическое планирование
• Node.js: Явные колбэки/promises + один поток событий

Vs thread-per-connection (Java)

• Go: Тысячи goroutine на несколько потоков ОС
• Java: Один поток ОС на соединение + пулинг

Vs async/await (C#, Python)

• Go: Не требует ключевых слов async/await, неблокирующий по умолчанию
• Другие языки: Требуют явного указания асинхронности

Практическое значение

1. Основа net/http сервера — обрабатывает десятки тысяч одновременных соединений
2. Микросервисы и API — эффективное использование ресурсов
3. Базы данных и очереди — конкурентные клиенты с малым потреблением памяти
4. Real-time системы — чаты, игры, streaming

Ограничения и нюансы

• Только сетевые операции — файловый I/O (до Go 1.14) не использовал netpoller полноценно
• CGO вызовы могут блокировать системные потоки
• Неправильное использование блокирующих системных вызовов сводит преимущества на нет
• Нагрузка на планировщик при огромном количестве активных соединений

Netpoller — это "волшебный мост" между синхронной моделью программирования goroutine и асинхронной реальностью сетевых операций ОС. Он делает конкурентный сетевой код в Go одновременно производительным и простым для написания, что является одной из ключевых причин популярности языка для cloud-приложений и серверного ПО.