Какие знаешь альтернативы Celery?

Альтернативы Celery для асинхронных задач в Python

Celery — популярный выбор для распределённых задач, но у него есть серьёзные конкуренты с разными преимуществами и недостатками.

1. APScheduler

# APScheduler — планировщик задач для одного процесса
from apscheduler.schedulers.background import BackgroundScheduler
import atexit

scheduler = BackgroundScheduler()
scheduler.add_job(func=my_task, trigger="interval", seconds=10)
scheduler.start()

atexit.register(lambda: scheduler.shutdown())

def my_task():
    print("Task executed")

# ✅ Плюсы:
# - Простой, лёгкий (без message broker)
# - Хорошо для простых задач в одном процессе
# - Встроенная в приложение

# ❌ Минусы:
# - Не распределённый (только один процесс)
# - Нет масштабирования
# - При перезагрузке приложения могут потеряться задачи

2. RQ (Redis Queue)

# RQ — простая очередь на Redis
from redis import Redis
from rq import Queue
from rq.job import Job

redis_conn = Redis()
q = Queue(connection=redis_conn)

def process_data(data):
    return f"Processed: {data}"

# Отправить задачу
job = q.enqueue(process_data, "example data")
print(f"Job ID: {job.id}")

# Получить результат
result = job.result

# ✅ Плюсы:
# - Очень простой и понятный API
# - Redis в качестве backend (хороша для кэша)
# - Меньше конфигурации чем Celery
# - Легче в отладке

# ❌ Минусы:
# - Меньше возможностей чем Celery
# - Нет встроенного scheduling
# - Redis для persistence не идеален

3. Huey

# Huey — упрощённая альтернатива Celery
from huey import RedisHuey, crontab

huey = RedisHuey('my-app')

@huey.task()
def add_numbers(a, b):
    return a + b

@huey.periodic_task(crontab(minute='0', hour='*'))
def hourly_task():
    print("Running every hour")

# Использование
result = add_numbers(1, 2)
print(result())  # 3

# ✅ Плюсы:
# - Простой и интуитивный
# - Поддержка scheduling из коробки
# - Меньше зависимостей
# - Легче в отладке

# ❌ Минусы:
# - Менее популярен (меньше документации)
# - Меньше интеграций
# - Redis обязателен

4. Dramatiq

# Dramatiq — быстрая альтернатива Celery
import dramatiq
from dramatiq.brokers.redis import RedisBroker

dramatiq.set_broker(RedisBroker())

@dramatiq.actor
def process_data(data):
    print(f"Processing: {data}")
    return f"Result: {data}"

# Отправить задачу
process_data.send("example")

# С таймаутом
process_data.send_with_options("data", max_retries=3, max_age=60000)

# ✅ Плюсы:
# - Очень быстрый (оптимизирован)
# - Поддерживает несколько brokers (RabbitMQ, Redis)
# - Лучше производительность чем Celery
# - Результаты хранятся в backend'е

# ❌ Минусы:
# - Меньше встроенных функций чем Celery
# - Scheduling требует доп. инструментов
# - Менее популярен

5. FastAPI + asyncio

# Встроенные асинхронные задачи с FastAPI
from fastapi import FastAPI, BackgroundTasks
import asyncio

app = FastAPI()

def write_notification(email: str, message=""):
    # Долгоживущая операция
    import time
    time.sleep(5)
    with open(f"{email}.txt", mode="a") as email_file:
        email_file.write(f"Notification: {message}\n")

@app.post("/send-notification/")
async def send_notification(email: str, background_tasks: BackgroundTasks):
    # Запустить в фоне, не дожидаясь результата
    background_tasks.add_task(write_notification, email, message="Notification")
    return {"message": "Notification sent in the background"}

# Или с asyncio
@app.get("/async-task/")
async def async_task():
    # Асинхронная операция
    await asyncio.sleep(1)
    return {"result": "Done"}

# ✅ Плюсы:
# - Встроено в FastAPI
# - Простой и лёгкий
# - Хорошо для простых задач
# - Нет доп. зависимостей

# ❌ Минусы:
# - Не распределённый
# - Нет scheduling
# - Нет retry логики
# - При перезагрузке потеряются задачи

6. Airflow

# Apache Airflow — для сложных workflows
from airflow import DAG
from airflow.operators.python import PythonOperator
from datetime import datetime

def task_1():
    print("Task 1")

def task_2():
    print("Task 2")

with DAG(
    dag_id="my_dag",
    start_date=datetime(2024, 1, 1),
    schedule_interval="0 * * * *",  # ежечасно
) as dag:
    op1 = PythonOperator(task_id="task_1", python_callable=task_1)
    op2 = PythonOperator(task_id="task_2", python_callable=task_2)
    
    op1 >> op2  # зависимость: сначала task_1, потом task_2

# ✅ Плюсы:
# - Отличный для комплексных workflows
# - Визуализация DAG'ов
# - Мониторинг и логирование
# - Масштабируемый

# ❌ Минусы:
# - Оверкилл для простых задач
# - Тяжелая в настройке
# - Много зависимостей
# - Сложно локально разрабатывать

7. Prefect

# Prefect — современная альтернатива Airflow
from prefect import flow, task

@task
def extract():
    return [1, 2, 3, 4, 5]

@task
def transform(data):
    return [x * 2 for x in data]

@task
def load(data):
    print(f"Loading: {data}")

@flow
def my_workflow():
    data = extract()
    transformed = transform(data)
    load(transformed)

# Запустить
if __name__ == "__main__":
    my_workflow()

# ✅ Плюсы:
# - Проще чем Airflow
# - Отличная документация
# - Встроенный retry и error handling
# - Облако для хостинга (опционально)

# ❌ Минусы:
# - Молодой проект
# - Меньше интеграций чем Airflow
# - Требует привыкания к новому стилю

8. Tekton (для K8S)

# Tekton Pipelines — для Kubernetes
apiVersion: tekton.dev/v1beta1
kind: Pipeline
metadata:
  name: my-pipeline
spec:
  tasks:
    - name: task-1
      taskRef:
        name: my-task-1
    - name: task-2
      taskRef:
        name: my-task-2
      runAfter:
        - task-1

Сравнительная таблица

Инструмент     | Scaling | Scheduling | Retry | Monitoring | Complexity
===============================================================================
Celery         | ★★★★★  | ★★★★★     | ★★★★★| ★★★★      | High
RQ             | ★★★★   | ★★        | ★★★  | ★★★       | Low
Huey           | ★★★★   | ★★★★★     | ★★★  | ★★★       | Low
Dramatiq       | ★★★★   | ★★        | ★★★★ | ★★★       | Medium
APScheduler    | ★★     | ★★★★★     | ★★   | ★★        | Low
Airflow        | ★★★★★  | ★★★★★     | ★★★★ | ★★★★★    | Very High
Prefect        | ★★★★★  | ★★★★★     | ★★★★ | ★★★★★    | High
FastAPI+asyncio| ★★     | ★          | ★    | ★         | Low

Как выбрать?

# Простые периодические задачи (1-10 задач)
→ APScheduler

# Простая очередь (небольшая нагрузка)
→ RQ или Huey

# Высокая производительность
→ Dramatiq

# Сложные workflows
→ Airflow или Prefect

# FastAPI приложение с лёгкими фоновыми задачами
→ BackgroundTasks из FastAPI

# Когда нужна максимальная гибкость
→ Celery

Итоги

Каждый инструмент имеет свою нишу:

• Celery — золотой стандарт, но тяжелый
• RQ/Huey — простота и лёгкость
• Dramatiq — высокая производительность
• Airflow/Prefect — комплексные workflows
• APScheduler — простой scheduling
• FastAPI — встроенные фоновые задачи

Выбор зависит от сложности задач, требуемого масштабирования и опыта команды.