Сталкивался ли с оптимизацией в Django ORM

Django ORM оптимизация

Да, оптимизация Django ORM — критически важный навык при работе с высоконагруженными приложениями. Столкнулся с множеством подводных камней и выработал систематический подход к решению проблем производительности.

Основные проблемы N+1 запросов

Это классическая проблема, когда для каждого объекта из базы делается отдельный запрос.

# ❌ Плохо — N+1 проблема
posts = Post.objects.all()
for post in posts:
    print(post.author.name)  # Дополнительный запрос для каждого поста!

# ✅ Хорошо — используй select_related
posts = Post.objects.select_related("author").all()
for post in posts:
    print(post.author.name)  # Нет дополнительных запросов

select_related() используется для ForeignKey и OneToOneField (JOIN в одном запросе).

# ✅ Для связей ForeignKey
comments = Comment.objects.select_related("author", "post").all()

prefetch_related() для ManyToManyField и обратных отношений (отдельные запросы, но оптимизированные).

# ✅ Для ManyToMany
posts = Post.objects.prefetch_related("tags", "comments").all()

# ✅ Для обратных отношений
authors = Author.objects.prefetch_related("post_set").all()

Prefetch объекты для сложной логики

Иногда нужна более тонкая настройка фильтрации:

from django.db.models import Prefetch

# Получи только опубликованные комментарии
prefetch = Prefetch(
    "comments",
    Comment.objects.filter(is_published=True)
)
posts = Post.objects.prefetch_related(prefetch).all()

Агрегация и аннотирование

Не загружай данные в Python, если можно вычислить в БД:

from django.db.models import Count, Sum, Avg, F, Q

# ❌ Плохо — загружаем все в память
posts = Post.objects.all()
post_comments = {}
for post in posts:
    post_comments[post.id] = post.comments.count()

# ✅ Хорошо — один запрос
posts = Post.objects.annotate(
    comment_count=Count("comments"),
    total_likes=Sum("comments__likes")
).all()

for post in posts:
    print(post.comment_count)

Values и Values List

Если нужны только определённые поля:

# ✅ Загружаем только необходимые поля
author_names = Author.objects.values_list("name", flat=True)
# Результат: QuerySet ['Alice', 'Bob', ...]

# ✅ Для словарей
authors_dict = Author.objects.values("id", "name")
# Результат: QuerySet [{'id': 1, 'name': 'Alice'}, ...]

Batch processing

Для обработки больших объёмов данных:

from django.db.models import QuerySet

# ✅ Обработка батчами, не весь датасет в памяти
def process_posts_in_batches(batch_size=1000):
    queryset = Post.objects.all().order_by("id")
    last_id = 0
    
    while True:
        batch = queryset.filter(id__gt=last_id)[:batch_size]
        if not batch.exists():
            break
        
        for post in batch:
            process_post(post)
        
        last_id = batch.last().id

Использование only() и defer()

# ✅ Загружай только нужные поля
posts = Post.objects.only("id", "title").all()

# ✅ Или исключай тяжелые поля
posts = Post.objects.defer("content_html", "metadata").all()

Database Indexing

Добавь индексы в миграции:

class Post(models.Model):
    title = models.CharField(max_length=200, db_index=True)
    slug = models.SlugField(unique=True)
    created_at = models.DateTimeField(auto_now_add=True, db_index=True)
    
    class Meta:
        indexes = [
            models.Index(fields=["created_at", "-views"]),
        ]

Мониторинг запросов

from django.db import connection
from django.test.utils import CaptureQueriesContext

# ✅ В продакшене используй django-debug-toolbar
print(f"Количество запросов: {len(connection.queries)}")

# ✅ Или в тестах
with CaptureQueriesContext(connection) as queries:
    posts = Post.objects.all()
    assert len(queries) == 1

Реальный пример оптимизации

# ❌ Было: 1 + N + M запросов
posts = Post.objects.all()
for post in posts:
    print(post.author.name)  # N запросов
    for comment in post.comments.all():  # M запросов
        print(comment.author.name)

# ✅ Стало: 1 запрос
posts = Post.objects.select_related("author").prefetch_related(
    Prefetch(
        "comments",
        Comment.objects.select_related("author")
    )
).all()

for post in posts:
    print(post.author.name)
    for comment in post.comments.all():
        print(comment.author.name)

Заключение

Оптимизация Django ORM требует: знания select_related() и prefetch_related(), умения работать с агрегацией, понимания индексирования БД и регулярного мониторинга запросов. Систематический подход к профилированию помогает избежать проблем с производительностью на ранних этапах разработки.