Как происходит масштабирование проекта?

Масштабирование проекта на Python

Масштабирование — это процесс адаптации приложения к растущей нагрузке. Существует два основных подхода: вертикальное (мощнее один сервер) и горизонтальное (больше серверов). Рассмотрим практические стратегии.

1. Вертикальное масштабирование

Увеличение ресурсов одного сервера:

import gc
import sys

class MemoryOptimizedCache:
    def __init__(self, max_size=1000):
        self.cache = {}
        self.max_size = max_size
    
    def set(self, key, value):
        if len(self.cache) >= self.max_size:
            oldest = next(iter(self.cache))
            del self.cache[oldest]
        self.cache[key] = value

2. Горизонтальное масштабирование

Развёртывание приложения на нескольких серверах с использованием load balancer (nginx).

3. Кэширование с Redis

from django.core.cache import cache
import redis

class CachedUserService:
    def __init__(self):
        self.cache = redis.Redis(host="localhost", port=6379)
    
    def get_user(self, user_id):
        cache_key = f"user:{user_id}"
        cached = self.cache.get(cache_key)
        if cached:
            return cached
        user = User.objects.get(id=user_id)
        self.cache.setex(cache_key, 3600, str(user))
        return user

4. Асинхронная обработка с Celery

from celery import shared_task

@shared_task
def send_email_async(user_id, subject):
    user = User.objects.get(id=user_id)
    print(f"Email отправлен {user.email}")

5. Оптимизация БД

from django.db.models import Prefetch

articles = Article.objects.select_related("author")
articles = Article.objects.prefetch_related("comments")

class Article(models.Model):
    title = models.CharField(max_length=200, db_index=True)
    
    class Meta:
        indexes = [models.Index(fields=["created_at", "author"])]

6. Мониторинг и алерты

Используйте prometheus и grafana для отслеживания метрик:

• CPU usage
• Memory consumption
• Database query performance
• Request latency

7. Микросервисы архитектура

from fastapi import FastAPI
import httpx

app = FastAPI()

@app.get("/users/{user_id}")
async def get_user(user_id: int):
    async with httpx.AsyncClient() as client:
        response = await client.get(
            f"http://user-service:8001/users/{user_id}"
        )
    return response.json()

8. Containerization

Используйте Docker и Docker Compose для простого развёртывания и масштабирования.

Best Practices

1. Профилируйте перед оптимизацией
2. Кэшируйте дорогие операции
3. Используйте индексы в БД
4. Выносите долгие операции в фоновые задачи
5. Отслеживайте метрики в production
6. Проводите нагрузочное тестирование