Какие идеи можешь предложить для ускорения и удешевления работы Athena?

Оптимизация Amazon Athena: скорость и затраты

Athena — это serverless query engine для анализа данных в S3, но без оптимизации затраты могут быть критичны. Разберу проверенные подходы.

1. Правильный формат данных

Атена сканирует все данные в файле, поэтому формат — это первое, что нужно оптимизировать.

Columnar Formats (Parquet > CSV > JSON):

import pandas as pd

# Плохо: CSV сканирует всю строку
df.to_csv("s3://bucket/data.csv", index=False)

# Хорошо: Parquet сканирует только нужные колонки
df.to_parquet(
    "s3://bucket/data.parquet",
    index=False,
    compression="snappy"
)

Parquet редко в 10+ раз меньше CSV/JSON и сканируется в 100+ раз быстрее.

2. Партиционирование данных

Атена может пропускать целые папки, если они не совпадают с WHERE условием.

import pandas as pd
from datetime import datetime

# Структурировать данные по датам
df["year"] = df["timestamp"].dt.year
df["month"] = df["timestamp"].dt.month
df["day"] = df["timestamp"].dt.day

df.to_parquet(
    "s3://bucket/data/year={year}/month={month}/day={day}/data.parquet",
    partition_cols=["year", "month", "day"]
)

Тогда запрос по одному дню сканирует только нужные файлы:

SELECT * FROM data_table
WHERE year=2024 AND month=1 AND day=15  -- Сканирует 1 папку, а не 365

3. Сжатие данных

Снижает объём сканирования, но увеличивает CPU. Оптимальное сжатие — Snappy.

# Parquet с Snappy (лучший компромисс)
df.to_parquet(
    "s3://bucket/data.parquet",
    compression="snappy"  # Быстрее чем gzip, эффективнее чем неупакованное
)

# ORC с ZSTD для максимального сжатия
import pyarrow.orc as orc
orc.write_table(table, "s3://bucket/data.orc", compression="zstd")

4. Уменьшение размера файлов

Много файлов = много overhead. Конsolidate их в объекты разумного размера (128-512 MB).

import glob
import pandas as pd

# Плохо: 1000 маленьких файлов
for i, chunk in enumerate(chunks):
    chunk.to_parquet(f"s3://bucket/file_{i}.parquet")

# Хорошо: Объединить в большие файлы
all_data = []
for i, chunk in enumerate(chunks):
    all_data.append(chunk)
    if len(all_data) == 100:
        pd.concat(all_data).to_parquet(f"s3://bucket/batch_{i//100}.parquet")
        all_data = []

5. Проекция нужных колонок

Athena сканирует только селектированные колонки в Parquet/ORC. Не делай SELECT *.

-- Дорого: сканирует все 100 колонок
SELECT * FROM large_table WHERE id = 123;

-- Дёшево: сканирует только 3 колонки
SELECT id, name, email FROM large_table WHERE id = 123;

6. Кэширование результатов

Атена кэширует результаты за 24 часа. Используй QueryCacheConfig.

import boto3

athena = boto3.client("athena")
response = athena.start_query_execution(
    QueryString="SELECT * FROM table WHERE date=2024-01-15",
    QueryExecutionContext={"Database": "mydb"},
    ResultConfiguration={
        "OutputLocation": "s3://bucket/results/",
        "EncryptionConfiguration": {"EncryptionOption": "SSE_S3"}
    },
    ResultReuseConfiguration={
        "ResultReuseByAgeConfiguration": {
            "Enabled": True,
            "MaxAgeInMinutes": 1440  # 24 часа
        }
    }
)

7. Использование Glue Catalog

Glue Crawler автоматически обновляет схему, избегая ошибок при изменении данных.

glue = boto3.client("glue")

# Crawler автоматически обновляет таблицы из S3
glue.start_crawler(Name="my-crawler")

8. Projection для больших диапазонов дат

Если партиционировать по каждому дню дорого, используй Athena Projection.

CREATE TABLE events
WITH (
    external_location = s3://bucket/events/,
    format = PARQUET,
    bucketed_by = ARRAY[user_id],
    bucket_count = 10,
    projection_enabled = true,
    projection_type = date,
    projection_format = yyyy-MM-dd,
    projection_range = 2020-01-01,2025-01-01
)
AS SELECT * FROM source_table;

9. Federated Query для кросс-БД запросов

Если данные разбросаны по RDS/DynamoDB, используй Lambda для федерированных запросов вместо ETL.

# Создать Lambda для запросов к RDS
athena.start_query_execution(
    QueryString="SELECT * FROM lambda_func_rds.schema.table"
)

10. Экономические метрики

Стоимость Athena: $5 за 1 TB отсканированных данных (2024).

Практическая стратегия

1. Немедленно: Конвертировать CSV/JSON в Parquet с Snappy
2. Быстро: Добавить партиционирование по датам
3. Потом: Consolidate маленькие файлы в большие
4. При росте: Настроить Projection и кэширование
5. Дорого: Только тогда рассматривать Lambda federation

Обычно первые 3 шага экономят 70-80% затрат без значительного усложнения архитектуры.