Какие решения по FinOps (финансовому управлению облаком) реализовывал?

FinOps: Финансовое управление облаком (Практический опыт)

Что такое FinOps

FinOps (Financial Operations) — это практика оптимизации затрат на облачные сервисы (AWS, Azure, GCP). Для Data Engineer это критично, потому что обработка данных стоит дорого.

1. Мониторинг затрат (Cost Monitoring)

Задача: Видеть, где деньги уходят, и почему.

# AWS Cost Explorer API
import boto3
from datetime import datetime, timedelta

ce_client = boto3.client('ce')

# Получи затраты за последние 7 дней
response = ce_client.get_cost_and_usage(
    TimePeriod={
        'Start': (datetime.now() - timedelta(days=7)).strftime('%Y-%m-%d'),
        'End': datetime.now().strftime('%Y-%m-%d')
    },
    Granularity='DAILY',
    Metrics=['UnblendedCost'],
    GroupBy=[
        {'Type': 'DIMENSION', 'Key': 'SERVICE'},  # По услугам
        {'Type': 'DIMENSION', 'Key': 'OPERATION'}
    ]
)

# Парсинг результатов
for result in response['ResultsByTime']:
    date = result['TimePeriod']['Start']
    total_cost = float(result['Total']['UnblendedCost']['Amount'])
    print(f"{date}: ${total_cost:.2f}")
    
    for group in result['Groups']:
        service = group['Keys'][0]
        operation = group['Keys'][1]
        cost = float(group['Metrics']['UnblendedCost']['Amount'])
        print(f"  {service} ({operation}): ${cost:.2f}")

Azure Cost Management API:

from azure.mgmt.costmanagement import CostManagementClient
from azure.identity import DefaultAzureCredential

client = CostManagementClient(credential=DefaultAzureCredential())

# Запрос по типам ресурсов
query = {
    "type": "Usage",
    "timeframe": "MonthToDate",
    "dataset": {
        "granularity": "Daily",
        "aggregation": {
            "totalCost": {"name": "PreTaxCost", "function": "Sum"}
        },
        "grouping": [{"type": "Dimension", "name": "ResourceType"}]
    }
}

result = client.query.usage(scope, query)

for row in result.rows:
    resource_type = row[0]
    cost = row[1]
    print(f"{resource_type}: ${cost:.2f}")

2. Оптимизация хранилища данных (Storage Optimization)

Проблема: Data Lake хранит петабайты данных, каждый GB стоит деньги.

# Удаление старых файлов с S3 (Lifecycle Policy)
boto3_client = boto3.client('s3')

lifecycle_policy = {
    'Rules': [
        {
            'Id': 'DeleteOldParquets',
            'Filter': {'Prefix': 'data/events/'},
            'Expiration': {'Days': 90},  # Удалять файлы старше 90 дней
            'Status': 'Enabled'
        },
        {
            'Id': 'MoveToGlacier',
            'Filter': {'Prefix': 'data/archive/'},
            'Transitions': [
                {
                    'Days': 30,
                    'StorageClass': 'STANDARD_IA'  # Infrequent Access (дешевле)
                },
                {
                    'Days': 90,
                    'StorageClass': 'GLACIER'  # Ледяная архив (в 10x дешевле)
                }
            ],
            'Status': 'Enabled'
        }
    ]
}

boto3_client.put_bucket_lifecycle_configuration(
    Bucket='my-data-lake',
    LifecycleConfiguration=lifecycle_policy
)

print("✓ Lifecycle policy applied")

Сжатие данных (Compression):

import pandas as pd
import numpy as np

# Несжато: 100 MB
df = pd.DataFrame(np.random.randn(10000000, 10))
df.to_parquet('uncompressed.parquet', compression=None)
# Size: 100 MB

# Сжато Snappy: 15 MB (6.7x экономия, быстро)
df.to_parquet('snappy.parquet', compression='snappy')
# Size: 15 MB

# Сжато GZIP: 8 MB (12.5x экономия, медленнее)
df.to_parquet('gzip.parquet', compression='gzip')
# Size: 8 MB

# Рекомендация: использовать Snappy (хороший баланс)

3. Оптимизация вычислений (Compute Optimization)

Проблема: Spark кластер работает 24/7, хотя нужен только 2 часа в день для ETL.

# Правильный запуск Spark job в AWS EMR (через Step)
import boto3

emr = boto3.client('emr')

response = emr.add_job_flow_steps(
    JobFlowId='j-XXXXXXXXX',
    Steps=[
        {
            'Name': 'DailyETL',
            'ActionOnFailure': 'TERMINATE_CLUSTER',  # ← ВАЖНО!
            'HadoopJarStep': {
                'Jar': 's3://my-bucket/etl-job.jar',
                'MainClass': 'com.example.ETLJob',
                'Args': ['--input', 's3://input/', '--output', 's3://output/']
            }
        }
    ]
)

# Job выполнится, затем кластер удалится
# Стоимость: pay-as-you-go, а не 24/7

Правильный размер инстансов:

# ❌ Плохо: избыточно мощный (пустая трата)
instance_config = {
    'InstanceCount': 10,
    'InstanceType': 'r5.24xlarge',  # 768 GB RAM каждый
    'Price': 50000  # $$ за день
}

# ✅ Хорошо: оптимальный размер
instance_config = {
    'InstanceCount': 3,
    'InstanceType': 'r5.2xlarge',  # 64 GB RAM каждый
    'Price': 500  # $ за день (в 100 раз дешевле)
}

# Рекомендация: начни с малого, мониторь YARN/Spark UI
# Если утилизация < 50%, уменьши размер

4. Reserved Instances (RI) и Savings Plans

Экономия 30-70% платежей через долгосрочные контракты.

# AWS Pricing: On-Demand vs Reserved Instance

# On-Demand (гибко, но дорого)
on_demand_per_hour = 1.0  # $ за час r5.2xlarge
on_demand_per_month = on_demand_per_hour * 730  # = $730/месяц

# Reserved Instance (1 год, 50% скидка)
upfront_payment = 3500
monthly_payment = 100
ri_cost_per_month = upfront_payment / 12 + monthly_payment  # = $391/месяц

savings = (on_demand_per_month - ri_cost_per_month) / on_demand_per_month * 100
print(f"✓ Экономия: {savings:.1f}%")  # ≈ 46%

# AWS CLI: Купить RI
import subprocess
subprocess.run([
    'aws', 'ec2', 'purchase-reserved-instances-offering',
    '--reserved-instances-offering-id', 'xxxxxxxx',
    '--instance-count', '5'
])

5. Оптимизация запросов к базе (Query Optimization = cost reduction)

Каждый запрос к BigQuery/Redshift стоит деньги.

-- ❌ Плохо: FULL SCAN, сканит 1 TB (стоит $5)
SELECT *
FROM huge_table
WHERE user_id = 123;

-- ✅ Хорошо: PARTITION PRUNING, сканит 1 GB (стоит $0.005)
SELECT *
FROM huge_table
WHERE DATE(created_at) = CURRENT_DATE()
  AND user_id = 123;

-- Итого: сэкономили $4.995 за запрос!

Использование кэша (materialized views):

# Вместо пересчитывать каждый раз
query_expensive = """
SELECT 
    user_id,
    COUNT(*) as events,
    SUM(amount) as revenue
FROM events
GROUP BY user_id
"""  # 10 минут, сканит 1 TB

# Создай материализованное представление (кэш)
mv_query = f"CREATE MATERIALIZED VIEW user_stats AS {query_expensive}"
# Обновляй раз в день (5 минут, экономия 50%)

# Потом используй VIEW (мгновенно, < 1 сек)
from_cache = "SELECT * FROM user_stats WHERE user_id = 123"

6. Spot Instances (для batch jobs)

Скидка 70-90% за временные инстансы (могут быть отключены).

# AWS Spot инстансы (идеально для ETL)
spot_config = {
    'ImageId': 'ami-12345678',
    'InstanceType': 'r5.2xlarge',
    'KeyName': 'my-key',
    'SpotPrice': '0.30',  # vs $1.00 On-Demand = 70% скидка
    'InstanceInterruptionBehavior': 'terminate',
    'TagSpecifications': [{
        'ResourceType': 'instance',
        'Tags': [{'Key': 'Name', 'Value': 'ETL-Spot-Worker'}]
    }]
}

ec2 = boto3.client('ec2')
response = ec2.request_spot_instances(SpotPrice='0.30', LaunchSpecification=spot_config)

print(f"✓ Spot request created (70% savings!)")

# Риск: инстанс может быть отключен в любой момент
# Решение: используй для fault-tolerant работ (Spark, Hadoop)

7. Мониторинг и Alerts

Настрой бюджет с алертами.

# AWS Budgets: Send alert если расходы > $5000/месяц
import boto3

budgets = boto3.client('budgets')

budget_config = {
    'AccountId': '123456789012',
    'Budget': {
        'BudgetName': 'DataEngineering',
        'BudgetLimit': {'Amount': '5000', 'Unit': 'USD'},
        'TimeUnit': 'MONTHLY',
        'BudgetType': 'COST',
        'CostFilters': {
            'TagKeyValue': ['Environment$Production']
        }
    },
    'NotificationsWithSubscribers': [
        {
            'Notification': {
                'NotificationType': 'FORECASTED',
                'ComparisonOperator': 'GREATER_THAN',
                'Threshold': 80,
                'ThresholdType': 'PERCENTAGE'
            },
            'Subscribers': [
                {
                    'SubscriptionType': 'EMAIL',
                    'Address': 'de-team@company.com'
                },
                {
                    'SubscriptionType': 'SNS',
                    'Address': 'arn:aws:sns:us-east-1:123456789012:alerts'
                }
            ]
        }
    ]
}

budgets.create_budget(**budget_config)
print("✓ Budget alert configured")

8. FinOps матрица ответственности

Data Engineer           Cloud Architect        Finance
│                      │                       │
├─ Optimize queries     ├─ Right-size RI       ├─ Budget planning
├─ Compression          ├─ Spot instances      ├─ Reporting
├─ Partitioning         ├─ Auto-scaling        ├─ Forecasting
├─ Schedule jobs        ├─ VPC optimization    └─ Allocation
└─ Monitor usage        └─ Reserved capacity

9. Практический план экономии (Data Lake)

# Квартальный план оптимизации
plan = {
    'Q1': {
        'task': 'Partition all tables by date',
        'savings': '20%',
        'effort': '40 hours'
    },
    'Q2': {
        'task': 'Implement compression (Snappy)',
        'savings': '40%',
        'effort': '20 hours'
    },
    'Q3': {
        'task': 'Buy Reserved Instances (1 year)',
        'savings': '50%',
        'effort': '5 hours'
    },
    'Q4': {
        'task': 'Lifecycle policies for old data',
        'savings': '30%',
        'effort': '10 hours'
    }
}

# Итоговая экономия: (1 - 0.8*0.6*0.5*0.7) = 83% от исходной стоимости
# Если было $100k/месяц → станет $17k/месяц

Итоговые рекомендации

✅ Quick wins (легко, быстро):

1. Включи lifecycle policies для S3 (удаляй старые файлы)
2. Переведи тяжелые таблицы на Parquet + Snappy
3. Настрой бюджет alert

✅ Medium effort (неделю):

1. Оптимизируй все запросы (добавь WHERE, PARTITION)
2. Купи Reserved Instances для постоянных workload'ов
3. Используй Spot для batch jobs

✅ Long-term (месяцы):

1. Перейди на Query-at-scale систему (Snowflake, BigQuery)
2. Автоматизируй cleanup (удаление дубликатов, orphaned таблиц)
3. Обучи команду "cost-conscious" thinking

Цель: Сократить облачные расходы на 40-70% без потери производительности.