Какие знаешь инструменты для мониторинга БД?

# Инструменты для мониторинга БД

Мониторинг баз данных критичен для поддержания производительности, выявления узких мест и предотвращения сбоев в production. Существует множество инструментов для различных типов БД.

1. Встроенные инструменты БД

PostgreSQL - pg_stat_statements

# Включение расширения
from sqlalchemy import create_engine, text

engine = create_engine('postgresql://user:pass@localhost/db')

# Включить расширение (один раз)
with engine.connect() as conn:
    conn.execute(text("CREATE EXTENSION IF NOT EXISTS pg_stat_statements"))
    conn.commit()

# Получить информацию о медленных запросах
with engine.connect() as conn:
    result = conn.execute(text("""
        SELECT query, calls, mean_exec_time
        FROM pg_stat_statements
        ORDER BY mean_exec_time DESC
        LIMIT 10
    """))
    
    for query, calls, mean_time in result:
        print(f"Query: {query[:50]}...")
        print(f"Calls: {calls}, Avg Time: {mean_time:.2f}ms")

MySQL - PERFORMANCE_SCHEMA

import mysql.connector

connection = mysql.connector.connect(
    host="localhost",
    user="root",
    password="password",
    database="mydb"
)

cursor = connection.cursor()

# Получить информацию о медленных запросах
cursor.execute("""
    SELECT sql_text, count_star, sum_timer_wait
    FROM performance_schema.events_statements_summary_by_digest
    ORDER BY sum_timer_wait DESC
    LIMIT 10
""")

for sql, count, time in cursor.fetchall():
    print(f"SQL: {sql}")
    print(f"Count: {count}, Total Time: {time}")

cursor.close()
connection.close()

2. Prometheus + PostgreSQL Exporter

Система мониторинга с временными рядами для метрик БД.

# prometheus.yml конфиг
"""
global:
  scrape_interval: 15s

scrape_configs:
  - job_name: 'postgres'
    static_configs:
      - targets: ['localhost:9187']  # postgres_exporter
"""

# Получение метрик через Python
import requests

response = requests.get('http://localhost:9090/api/v1/query', params={
    'query': 'pg_stat_database_tup_returned'
})

metrics = response.json()['data']['result']
for metric in metrics:
    print(f"Database: {metric['metric']['datname']}")
    print(f"Tuples Returned: {metric['value'][1]}")

3. Grafana

Визуализация метрик с красивыми дашбордами.

# Grafana API для создания дашборда
import requests
import json

headers = {"Authorization": "Bearer YOUR_API_KEY"}

dashboard = {
    "dashboard": {
        "title": "Database Monitoring",
        "panels": [
            {
                "title": "Query Performance",
                "targets": [
                    {
                        "expr": "rate(pg_stat_statements_mean_exec_time[5m])"
                    }
                ]
            },
            {
                "title": "Connection Count",
                "targets": [
                    {
                        "expr": "pg_stat_database_numbackends"
                    }
                ]
            }
        ]
    }
}

response = requests.post(
    'http://localhost:3000/api/dashboards/db',
    headers=headers,
    json=dashboard
)

print(response.json())

4. SolarWinds DPA

Коммерческий инструмент с глубоким анализом производительности.

5. Datadog

Облачный мониторинг с поддержкой множества БД.

from datadog import initialize, api

# Инициализация
options = {
    'api_key': 'YOUR_API_KEY',
    'app_key': 'YOUR_APP_KEY'
}

initialize(**options)

# Получение метрик
metrics = api.Metric.query(
    query='avg:postgresql.rows_returned{*}',
    start='1h ago',
    end='now'
)

print(metrics)

6. New Relic

Мониторинг приложений и БД с одного интерфейса.

import newrelic.agent

# Инициализация
newrelic.agent.initialize('newrelic.ini')

# Запись пользовательского события
with newrelic.agent.WebTransaction('Slow Query'):
    # Выполнение запроса
    cursor.execute("SELECT * FROM large_table")
    results = cursor.fetchall()

7. Percona Monitoring and Management (PMM)

Открытое решение для мониторинга MySQL и PostgreSQL.

# Подключение агента к PMM
import subprocess

# На сервере БД
subprocess.run([
    'pmm-agent',
    'add',
    'postgresql',
    '--username', 'postgres',
    '--password', 'password',
    '--host', 'localhost',
    '--port', '5432'
])

# Просмотр метрик через веб-интерфейс PMM
# http://pmm-server:443

8. Elasticsearch + Kibana (для логов БД)

Логирование и анализ логов БД.

from elasticsearch import Elasticsearch
import json
from datetime import datetime

es = Elasticsearch(['http://localhost:9200'])

# Отправка логов БД в Elasticsearch
log_entry = {
    'timestamp': datetime.now(),
    'query': 'SELECT * FROM users WHERE id = 1',
    'execution_time': 42.5,
    'rows_affected': 1,
    'database': 'mydb'
}

es.index(
    index='db-logs-2024.03',
    body=log_entry
)

# Поиск медленных запросов
results = es.search(
    index='db-logs-*',
    body={
        'query': {
            'range': {
                'execution_time': {'gte': 1000}  # более 1 секунды
            }
        },
        'size': 100
    }
)

for hit in results['hits']['hits']:
    log = hit['_source']
    print(f"Query: {log['query']}")
    print(f"Time: {log['execution_time']}ms")

9. pgAdmin (для PostgreSQL)

Удобный веб-интерфейс для управления PostgreSQL.

# pgAdmin доступен по http://localhost:5050
# Позволяет просматривать:
# - Статистику запросов
# - Индексы и их использование
# - Состояние сервера
# - Логи

10. MongoDB Ops Manager

Управление и мониторинг MongoDB кластеров.

from pymongo import MongoClient

client = MongoClient('mongodb://localhost:27017/')
db = client['admin']

# Получение статистики
stats = db.command('serverStatus')

print(f"Current Connections: {stats['connections']['current']}")
print(f"Uptime: {stats['uptime']} seconds")
print(f"Operations: {stats['opcounters']}")

11. Redis Commander (для Redis)

Веб-интерфейс для мониторинга Redis.

import redis

r = redis.Redis(host='localhost', port=6379)

# Информация о сервере
info = r.info()
print(f"Used Memory: {info['used_memory_human']}")
print(f"Connected Clients: {info['connected_clients']}")
print(f"Ops per Second: {info['instantaneous_ops_per_sec']}")

# Мониторинг в реальном времени
with r.pipeline() as pipe:
    while True:
        info = r.info()
        print(f"Memory: {info['used_memory_human']}")
        print(f"Keys: {r.dbsize()}")
        time.sleep(5)

12. Ansible для автоматизации мониторинга

# playbook.yml
---
- hosts: all
  tasks:
    - name: Install postgres_exporter
      apt:
        name: postgres-exporter
        state: present
    
    - name: Configure postgres_exporter
      template:
        src: postgres_exporter.service.j2
        dest: /etc/systemd/system/postgres_exporter.service
    
    - name: Start monitoring
      service:
        name: postgres_exporter
        state: started
        enabled: yes

Сравнение инструментов

Лучшие практики мониторинга

• Мониторьте ключевые метрики: CPU, память, дисковый I/O, connections
• Следите за медленными запросами (slow query log)
• Наблюдайте за размером БД и ростом таблиц
• Проверяйте использование индексов
• Устанавливайте алерты на критичные события
• Используйте несколько уровней мониторинга
• Архивируйте исторические данные

Оптимальное решение часто предполагает комбинацию инструментов для полного мониторинга production систем.