Как улучшить качество данных?

Стратегия улучшения качества данных

Что такое качество данных?

Качество данных — это комплексная характеристика, включающая:

• Полноту — всех ли требуемых данных достаточно?
• Точность — насколько данные соответствуют реальности?
• Последовательность — одинаков ли формат и структура?
• Своевременность — актуальны ли данные?
• Достоверность — из надёжного ли источника данные?

Процесс улучшения качества

1. Аудит текущего состояния

Первый шаг — понять, где стоят проблемы:

-- Проверка полноты
SELECT 
    column_name,
    COUNT(*) as total,
    COUNT(DISTINCT column_name) as filled,
    ROUND(100.0 * COUNT(*) FILTER (WHERE column_name IS NULL) / COUNT(*), 2) as null_percent
FROM table_name
GROUP BY 1
HAVING COUNT(*) FILTER (WHERE column_name IS NULL) > 0;

-- Проверка уникальности
SELECT id, COUNT(*) as duplicates
FROM users
GROUP BY id
HAVING COUNT(*) > 1;

-- Проверка диапазона значений
SELECT MIN(age), MAX(age), AVG(age)
FROM users
WHERE age < 0 OR age > 150;

2. Валидация на входе (Data Validation)

Предотвращение плохих данных с самого начала:

import pandas as pd
from datetime import datetime

def validate_user_data(df):
    """Валидация данных пользователей"""
    errors = []
    
    # Проверка обязательных полей
    if df['email'].isnull().any():
        errors.append("Email не может быть пустым")
    
    # Проверка формата
    if not df['email'].str.contains(r'^[\w\.-]+@[\w\.-]+\.\w+$').all():
        errors.append("Некорректный формат email")
    
    # Проверка диапазона
    if (df['age'] < 0) | (df['age'] > 150).any():
        errors.append("Возраст вне допустимого диапазона")
    
    # Проверка дат
    if (df['signup_date'] > datetime.now()).any():
        errors.append("Дата регистрации в будущем")
    
    if errors:
        raise ValueError("; ".join(errors))
    
    return True

3. Очистка и нормализация

Удаление дубликатов:

WITH ranked_rows AS (
    SELECT *, ROW_NUMBER() OVER (PARTITION BY user_id ORDER BY created_at DESC) as rn
    FROM events
)
DELETE FROM events
WHERE id IN (
    SELECT id FROM ranked_rows WHERE rn > 1
);

Стандартизация форматов:

import pandas as pd

# Приведение к нижнему регистру
df['email'] = df['email'].str.lower().str.strip()

# Стандартизация дат
df['created_at'] = pd.to_datetime(df['created_at'], format='%Y-%m-%d')

# Замена NULL на правильные значения
df['country'].fillna('Unknown', inplace=True)
df['age'].fillna(df['age'].median(), inplace=True)

4. Мониторинг и алертинг

Нужно отслеживать качество в реальном времени:

import Great Expectations as ge

# Создание контекста валидации
validator = ge.dataset.PandasDataset(df)

# Определение ожиданий
validator.expect_column_values_to_not_be_null("user_id")
validator.expect_column_values_to_be_between("age", 0, 150)
validator.expect_column_values_to_match_regex("email", r'^[\w\.-]+@[\w\.-]+\.\w+$')

# Запуск валидации
results = validator.validate()
if not results["success"]:
    send_alert(f"Data quality check failed: {results['results']}")

5. Документирование и метаданные

Документируй правила качества для каждого поля:

data_dictionary = {
    "user_id": {
        "description": "Уникальный идентификатор пользователя",
        "type": "UUID",
        "nullable": False,
        "example": "550e8400-e29b-41d4-a716-446655440000"
    },
    "age": {
        "description": "Возраст пользователя",
        "type": "INT",
        "range": [0, 150],
        "nullable": False
    },
    "email": {
        "description": "Email адрес",
        "type": "VARCHAR",
        "pattern": "^[\\w\\.-]+@[\\w\\.-]+\\.\\w+$",
        "nullable": False
    }
}

Практические примеры улучшений

Пример 1: E-commerce платформа

• Проблема: 15% заказов с пустыми city
• Решение: добавил обязательное поле city при checkout + fallback на город из IP
• Результат: полнота данных +85%

Пример 2: Аналитика приложения

• Проблема: разные форматы user_id (строки, числа, UUID)
• Решение: стандартизировал на UUID при сборе событий
• Результат: ошибки в JOIN'ах исчезли

Пример 3: CRM система

• Проблема: дубликаты контактов из разных источников
• Решение: внедрил дедупликацию по email + phone с ML матчингом
• Результат: единая база для 95% контактов

Инструменты и практики

• Great Expectations — фреймворк для валидации и документирования
• Datadog / Prometheus — мониторинг метрик качества
• dbt — версионирование и тестирование трансформаций
• Apache Griffin — автоматическое обнаружение аномалий
• Регулярные аудиты — еженедельная проверка ключевых метрик

Итог

Улучшение качества данных — это постоянный процесс, требующий автоматизации, мониторинга и культуры ответственности за данные. Инвестиция в качество окупается через надёжность аналитики и доверие к результатам.