Что такое data governance и почему это важно?

Data Governance: Управление Данными в Организации

Data Governance — это набор процессов, политик и инструментов, которые обеспечивают, что данные в организации управляются, защищены, качественны и используются в соответствии с правилами и регулированием. Это не только техническая задача, но и организационная стратегия.

Определение

Data Governance — это система управления, которая отвечает на вопросы:

• Кто имеет доступ к каким данным?
• Откуда приходят данные и насколько они надёжны?
• Как данные используются и где хранятся?
• Когда данные устаревают и должны быть удалены?
• Почему мы храним эти данные и что они значат?

Ключевые Компоненты

1. Data Classification (Классификация Данных)

from enum import Enum

class DataSensitivity(Enum):
    PUBLIC = "public"           # Публичные данные
    INTERNAL = "internal"       # Для внутреннего использования
    CONFIDENTIAL = "confidential" # Конфиденциальные
    RESTRICTED = "restricted"   # Ограниченный доступ

class DataMetadata:
    def __init__(self, name, sensitivity, owner, pii=False):
        self.name = name
        self.sensitivity = sensitivity
        self.owner = owner
        self.pii = pii  # Personally Identifiable Information
        self.created_date = None
        self.retention_period = None

# Примеры классификации
user_emails = DataMetadata(
    name="user_emails",
    sensitivity=DataSensitivity.CONFIDENTIAL,
    owner="privacy-team",
    pii=True
)

public_articles = DataMetadata(
    name="public_articles",
    sensitivity=DataSensitivity.PUBLIC,
    owner="content-team",
    pii=False
)

2. Data Lineage (Происхождение Данных)

Трассировка пути данных от источника до использования:

class DataLineage:
    def __init__(self):
        self.graph = {}  # Граф зависимостей
    
    def add_transformation(self, source, target, transformation_type):
        """
        Документирует преобразование данных
        """
        if source not in self.graph:
            self.graph[source] = []
        
        self.graph[source].append({
            'target': target,
            'transformation': transformation_type,
            'timestamp': datetime.now()
        })
    
    def get_lineage(self, dataset_name):
        """
        Показывает полный путь данного набора
        """
        return self.graph.get(dataset_name, [])

# Пример
lineage = DataLineage()

# raw_events → cleaned_events → aggregated_metrics
lineage.add_transformation(
    'raw_events',
    'cleaned_events',
    'data_cleaning'
)
lineage.add_transformation(
    'cleaned_events',
    'aggregated_metrics',
    'aggregation'
)

# Полная таблица маршрутизации
# raw_events (источник) 
# ↓ фильтрация и валидация
# cleaned_events (промежуточная таблица)
# ↓ агрегация по часам
# aggregated_metrics (конечный набор)
# ↓ используется в dashboards

3. Access Control & Permissions (Контроль Доступа)

from enum import Enum

class AccessLevel(Enum):
    NONE = 0
    READ = 1
    WRITE = 2
    ADMIN = 3

class DataAccessPolicy:
    def __init__(self):
        self.policies = {}  # dataset_name → {user/role → access_level}
    
    def grant_access(self, dataset, user, level):
        if dataset not in self.policies:
            self.policies[dataset] = {}
        self.policies[dataset][user] = level
    
    def check_access(self, dataset, user, required_level):
        user_level = self.policies.get(dataset, {}).get(user, AccessLevel.NONE)
        return user_level.value >= required_level.value

# Примеры политик
access_policy = DataAccessPolicy()

# Таблица с данными клиентов
access_policy.grant_access(
    'customers_pii',
    'data_analyst',
    AccessLevel.READ
)
access_policy.grant_access(
    'customers_pii',
    'dba',
    AccessLevel.ADMIN
)

# Проверка доступа
can_read = access_policy.check_access(
    'customers_pii',
    'data_analyst',
    AccessLevel.READ
)  # True

can_write = access_policy.check_access(
    'customers_pii',
    'data_analyst',
    AccessLevel.WRITE
)  # False

4. Data Quality & Validation (Качество Данных)

from dataclasses import dataclass
from typing import Callable, List

@dataclass
class DataQualityRule:
    name: str
    description: str
    check_function: Callable[[any], bool]
    severity: str  # 'warning' или 'error'

class DataQualityValidator:
    def __init__(self):
        self.rules: List[DataQualityRule] = []
        self.results = []
    
    def add_rule(self, rule: DataQualityRule):
        self.rules.append(rule)
    
    def validate(self, data):
        for rule in self.rules:
            try:
                passed = rule.check_function(data)
                self.results.append({
                    'rule': rule.name,
                    'passed': passed,
                    'severity': rule.severity
                })
            except Exception as e:
                print(f"Error in rule {rule.name}: {e}")
    
    def get_report(self):
        return self.results

# Примеры правил качества
validator = DataQualityValidator()

validator.add_rule(DataQualityRule(
    name="no_nulls_in_ids",
    description="ID колонка не должна содержать NULL",
    check_function=lambda df: df['id'].notna().all(),
    severity="error"
))

validator.add_rule(DataQualityRule(
    name="email_format",
    description="Email должен быть в правильном формате",
    check_function=lambda df: df['email'].str.contains(r'^[^@]+@[^@]+\.[^@]+$').all(),
    severity="warning"
))

validator.add_rule(DataQualityRule(
    name="age_in_range",
    description="Возраст должен быть между 0 и 150",
    check_function=lambda df: (df['age'] >= 0) & (df['age'] <= 150),
    severity="error"
))

5. Data Retention & Archival (Сохранение Данных)

-- Политика удаления старых данных
CREATE TABLE data_retention_policy (
    dataset_name VARCHAR(255),
    retention_days INT,
    deletion_date DATE,
    owner VARCHAR(255),
    reason VARCHAR(255)
);

INSERT INTO data_retention_policy VALUES
('user_sessions', 90, CURRENT_DATE + INTERVAL '90 days', 'analytics-team', 'Session tracking'),
('error_logs', 30, CURRENT_DATE + INTERVAL '30 days', 'devops-team', 'Troubleshooting'),
('customer_pii', 2555, CURRENT_DATE + INTERVAL '2555 days', 'legal-team', 'Legal compliance');

-- Автоматическое удаление старых данных
DO $$
DECLARE
    rec RECORD;
BEGIN
    FOR rec IN SELECT * FROM data_retention_policy WHERE deletion_date <= CURRENT_DATE
    LOOP
        EXECUTE format('DELETE FROM %I WHERE created_at < CURRENT_DATE - INTERVAL ''%s days''',
            rec.dataset_name, rec.retention_days);
        RAISE NOTICE 'Deleted old data from %', rec.dataset_name;
    END LOOP;
END $$;

Почему Data Governance Важна

1. Комплайенс и Регулирование

✅ GDPR (EU) — защита личных данных ✅ CCPA (California) — права потребителей ✅ HIPAA (USA) — медицинские данные ✅ SOX (Sarbanes-Oxley) — финансовые данные ✅ LGPD (Brazil) — локальное регулирование

# Пример: GDPR Compliance
class GDPRCompliance:
    def delete_user_data(self, user_id):
        """
        Удаляет все личные данные пользователя (право на забвение)
        """
        tables_with_pii = [
            'users',
            'user_profiles',
            'user_activity',
            'user_sessions'
        ]
        
        for table in tables_with_pii:
            query = f"DELETE FROM {table} WHERE user_id = %s"
            db.execute(query, (user_id,))

2. Качество Данных

Плохое управление данными:

• Несогласованные форматы
• Дублирующиеся записи
• Отсутствующие значения
• Неверные значения

Data Governance обеспечивает:

• Единые определения данных
• Стандартизированные форматы
• Валидация на входе
• Аудит изменений

3. Безопасность

• Контроль доступа к чувствительным данным
• Шифрование данных в покое и в пути
• Аудит логирования доступа
• Защита от утечек

4. Эффективность Бизнеса

• Data Discovery: Легче найти нужные данные
• Trust: Доверие к качеству данных
• Productivity: Меньше времени на поиск и очистку
• Risk Reduction: Снижение рисков нарушений

Принципы Data Governance

1. Accountability — ясная ответственность
2. Transparency — открытость и видимость
3. Standardization — единые стандарты
4. Automation — автоматизация где возможно
5. Documentation — полная документация
6. Continuous Improvement — постоянное улучшение

Инструменты для Data Governance

• Apache Atlas — Data lineage и metadata
• Collibra — Enterprise data governance platform
• Alation — Data catalog и governance
• Great Expectations — Data quality validation
• dbt (data build tool) — Data transformation governance
• OpenMetadata — Open-source metadata platform

Data Governance — это не один-разовая проект, а постоянная дисциплина, которая защищает компанию, повышает доверие к данным и обеспечивает соответствие регулированию.