Что такое data mesh и data fabric? В чём различия между этими подходами?

Data Mesh vs Data Fabric: Сравнение подходов

Data Mesh и Data Fabric — это две современные архитектурные парадигмы для управления данными в больших организациях. Обе решают проблему централизованных data warehouse, но подходят по-разному.

Data Mesh: Децентрализованная архитектура

Data Mesh — это организационная и архитектурная парадигма, которая рассматривает данные как продукт, управляемый кросс-функциональными командами, которые владеют своими данными от источника до потребителя.

Ключевые принципы Data Mesh:

1. Domain-Driven Ownership — каждое бизнес-подразделение (домен) владеет своими данными

   • Платёжная система владеет всеми платежами
   • Система заказов владеет заказами
   • Каждая команда несёт ответственность за качество

2. Data as a Product — данные рассматриваются как продукт с потребителями

   • Версионирование и документация
   • SLA по доступности и качеству
   • Дата-драйвен команды

3. Self-Serve Infrastructure — инструменты для независимой работы команд

   • Каждая команда может создавать и экспортировать свои данные
   • Платформа предоставляет инструменты и стандарты

4. Federated Governance — распределённое управление с общими стандартами

   • Каждая команда следует общим правилам и стандартам
   • Но сохраняет автономию в реализации

Архитектура Data Mesh:

┌─ Domain A (Payments)  ─┐
│  - Raw data           │
│  - Transformed data   │  → Data Products (APIs)
│  - Owner: Payments    │
└───────────────────────┘

┌─ Domain B (Orders)    ─┐
│  - Raw data           │
│  - Transformed data   │  → Data Products (APIs)
│  - Owner: Orders      │
└───────────────────────┘

┌─ Domain C (Users)     ─┐
│  - Raw data           │
│  - Transformed data   │  → Data Products (APIs)
│  - Owner: Users       │
└───────────────────────┘

     ↓        ↓        ↓
        Data Marketplace
       (Discovery, Lineage)

Преимущества Data Mesh:

• Снижает зависимость от центрального data team
• Каждая команда отвечает за качество своих данных
• Масштабируется с ростом организации
• Быстрее реагирует на изменения

Недостатки Data Mesh:

• Требует зрелой организационной культуры
• Сложно синхронизировать данные между доменами
• Может привести к дублированию данных
• Высокие требования к навыкам команд

Data Fabric: Интегрированная архитектура

Data Fabric — это интегрированная архитектура, которая связывает разнородные источники данных, системы и инструменты в единую логическую систему с единообразным доступом.

Ключевые характеристики Data Fabric:

1. Unified Data Integration — все данные доступны через единый интерфейс

   • Может быть озеро данных, облако, гибридное решение
   • Скрывает сложность под-систем

2. Intelligent Data Management — автоматическое управление

   • AI для обнаружения источников данных
   • Автоматическое качество и каталогизирование
   • Умные рекомендации потребителям

3. Real-Time Data Access — быстрый доступ к актуальным данным

   • CDC (Change Data Capture) для синхронизации
   • Real-time analytics возможны

4. Centralized Governance — единые правила управления

   • Политики безопасности и соответствия нормам
   • Линия данных и impact analysis
   • Централизованный контроль качества

Архитектура Data Fabric:

┌─────────────────────────────────────────────┐
│         Data Fabric Platform               │
│  ┌──────────────────────────────────────┐  │
│  │    Data Integration Layer            │  │
│  │  (ETL, APIs, CDC, Streaming)         │  │
│  └────────┬─────────────────────────────┘  │
│           │                                 │
│  ┌────────┴─────────────────────────────┐  │
│  │    Unified Data Repository           │  │
│  │  (Lake House, Cloud DW)              │  │
│  └────────┬─────────────────────────────┘  │
│           │                                 │
│  ┌────────┴─────────────────────────────┐  │
│  │    Governance & Metadata             │  │
│  │  (Catalog, Quality, Security)        │  │
│  └──────────────────────────────────────┘  │
└─────────────────────────────────────────────┘

   ↓         ↓         ↓
 Analytics  BI        ML Models

Преимущества Data Fabric:

• Единый источник истины для всех данных
• Централизованное управление и контроль
• Проще внедрить и управлять
• Лучше для организаций с централизованной структурой

Недостатки Data Fabric:

• Может стать узким местом при росте
• Требует значительных инвестиций в инфраструктуру
• Требует центральную команду поддержки
• Может медленнее реагировать на локальные потребности

Сравнительная таблица

Когда выбрать Data Mesh

• Большие организации с независимыми бизнес-единицами
• Нужна высокая скорость разработки
• Команды имеют навыки data engineering
• Пример: Netflix, Uber (каждый сервис имеет свои данные)

Когда выбрать Data Fabric

• Средние организации с централизованной структурой
• Нужна единая версия истины
• Требуется строгое управление и соответствие
• Нет достаточных ресурсов для распределённого управления
• Пример: Финансовые учреждения, страховые компании

Гибридный подход

Многие организации используют комбинацию:

• Data Fabric как основная интеграционная платформа
• Data Mesh принципы в управлении (доменные команды)
• Каждый домен имеет свой data product, доступный через единую fabric

Это позволяет получить преимущества обоих подходов: масштабируемость mesh и интеграцию fabric.