Что такое Hive Metastore?

Что такое Hive Metastore?

Hive Metastore — это центральный репозиторий метаданных для Apache Hive и экосистемы Hadoop. Он хранит всю информацию о структуре данных, таблицах, колонках, типах данных, партициях и других схемах, необходимых для правильной интерпретации данных в хранилище.

Основные функции Hive Metastore

Хранение метаданных таблиц:

• Информация о структуре таблиц (название колонок, типы данных)
• Расположение данных в HDFS (путь, где хранятся файлы)
• Формат файлов (Parquet, ORC, CSV, Avro)
• Параметры компрессии и другие свойства

Управление партициями:

• Метаданные о партициях таблицы
• Информация о распределении данных
• Ускорение запросов за счёт partition pruning

Управление доступом:

• Данные о правах доступа к таблицам и базам данных
• Интеграция с RBAC (Role-Based Access Control)

Архитектура Hive Metastore

Metastore состоит из двух компонентов:

1. Thrift сервер — обеспечивает удалённый доступ к метаданным через REST API
2. Бэкенд база данных — обычно PostgreSQL, MySQL или встроенная Derby для хранения всех метаданных

Режимы развёртывания

Embedded Mode — встроенная Derby база данных, подходит для разработки и тестирования, но НЕ для production.

Local Standalone Mode — Metastore в одном процессе, но использует PostgreSQL/MySQL для хранения. Для небольших установок.

Remote Mode — отдельный сервис Thrift, несколько клиентов (Hive, Spark, Presto) могут обращаться к одному Metastore. Рекомендуется для production.

Интеграция с Spark и другими инструментами

SparkSQL может работать с Hive Metastore, что позволяет:

• Использовать одни и те же таблицы из Spark и Hive
• Сохранять Spark DataFrame как Hive таблицы
• Выполнять SQL запросы на таблицы, зарегистрированные в Metastore

spark.sql("CREATE TABLE my_table (id INT, name STRING) USING PARQUET")
df = spark.sql("SELECT * FROM my_table")

Проблемы и оптимизация

Узкое место: Metastore может стать узким местом при большом количестве таблиц и частых запросах метаданных.

Решение: Использование кэширования на стороне клиента, оптимизация запросов к Metastore, мониторинг производительности базы данных.

Hive Metastore — критический компонент в экосистеме Hadoop для централизованного управления схемой и метаинформацией данных.