Какие знаешь ограничения UNION ALL?

Ограничения UNION ALL в SQL

UNION ALL — мощный оператор для объединения результатов нескольких SELECT запросов, но он имеет ряд ограничений и особенностей, которые необходимо учитывать при работе с большими объёмами данных.

1. Совпадение количества и типов столбцов

Основное требование: все SELECT запросы в UNION ALL должны иметь одинаковое количество столбцов с совместимыми типами данных.

-- ✅ Правильно
SELECT id, name, age FROM users
UNION ALL
SELECT user_id, user_name, user_age FROM active_users;

-- ❌ Неправильно: разное количество столбцов
SELECT id, name FROM users
UNION ALL
SELECT user_id, user_name, user_age FROM active_users;

-- ❌ Неправильно: несовместимые типы
SELECT id::integer, name::varchar FROM users
UNION ALL
SELECT user_name::varchar, user_age::integer FROM active_users;

2. Производительность на больших данных

UNION ALL требует чтения и обработки всех строк из обоих запросов, что может быть затратно на больших наборах данных.

-- ❌ Неэффективно: объединяет миллионы строк
SELECT * FROM orders WHERE status = "completed"
UNION ALL
SELECT * FROM orders_archive WHERE status = "completed";

-- ✅ Эффективнее: используй индексы и фильтрацию
SELECT * FROM (
    SELECT * FROM orders WHERE status = "completed"
    UNION ALL
    SELECT * FROM orders_archive WHERE status = "completed"
) AS result
WHERE created_at > "2024-01-01";

3. Отсутствие дедупликации (в отличие от UNION)

UNION ALL сохраняет все дублирующиеся строки, тогда как UNION их удаляет. Это может привести к неожиданным результатам.

-- UNION ALL сохраняет дубликаты
SELECT id, name FROM users WHERE id < 5
UNION ALL
SELECT id, name FROM users WHERE id < 10;
-- Результат: id 1-4 появятся дважды

-- UNION удаляет дубликаты (медленнее!)
SELECT id, name FROM users WHERE id < 5
UNION
SELECT id, name FROM users WHERE id < 10;
-- Результат: каждая строка только один раз

-- Если дедупликация нужна, лучше переписать запрос
SELECT DISTINCT id, name FROM users WHERE id < 10;

4. Ограничения на использование ORDER BY

ORDER BY должен быть в конце всего UNION ALL выражения и применяется ко всему результату.

-- ❌ Неправильно: ORDER BY в каждом SELECT
SELECT id, name FROM users ORDER BY id
UNION ALL
SELECT id, name FROM active_users ORDER BY id;

-- ✅ Правильно: ORDER BY в конце
SELECT id, name FROM users
UNION ALL
SELECT id, name FROM active_users
ORDER BY id, name;

-- ✅ Правильно: ORDER BY с LIMIT (субзапрос)
(SELECT id, name FROM users ORDER BY id LIMIT 5)
UNION ALL
(SELECT id, name FROM active_users ORDER BY id LIMIT 5)
ORDER BY id;

5. Ограничение памяти и временных таблиц

Большие UNION ALL операции могут исчерпать доступную память и требуют создания больших временных таблиц.

-- ❌ Проблемно: объединение множества больших таблиц
SELECT * FROM table1
UNION ALL
SELECT * FROM table2
UNION ALL
SELECT * FROM table3
-- ... 50 таблиц
UNION ALL
SELECT * FROM table50;

-- ✅ Лучше: используй JOIN или временную таблицу
CREATE TEMP TABLE result AS
SELECT * FROM table1;

INSERT INTO result
SELECT * FROM table2;

INSERT INTO result
SELECT * FROM table3;

SELECT * FROM result;

6. Игнорирование индексов в некоторых БД

Некоторые БД (особенно MySQL) могут неправильно использовать индексы при UNION ALL с подзапросами.

-- ❌ Индекс может быть проигнорирован
SELECT id, name FROM users WHERE status = "active" AND country = "US"
UNION ALL
SELECT id, name FROM inactive_users WHERE country = "US";

-- ✅ Лучше: явно указать индексы (hint)
SELECT /*+ INDEX(users idx_status) */ id, name FROM users
WHERE status = "active" AND country = "US"
UNION ALL
SELECT /*+ INDEX(inactive_users idx_country) */ id, name
FROM inactive_users WHERE country = "US";

7. Нет гарантий порядка результатов

Без явного ORDER BY порядок строк в результате UNION ALL не определён и может варьироваться.

-- Порядок не гарантирован
SELECT id FROM users
UNION ALL
SELECT id FROM archived_users;
-- Результаты могут быть в любом порядке

-- Для воспроизводимого результата:
SELECT id, "users" as source FROM users
UNION ALL
SELECT id, "archived" as source FROM archived_users
ORDER BY source, id;

8. Проблемы с NULL значениями

NULL значения в UNION ALL могут привести к неожиданным результатам при сравнении.

-- NULL != NULL, поэтому они не удаляются в UNION (даже если есть дублики)
SELECT id, NULL as value FROM users WHERE id = 1
UNION ALL
SELECT id, NULL as value FROM users WHERE id = 1;
-- Результат: две строки с NULL значениями

-- Если нужна дедупликация с NULL:
SELECT DISTINCT id, value FROM (
    SELECT id, value FROM users
    UNION ALL
    SELECT id, value FROM archived_users
) t;

9. Ограничения на типах данных

Некоторые типы данных (JSON, ARRAY, BYTEA) могут иметь проблемы с UNION ALL в зависимости от БД.

-- ✅ Правильно
SELECT id, data::jsonb FROM users
UNION ALL
SELECT id, data::jsonb FROM archived_users;

-- ❌ Может быть проблемным (зависит от БД)
SELECT id, array_col FROM users
UNION ALL
SELECT id, array_col FROM archived_users;

10. Практический пример с ограничениями

# Python код для работы с UNION ALL
from sqlalchemy import text
from database import session

# ❌ Неэффективно: большой UNION ALL
def get_all_orders_slow():
    query = text("""
    SELECT id, user_id, amount FROM orders WHERE year = 2023
    UNION ALL
    SELECT id, user_id, amount FROM orders WHERE year = 2022
    UNION ALL
    SELECT id, user_id, amount FROM orders WHERE year = 2021
    UNION ALL
    -- 10 лет данных...
    """)
    return session.execute(query).fetchall()

# ✅ Эффективнее: использование партиционирования
def get_all_orders_fast():
    query = text("""
    SELECT id, user_id, amount FROM orders
    WHERE year >= 2021
    ORDER BY year DESC, created_at DESC
    LIMIT 10000
    """)
    return session.execute(query).fetchall()

# ✅ С правильной обработкой ошибок
def get_orders_with_validation():
    try:
        query = text("""
        SELECT id, user_id, amount FROM orders
        UNION ALL
        SELECT id, user_id, amount FROM orders_backup
        ORDER BY id
        """)
        return session.execute(query).fetchall()
    except Exception as e:
        print(f"Ошибка при выполнении UNION ALL: {e}")
        return []

Рекомендации для production

• Избегай UNION ALL с множеством таблиц — используй JOIN или INSERT INTO SELECT
• Всегда добавляй ORDER BY в конец — для гарантированного порядка
• Профилируй запросы — UNION ALL может быть медленным на больших данных
• Кешируй результаты — если результаты стабильны
• Предпочитай партиционирование — вместо разделения на несколько таблиц
• Мониторь использование памяти — UNION ALL может быть ресурсозатратным
• Используй EXPLAIN — для анализа плана выполнения
• Тестируй с реальными объёмами данных — производительность зависит от размера

В целом, UNION ALL — полезный инструмент, но требует осторожного использования в production окружении.