Как происходит фильтрация агрегированных данных?

Механизмы фильтрации агрегированных данных в SQL и PHP

Фильтрация агрегированных данных — это процесс отбора и ограничения уже сгруппированных и агрегированных результатов запроса. Это критически важная операция в аналитике и отчетности, позволяющая работать только с релевантными сводными показателями.

Ключевые аспекты фильтрации агрегированных данных

1. WHERE vs HAVING: принципиальное различие

Основное различие между WHERE и HAVING заключается во времени применения условий:

-- WHERE фильтрует строки ДО агрегации
SELECT department_id, COUNT(*) as employee_count
FROM employees
WHERE hire_date > '2020-01-01'  -- Фильтрация на уровне строк
GROUP BY department_id;

-- HAVING фильтрует результаты ПОСЛЕ агрегации
SELECT department_id, AVG(salary) as avg_salary
FROM employees
GROUP BY department_id
HAVING AVG(salary) > 50000;  -- Фильтрация агрегированных значений

2. Многоуровневая фильтрация

На практике часто комбинируются оба подхода:

SELECT 
    department_id,
    job_title,
    COUNT(*) as employee_count,
    AVG(salary) as avg_salary
FROM employees
WHERE status = 'active'  -- Фильтр строк перед группировкой
GROUP BY department_id, job_title
HAVING COUNT(*) > 5 AND AVG(salary) > 45000  -- Фильтр после агрегации
ORDER BY avg_salary DESC;

3. Фильтрация по сложным агрегатным выражениям

HAVING позволяет использовать не только агрегатные функции, но и их комбинации:

SELECT 
    category_id,
    SUM(quantity * price) as total_revenue,
    COUNT(DISTINCT product_id) as unique_products
FROM sales
GROUP BY category_id
HAVING SUM(quantity * price) / COUNT(DISTINCT product_id) > 1000;

Практическая реализация в PHP

Базовый пример с PDO

<?php
try {
    $pdo = new PDO('mysql:host=localhost;dbname=company', 'user', 'password');
    $pdo->setAttribute(PDO::ATTR_ERRMODE, PDO::ERRMODE_EXCEPTION);
    
    $stmt = $pdo->prepare("
        SELECT 
            d.name as department_name,
            COUNT(e.id) as employee_count,
            ROUND(AVG(e.salary), 2) as average_salary
        FROM departments d
        JOIN employees e ON d.id = e.department_id
        WHERE e.active = :active_status
        GROUP BY d.id, d.name
        HAVING COUNT(e.id) >= :min_employees 
           AND AVG(e.salary) > :min_salary
        ORDER BY average_salary DESC
    ");
    
    $params = [
        ':active_status' => 1,
        ':min_employees' => 3,
        ':min_salary' => 40000
    ];
    
    $stmt->execute($params);
    $results = $stmt->fetchAll(PDO::FETCH_ASSOC);
    
    // Дополнительная фильтрация на уровне PHP
    $filteredResults = array_filter($results, function($row) {
        return $row['average_salary'] > 45000 && $row['employee_count'] < 10;
    });
    
} catch(PDOException $e) {
    error_log("Database error: " . $e->getMessage());
}
?>

4. Оптимизация производительности

Фильтрация агрегированных данных требует внимания к производительности:

• Индексация: Индексы на полях в WHERE и GROUP BY значительно ускоряют выполнение
• Предварительная фильтрация: Всегда используйте WHERE для фильтрации, которую можно выполнить до агрегации
• Ограничение выборки: Применяйте LIMIT к уже отфильтрованным результатам

5. Расширенные сценарии использования

Динамическая фильтрация в веб-приложениях:

class ReportFilter {
    private $filters = [];
    
    public function addHavingCondition($condition, $params = []) {
        $this->filters['having'][] = ['condition' => $condition, 'params' => $params];
    }
    
    public function buildQuery($baseQuery) {
        $sql = $baseQuery;
        
        if (!empty($this->filters['having'])) {
            $havingConditions = [];
            $allParams = [];
            
            foreach ($this->filters['having'] as $filter) {
                $havingConditions[] = $filter['condition'];
                $allParams = array_merge($allParams, $filter['params']);
            }
            
            $sql .= " HAVING " . implode(" AND ", $havingConditions);
        }
        
        return ['sql' => $sql, 'params' => $allParams];
    }
}

// Использование
$filter = new ReportFilter();
$filter->addHavingCondition('total_sales > :min_sales', [':min_sales' => 10000]);
$filter->addHavingCondition('customer_count >= :min_customers', [':min_customers' => 5]);

$queryData = $filter->buildQuery(
    "SELECT region, SUM(amount) as total_sales, COUNT(DISTINCT customer_id) as customer_count 
     FROM orders 
     WHERE order_date >= :start_date 
     GROUP BY region"
);

6. Обработка NULL значений в агрегатных данных

Важно учитывать поведение агрегатных функций с NULL значениями:

-- COUNT(column) игнорирует NULL, COUNT(*) - нет
SELECT 
    department_id,
    COUNT(supervisor_id) as employees_with_supervisor,  -- Игнорирует NULL
    COUNT(*) as total_employees  -- Включает все строки
FROM employees
GROUP BY department_id
HAVING COUNT(supervisor_id) < COUNT(*);  -- Найти отделы с сотрудниками без руководителя

Заключение

Фильтрация агрегированных данных — мощный инструмент, который при правильном использовании позволяет:

• Повысить производительность запросов за счет предварительной фильтрации в WHERE
• Создавать сложные аналитические отчеты с помощью HAVING
• Гибко управлять бизнес-логикой на уровне агрегированных показателей
• Оптимизировать обработку данных как на уровне БД, так и в приложении

Ключевой принцип: WHERE фильтрует исходные данные до агрегации, HAVING фильтрует результаты после агрегации. Понимание этой разницы и умение комбинировать оба подхода — основа эффективной работы с агрегированными данными в PHP-приложениях.