Какой тип данных и dtype для gender?

Тип данных для поля gender (пол)

Основные варианты

Вариант 1: ENUM (рекомендуется для PostgreSQL)

Определение:

CREATE TYPE gender_type AS ENUM ('male', 'female', 'other', 'prefer_not_to_say');

CREATE TABLE users (
    id BIGINT PRIMARY KEY,
    name VARCHAR(255),
    gender gender_type,
    created_at TIMESTAMP WITH TIME ZONE
);

Преимущества:

• Валидация на уровне БД (невозможно вставить неправильное значение)
• Компактное хранение (внутри как целое число)
• Быстрые сравнения и фильтрация
• Явное перечисление допустимых значений
• Легко изменять список (ALTER TYPE)

Недостатки:

• Нужно создавать тип перед таблицей
• При миграции может быть сложнее
• Не все BI-инструменты хорошо работают с ENUM

Вариант 2: VARCHAR(50) с CHECK constraint

Определение:

CREATE TABLE users (
    id BIGINT PRIMARY KEY,
    name VARCHAR(255),
    gender VARCHAR(50) CHECK (gender IN ('male', 'female', 'other', 'prefer_not_to_say')),
    created_at TIMESTAMP WITH TIME ZONE
);

Преимущества:

• Более гибкий (легко расширять список)
• Портативен между БД
• Читаем в SELECT запросах
• Стандартный подход

Недостатки:

• Занимает больше места
• Медленнее индексирование
• Нет встроенной валидации типа

Вариант 3: SMALLINT с enum в приложении

Определение:

CREATE TABLE users (
    id BIGINT PRIMARY KEY,
    name VARCHAR(255),
    gender_id SMALLINT CHECK (gender_id IN (1, 2, 3, 4)),
    created_at TIMESTAMP WITH TIME ZONE
);

-- Справочник
CREATE TABLE genders (
    id SMALLINT PRIMARY KEY,
    name VARCHAR(50) UNIQUE,
    code VARCHAR(20)
);

INSERT INTO genders VALUES 
    (1, 'Male', 'M'),
    (2, 'Female', 'F'),
    (3, 'Other', 'O'),
    (4, 'Prefer not to say', 'PNTS');

Преимущества:

• Самое компактное (1-2 байта)
• Очень быстрое
• Легко JOIN со справочником
• Хороший вариант для больших таблиц

Недостатки:

• Нужна отдельная таблица справочника
• Требует JOIN для чтения значения
• Сложнее в использовании

Вариант 4: CHAR(1) (старомодно, не рекомендуется)

Определение:

CREATE TABLE users (
    id BIGINT PRIMARY KEY,
    gender CHAR(1) CHECK (gender IN ('M', 'F', 'O', 'P'))
);

Недостатки:

• Не очень читаем
• Легко запутаться в кодах
• Не валидируется типом БД

Python/Pandas dtype

Вариант 1: String (рекомендуется для Pandas)

import pandas as pd

df = pd.read_csv('users.csv', dtype={'gender': 'string'})
# или
df['gender'] = df['gender'].astype('string')

print(df.dtypes)
# gender    string

Преимущества:

• Стандартный для текстовых данных
• Хороший для анализа
• Поддерживает None/NaN

Вариант 2: Category (экономит память)

import pandas as pd

df = pd.read_csv('users.csv')
df['gender'] = df['gender'].astype(
    pd.CategoricalDtype(
        categories=['male', 'female', 'other', 'prefer_not_to_say'],
        ordered=False
    )
)

# Или короче:
df['gender'] = df['gender'].astype('category')

# Проверка
print(df['gender'].cat.categories)
# Index(['female', 'male', 'other', 'prefer_not_to_say'], dtype='object')

Когда использовать Category:

• Много строк (млн+), категорий мало (10-100)
• Нужно сэкономить память
• Часто группируем по gender
• Есть естественные категории

# Пример экономии памяти
import pandas as pd
import numpy as np

# Создаём датасет
df = pd.DataFrame({
    'user_id': range(1_000_000),
    'gender': np.random.choice(['male', 'female', 'other'], size=1_000_000)
})

# Память с string
df_string = df.copy()
df_string['gender'] = df_string['gender'].astype('string')
print(f"String dtype: {df_string['gender'].memory_usage(deep=True) / 1024 / 1024:.2f} MB")
# String dtype: 7.63 MB

# Память с category
df_category = df.copy()
df_category['gender'] = df_category['gender'].astype('category')
print(f"Category dtype: {df_category['gender'].memory_usage(deep=True) / 1024 / 1024:.2f} MB")
# Category dtype: 0.95 MB

# Экономия: 7.63 / 0.95 = 8x меньше памяти!

Вариант 3: Object (по умолчанию, не рекомендуется)

# По умолчанию pandas читает как object
df = pd.read_csv('users.csv')
print(df['gender'].dtype)
# object

# Проблемы:
# - занимает много памяти
# - медленные операции
# - может содержать разные типы (строки, числа, None)

Рекомендация для разных сценариев

Сценарий 1: PostgreSQL + Tableau/Looker

-- Лучший выбор: ENUM
CREATE TYPE gender_type AS ENUM ('M', 'F', 'Other', 'Prefer not to say');

CREATE TABLE users (
    id BIGINT PRIMARY KEY,
    gender gender_type NOT NULL DEFAULT 'Prefer not to say',
    created_at TIMESTAMP WITH TIME ZONE
);

SQL запрос:

SELECT 
    gender,
    COUNT(*) as user_count,
    ROUND(100.0 * COUNT(*) / SUM(COUNT(*)) OVER (), 2) as percent
FROM users
WHERE gender IS NOT NULL
GROUP BY gender
ORDER BY user_count DESC;

Сценарий 2: BigQuery + Analytics

-- BigQuery не имеет ENUM, используем STRING с constraint
CREATE TABLE `project.dataset.users` (
    user_id INT64,
    gender STRING,
    created_at TIMESTAMP
);

-- При INSERT используем ASSERT для валидации
CREATE OR REPLACE PROCEDURE `project.dataset.validate_gender`()
BEGIN
  ASSERT (
    SELECT COUNT(*)
    FROM `project.dataset.users`
    WHERE gender NOT IN ('Male', 'Female', 'Other', 'Prefer not to say', NULL)
  ) = 0 AS "Invalid gender value";
END;

Сценарий 3: Python + Pandas анализ

import pandas as pd
from typing import Literal

# Type hint для функции
def analyze_gender(df: pd.DataFrame) -> pd.DataFrame:
    # Используем Category для экономии памяти
    df['gender'] = df['gender'].astype(
        pd.CategoricalDtype(
            categories=['Male', 'Female', 'Other', 'Prefer not to say'],
            ordered=False
        )
    )
    
    # Анализ
    gender_stats = df['gender'].value_counts()
    return gender_stats

# Использование
df = pd.read_sql("SELECT * FROM users", conn)
result = analyze_gender(df)
print(result)

NULL / Missing Values

Важно: как обрабатывать пустые значения?

-- SQL: НЕ разрешать NULL
CREATE TABLE users (
    gender gender_type NOT NULL DEFAULT 'prefer_not_to_say'
);

-- ИЛИ разрешить NULL для "неизвестно"
CREATE TABLE users (
    gender gender_type
);

# Python: заполнить пропуски
df['gender'] = df['gender'].fillna('prefer_not_to_say')

# ИЛИ явно обозначить пропуски
df['gender'] = df['gender'].fillna('unknown')

# Проверка пропусков
print(df['gender'].isna().sum())

Итоговая рекомендация

Мой выбор для production:

• PostgreSQL: ENUM для new table, VARCHAR для legacy
• Python: Category при size > 100K rows, иначе string
• NULL обработка: NOT NULL с DEFAULT 'prefer_not_to_say' или отдельное значение 'unknown'