Расскажи какого рода задачи ты хочешь решать

Расскажи какого рода задачи ты хочешь решать

Введение

Видя эволюцию своей карьеры, есть 3 типа задач, которые вдохновляют меня больше всего.

Тип 1: Высоконагруженные системы (High-load systems)

Что привлекает

Работать с петабайтами данных, где каждая миллисекунда имеет значение.

Примеры задач

Задача: Обработать 1 млрд событий в день
Вызов: Как спроектировать pipeline, чтобы укладывался в SLA?

Моё решение:
- Использовать Kafka партиции для параллелизма
- Spark batch jobs вместо single-threaded Python
- ClickHouse вместо PostgreSQL (columnar лучше для аналитики)
- Результат: обработка за 30 минут вместо 2 часов

Почему это интересно:

• Нужно глубокое понимание архитектуры
• Малые оптимизации дают большой эффект
• Есть ясные метрики успеха (время выполнения, CPU, memory)

Тип 2: Data Quality & Governance

Что привлекает

Обеспечивать, чтобы данные были доверенными источником истины.

Примеры задач

Задача: 200 аналитиков используют грязные данные
Вызов: Как обеспечить качество на всех этапах?

Моё решение:
- Реализовать Great Expectations checks
- dbt tests для трансформаций
- Lineage tracking (кто создал, кто изменил)
- Результат: 99.9% data quality score

Почему это интересно:

• Предотвращаю ошибки до того, как они попадут в отчёты
• Помогаю компании доверять своим данным
• Работаю на грани инженерии и бизнеса

Тип 3: Mentoring и архитектурные решения

Что привлекает

Помогать команде расти и принимать стратегические решения.

Примеры задач

Задача: Team из 3 junior engineers растёт до 10
Вызов: Как масштабировать процессы и знания?

Моё решение:
- Code review с подробными комментариями
- Пары для junior с senior (pair programming)
- Документирование best practices
- Результат: 3 junior выросли до mid-level за 1.5 года

Задача: Выбрать между Spark и Flink
Вызов: Какой стек выбрать для real-time?

Мой анализ:
- Spark: зрелая экосистема, но микробатчинг
- Flink: истинный streaming, но меньше сообщество
- Рекомендация: Spark для нас (наша нагрузка ≤ 1 млн events/sec)

Почему это интересно:

• Видишь долгосрочный импакт решений
• Помогаешь людям развиваться
• Строишь культуру инженерии

Типы задач, которые я НЕ хочу решать

1. Монотонные скрипты (copy-paste SQL daily)
   → Нужна автоматизация, не ручная работа

2. Поддержка legacy систем без улучшений
   → Хочу расти, а не стаять на месте

3. Чистая администрация (настройка serverов)
   → Вместо этого лучше cloud (AWS, GCP)

4. Политические конфликты (на уровне вендоров)
   → Лучше technical decisions, не emotional

Что мне нужно в компании для решения интересных задач

1. Масштаб данных (> 100GB)

   • Иначе нет вызовов, всё просто

2. Инвестиция в инфру

   • Компания готова к миграции на modern stack
   • Не пытается работать с 10-летней архитектурой

3. Team с Senior engineers

   • Где можно учиться
   • Где есть дискуссии о архитектуре

4. Автономия в решениях

   • Не "делай как сказал", а "предложи решение"

Итог

Я хочу решать задачи, которые требуют глубокого инженерного мышления и дают видимый бизнес-результат.