Какие технологии хочешь изучить?

Технологии, которые я хочу изучить и развивать

Даже с 10+ годами опыта, я понимаю, что ML/AI постоянно эволюционирует.

1. Large Language Models (LLM) и их применение

LLM революционизировали NLP и становятся центром ML экосистемы. Хочу углубить:

• Fine-tuning LLM на кастомных данных (LoRA, QLoRA)
• RAG системы для работы с большими базами знаний
• Prompt engineering — новый скилл, требующий практики
• Агенты — LLM, которые принимают решения и выполняют действия

2. Multimodal models

Модели, которые работают с текстом, изображениями и видео одновременно. Хочу изучить:

• Vision Transformers (ViT) — замена CNN
• CLIP, DALL-E, GPT-4 Vision — multimodal архитектуры
• Video understanding — ActionClip, TimeSformer
• Multimodal fusion — объединение информации из разных модальностей

3. Graph Neural Networks (GNN)

Идеальны для данных со связями (соцсети, знания, молекулы). Планирую:

• GCN, GraphSAGE — основные архитектуры
• Knowledge graphs — представление знаний
• Recommendation systems на графах
• Molecular generation — GNN для синтеза новых молекул

4. Causal Inference

Не корреляция, а причинно-следственные связи — это реально работает в бизнесе. Хочу углубить:

• Causal trees, Causal forests — оценка treatment эффекта
• Backdoor adjustment, instrument variables
• Doubly robust estimation — стабильное оценивание
• A/B тестирование с causal inference

5. Reinforcement Learning (RL)

RL открывает дверь к автономным системам. Интересуют:

• Deep Q-Learning (DQN) — классический метод
• Policy gradient методы (PPO, A3C) — более стабильные
• Actor-Critic — комбинация Q-learning и policy gradients
• Multi-agent RL — координация нескольких агентов

6. Federated Learning

Обучение моделей на распределённых данных без централизации. Планирую изучить:

• FedAvg, FedProx — основные алгоритмы
• Privacy-preserving ML — differential privacy
• Communication efficiency — оптимизация сетевых затрат
• Heterogeneous data — работа с разнородными данными

7. MLOps и Model Serving на scale

ML в production — это отдельный мир. Хочу углубить:

• Ray — распределённое вычисление и serving
• KServe, BentoML — production model serving
• Feature stores (Feast, Tecton) — управление фичами
• Monitoring и drift detection — proactive maintenance
• Kubernetes — масштабирование

8. Quantization и Model Compression

Сделать модели меньше, быстрее, дешевле. Хочу изучить:

• INT8, FP16 quantization — различные уровни
• Knowledge distillation — сжатие через малую модель
• Pruning — удаление non-critical весов
• MobileNet, SqueezeNet — efficient архитектуры

9. Explainability и Interpretability (более глубоко)

Чёрные ящики неприемлемы в регулируемых индустриях. Планирую:

• LIME, SHAP — более глубокое понимание
• Counterfactual explanations — «что если» сценарии
• Saliency maps — для CV моделей
• Model cards и ответственное AI

10. Time Series Forecasting — advanced

80% реальных данных — это временные ряды. Интересуют:

• Temporal convolutional networks (TCN)
• Transformer архитектуры для временных рядов
• Multi-step forecasting с external features
• Anomaly detection в временных рядах

Резюме

Эволюция ML идёт в сторону:

1. LLM-centric подхода — LLM становятся базовым компонентом
2. Multimodal систем — работа с разными типами данных
3. Efficiency — сжатие моделей, быстрая inference
4. Causal understanding — от корреляции к причине
5. Responsibility — объяснимость, fairness, privacy

Я активно экспериментирую с новыми подходами. Каждый месяц выделяю время на research, читаю arXiv статьи, пробую новые библиотеки. Главное — применять эти знания к реальным задачам, где они приносят ценность.