Какие знаешь языки программирования?

Языки программирования для Data Scientist

Как специалист с 10+ лет опыта в ML, я работал с несколькими языками, но есть явные лидеры в индустрии:

Python — король Data Science

Почему Python доминирует:

• Экосистема: NumPy, Pandas, scikit-learn, TensorFlow, PyTorch
• Быстрая прототипизация и экспериментирование
• Огромное сообщество и примеры кода
• Идеален для EDA (exploratory data analysis)

import pandas as pd
import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier

# Типичный ML pipeline
df = pd.read_csv("data.csv")
X = df.drop("target", axis=1)
y = df["target"]

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)
model = RandomForestClassifier(n_estimators=100)
model.fit(X_train, y_train)
score = model.score(X_test, y_test)

Я пишу на Python 90% своего рабочего времени.

SQL — обязательный скилл

Не язык программирования в классическом смысле, но критически важен для DS:

• Выгрузка данных из баз (PostgreSQL, MySQL, BigQuery)
• Обработка больших объёмов (когда Pandas не поднимает)
• Feature engineering на уровне БД
• Window functions для временных рядов

SELECT 
    user_id,
    DATE_TRUNC("day", created_at) as day,
    COUNT(*) as daily_active_users,
    SUM(purchase_amount) as daily_revenue,
    LAG(SUM(purchase_amount)) OVER (
        PARTITION BY user_id 
        ORDER BY DATE_TRUNC("day", created_at)
    ) as prev_day_revenue
FROM events
GROUP BY user_id, DATE_TRUNC("day", created_at)

R — для статистики и академии

• tidyverse для обработки данных (альтернатива Pandas)
• ggplot2 для визуализации (часто лучше matplotlib)
• shiny для интерактивных приложений

Используется в academia и традиционных аналитических отделах.

Java/Scala — для Big Data

Spark ML в production:

• Распределённое машинное обучение
• Обработка петабайтов данных
• Интеграция с Hadoop экосистемой

val df = spark.read.parquet("large_data.parquet")
val model = new LogisticRegression()
  .setMaxIter(100)
  .setRegParam(0.01)
  .fit(df)

C++/Rust — для производительности

Когда Python недостаточно быстро:

• Критичные по скорости функции
• Обработка streaming данных
• Встраивание в production системы

Я писал вспомогательные функции на C++ для ускорения ML пайплайнов.

JavaScript/TypeScript — для фронтенда

Для ML inference в браузере:

• TensorFlow.js
• ONNX.js
• Интеграция моделей в веб-приложения

import * as tf from "@tensorflow/tfjs";

const model = await tf.loadLayersModel("model.json");
const prediction = model.predict(tf.tensor2d(inputData, [1, features]));

Julia — восходящая звезда

Специально разработана для научных вычислений:

• Скорость близка к C
• Синтаксис как Python
• Отлично для численных методов и симуляций

Практика в моей карьере

1. Python — основной инструмент (90% времени)
2. SQL — ежедневно (выгрузка данных, feature engineering)
3. Bash — автоматизация pipeline"ов
4. Java — когда работал с Spark на больших данных
5. R — для статистического анализа и визуализации

Вывод: Python + SQL — это обязательный стек для любого DS. Остальные языки зависят от задачи и контекста организации.