Для чего нужно виртуальное окружение?

Для чего нужно виртуальное окружение

Виртуальное окружение (virtual environment) — это изолированная копия интерпретатора Python с собственным набором установленных пакетов. Это один из самых важных инструментов в Python разработке, особенно для Data Engineer'ов.

Основная проблема без виртуального окружения

Когда вы устанавливаете пакеты Python в систему глобально, все проекты используют одни и те же версии зависимостей. Это приводит к конфликтам версий:

• Проект A требует pandas==1.0.0
• Проект B требует pandas==2.0.0
• Вы не можете работать с обоими одновременно

Также глобальная установка загрязняет системный Python и может сломать системные скрипты, которые зависят от определенных версий.

Что делает виртуальное окружение

Виртуальное окружение создает изолированную директорию с:

• Отдельной копией Python интерпретатора
• Собственным pip для установки пакетов
• Директорией site-packages только для этого проекта
• Независимыми версиями зависимостей

Основные преимущества

1. Изоляция зависимостей

Каждый проект имеет свой набор пакетов и версий. Можно одновременно разрабатывать проекты с разными требованиями.

2. Воспроизводимость

Все разработчики и production сервер используют одинаковые версии пакетов. Нет проблемы "работает на моем компьютере".

3. Чистота системы

Системный Python не загрязняется проектными зависимостями. Удаление проекта полностью удаляет все его зависимости.

4. Безопасность

Даже если пакет из проекта имеет уязвимость, она влияет только на этот проект.

Создание виртуального окружения

# Создание виртуального окружения в папке проекта
python -m venv venv

# Или с более новыми версиями Python
python3 -m venv venv

Это создает директорию venv со всеми необходимыми компонентами.

Активация виртуального окружения

На Linux/macOS:

source venv/bin/activate

На Windows:

venv\Scripts\activate.bat

После активации приглашение командной строки изменится и покажет имя окружения.

Управление зависимостями

Основной инструмент для управления зависимостями — pip. После активации окружения:

# Установка пакета
pip install pandas numpy scikit-learn

# Установка конкретной версии
pip install pandas==1.5.0

# Просмотр установленных пакетов
pip list

# Создание файла зависимостей
pip freeze > requirements.txt

# Установка из файла (для другого разработчика или production)
pip install -r requirements.txt

Файл requirements.txt

Этот файл хранит список всех зависимостей с точными версиями:

pandas==1.5.3
numpy==1.23.5
scikit-learn==1.2.1
matplotlib==3.7.0
jupyter==1.0.0

Он должен быть в версионной системе (git) и использоваться при установке окружения на другой машине.

Альтернативные инструменты

Poetry

Современный инструмент с расширенным функционалом:

poetry new myproject
cd myproject
poetry add pandas numpy

Conda

Мощный менеджер окружений, особенно для Data Science:

conda create -n myenv python=3.10
conda activate myenv
conda install pandas numpy scikit-learn

Типичный workflow для Data Engineer

# 1. Создание нового проекта
mkdir my_data_project
cd my_data_project
git init

# 2. Создание виртуального окружения
python -m venv venv
source venv/bin/activate  # Linux/macOS

# 3. Установка необходимых пакетов
pip install pandas numpy pyspark sqlalchemy psycopg2

# 4. Сохранение зависимостей
pip freeze > requirements.txt

# 5. Добавление в git
git add requirements.txt
git commit -m "Add dependencies"

# 6. Для другого разработчика
git clone <repo>
cd <repo>
python -m venv venv
source venv/bin/activate
pip install -r requirements.txt  # Все зависимости установлены!

Деактивация окружения

deactivate

После этого вы вернетесь к системному Python.

Лучшие практики

• Всегда используйте виртуальное окружение для каждого проекта
• Не коммитьте папку venv в git (добавьте в .gitignore)
• Обновляйте requirements.txt при добавлении новых зависимостей
• Используйте конкретные версии для production зависимостей
• Документируйте требования Python (python>=3.9)
• Удаляйте неиспользуемые пакеты для чистоты

Виртуальное окружение — это не опция, а стандарт профессиональной Python разработки. Его использование критично для воспроизводимости проектов в Data Engineering.