Python Developer/ DevOps

Компания "Retail Expert" - специализируется на аналитике продаж рынка ритейла.

Работа с данными - основной бизнес компании. В компании внедряются ML алгоритмы по автоматическому сегментированию продукции, работает отдел BI отчетности, есть собственная разработка ПО.

У нас высоконагруженная аналитическая система, объем данных в десятки терабайт исходных данных, справочники порядка 30 млн строк, сотни OLAP кубов и Power BI отчетов.

Наши клиенты - самые известные FMCG производители. В 80% случаев, покупая в магазине продукты - вы возьмете товар нашего клиента.

Мы в поиске опытного Python Developer/ DevOps, готового присоединиться к нашей команде для повышения эффективности и результативности работы.

Обязанности:

• Разработка и поддержка бэкенд-сервисов на Python с использованием фреймворков (FastAPI).
• Развёртывание и оркестрация сервисов в Docker-контейнерах и Kubernetes (K8s), включая базы данных (ClickHouse, PostgreSQL, MSSQL) и инструменты (Airflow для оркестрации пайплайнов, PySpark и Dask для обработки больших данных).
• Настройка и интеграция систем обмена данными: Kafka или RabbitMQ для очередей сообщений, а также интеграция с Hadoop для распределённой обработки данных.
• Поддержка CI/CD-пайплайнов (например, с GitLab CI или Jenkins) для автоматизации сборки, тестирования и деплоя в локальных средах.
• Управление корпоративным локальным репозиторием на Gitea: настройка, миграция репозиториев, интеграция с CI/CD.
• Написание скриптов на Python для мониторинга нагрузки систем (использование Prometheus, Grafana или аналогичных для сбора метрик CPU, памяти, сетевой нагрузки), включая мониторинг виртуализированных сред.
• Проектирование и поддержка микросервисной архитектуры: разбиение монолита на сервисы, обеспечение их взаимодействия, масштабирования и отказоустойчивости в локальной инфраструктуре (Linux/Windows).
• Работа с виртуализацией: настройка и управление виртуальными машинами в VMware, интеграция с Hadoop-кластерами для big data задач (например, HDFS, YARN).
• Администрирование серверов: поддержка Linux (bash-скрипты, системное администрирование) и Windows Server (управление ролями).
• Отладка, оптимизация инфраструктуры, включая администрирование Windows Server и Active Directory (AD) для аутентификации пользователей и сервисов.
• Развёртывание локальных S3-хранилищ (например, MinIO) и работа с Parquet-файлами для хранения и обработки больших данных.
  

Квалификационные требования:

• Опыт работы Python-разработчиком от 3 лет: уверенное знание языка, библиотек (Pandas, NumPy для данных) и фреймворков (FastAPI).
• DevOps-навыки: опыт с Docker (создание Dockerfile, Compose), Kubernetes (manifests, Helm, scaling), CI/CD (GitHub Actions, GitLab CI).
• Опыт с Gitea или аналогичными (GitLab) для репозиториев: настройка hooks, интеграция.
• Понимание микросервисов: способность проектировать, разворачивать и интегрировать их.
• Знание Linux (bash-скрипты, системное администрирование, настройка серверов, мониторинг) и администрирование Windows Server (управление ролями).
• Опыт с виртуализацией: VMware (vSphere, ESXi — создание VM, кластеры, networking).
• Работа с Active Directory (AD): управление пользователями, группами, политиками (GPO), интеграция с сервисами для аутентификации.

Технологический стек:

• Airflow (DAGs),
• PySpark и Dask (для масштабирования Python-инструментов и обработки данных),
• Kafka/RabbitMQ (производители/потребители),
• Базы данных (PostgreSQL, MSSQL, ClickHouse),
• Hadoop/S3 для распределённого хранения и обработки данных (HDFS, MapReduce, интеграция с PySpark/Dask). Опыт с big data в локальных средах: обработка потоков данных в реальном времени (Kafka + PySpark/Dask + Hadoop/S3 с Parquet).

Условия:

• Оклад по результатам собеседования.

• Гибкий график работы, офис на м. Бутырская/гибрид.