Разработчик (Data Engineer)

ТехВилл – IT-компания и партнёр ВкусВилл по развитию цифровых решений.

Мы отвечаем за разработку мобильных и web- приложений, автоматизацию бизнес-процессов, искусственный интеллект, devops, инфобез ВкусВилла.

Нашими решениями пользуется свыше 1 000 000 клиентов и сотрудников ВкусВилла.

• Стек: Python, Apache Airflow, Docker, SQL (DuckDB), PyArrow, MinIO(S3), Apache Superset.
• Поддержка и развитие инфраструктуры обработки данных с роботов.
• Написание DAG'ов.
• Оптимизация SQL-запросов к Data Lake.
• Создание дашбордов в Superset.

• Python (продвинутый уровень).

• Опыт написания production-кода, понимание особенностей работы с большими данными (эффективность операций, например, сложность append и альтернативы).

• Уверенная работа с библиотеками: pyarrow (создание/чтение таблиц, партицирование), duckdb (встраиваемый SQL-движок).

• Опыт использования многопроцессности (multiprocessing, concurrent.futures) для параллельной обработки данных.

• SQL (средний уровень).

• Умение писать аналитические запросы (агрегации, оконные функции).

• Понимание разницы между DuckDB и Pandas для аналитических задач.

• Apache Airflow.

• Понимание архитектуры Airflow: DAG, операторы (Python, Bash, Docker), XCom.

• Практический опыт написания DAG'ов для ETL-процессов.

• Понимание, зачем используется Airflow.

• Docker и контейнеризация.

• Уверенное владение Docker CLI: inspect, system, ps, rm, exec и другими командами для диагностики.

• Знание docker compose: чтение и написание конфигураций, добавление новых сервисов, работа с сетями и томами.

• Навыки отладки внутри контейнеров (просмотр логов, проверка состояния файловой системы, запуск вспомогательных команд).

• Хранение данных и форматы.

• Опыт работы с объектными хранилищами, совместимыми с S3 (MinIO или аналоги).

• Понимание, зачем используется Parquet (колоночное хранение, сжатие, эффективность запросов) и его преимущества перед построчными форматами.

• Визуализация данных (Apache Superset).

• Готовность заниматься рутинной работой по созданию и поддержке дашбордов.

• Понимание структуры Superset: виртуальные датасеты, SQL Lab 7

• Soft Skills.

• Высокая обучаемость и способность быстро погружаться в существующую архитектуру (bus factor = 1).

• Системное мышление: понимание полного цикла работы данных от загрузки до визуализации (Jupyter → Airflow → duckdb → lakeFS → MinIO → duckdb → Jupyter/Superset).

• Ответственность и готовность оперативно решать проблемы поддержки (что-то сломалось — надо чинить).

Преимущества (будет плюсом):

• Знание ROS 2 (Robot Operating System) и формата .bag: понимание структуры топиков, сообщений, типов данных сенсоров (лидары, камеры, одометрия).
• Опыт работы с lakeFS: понимание концепции версионирования данных (ветвление, коммиты) и того, как lakeFS интегрируется с MinIO.
• DevOps-скиллы: базовое администрирование Linux (работа с дисками, памятью, процессами); опыт работы с системами логирования и мониторинга.

• Работа в аккредитованной IT-компании.
• Гибрид; На ключевых этапах проекта требуется работа на месте. Ожидается готовность к периодическим визитам.
• Официальное оформление с первого дня работы и поддержка куратора во время адаптации.
• Прозрачная система развития: понятные грейды, внутреннее и внешнее обучение, индивидуальные планы развития и матрицы компетенций.
• Экологичная культура и адекватные руководители.
• Компенсация затрат на медицинские услуги, ментальное благополучие, спорт, тимбилдинги и использование AI-помощников.
• Бонус 15% с покупок во ВкусВилл.
• Социальная ответственность: поощряем донорство, оказываем материальную помощь при рождении ребёнка.
• Партнерская программа «Зелёный свет»: за рекомендации знакомых специалистов можно получить до 50 000 руб.