Data Engineer

Москва

Описание вакансии

Обязанности

В команде разрабатывается ML-система, определяющая ситуации отсутствия на складе и аномалии в продажах, которая в режиме, близком к реальному времени, выявляет потенциальные проблемы с наличием товара и отправляет соответствующим сотрудникам магазинов для оперативной проверки и выкладки.

Мы строим сквозные пайплайны, которые собирают данные из разных источников (онлайн и оффлайн-продажи, ERP, внешние API), очищают, трансформируют и подготавливают их для моделей машинного обучения (бустинг и нейронные сети). От этого качества пайплайнов зависит точность прогноза и миллионы управленческих решений в закупках и логистике.

Тебе предстоит:

• Разрабатывать и оптимизировать Spark-пайплайны для масштабной обработки данных (более 200 миллионов строк в день).

• Настройка хранения и доступности данных в СХД.

• Автоматизировать интеграцию данных: продажи, акции, цены, остатки, погода, календари.

• Работать в связке с Data Science-командой, обеспечивая стабильный и качественный поток данных для моделей.

• Участвовать в развитии платформы прогнозирования будущего, делая ее более надежной, масштабируемой и удобной.

интернет

Наша стек

• PySpark{2,3} / Spark SQL

• Hadoop / Hive / Trino / S3 / clickhouse / postgres / greenplum

• Расход воздуха

• Python3

• Docker, YARN / k8s

• pytest

Мы предлагаем

Официальное оформление с белой ЗП, полугодовые премии по результатам работы;
Удобный офис с достойной парковкой на м. «Охотный ряд»
Гибкий график работы (с 09.08.10 утра) / График работы: 5/2, с 9:00 до 18:15 (в пятницу — до 17:00);
Возможность работать удаленно или в гибридном формате;
широкий пакет ДМС (включая выезд за границу и стоматологию), Здоровье жизни и здоровья;
Возможность обучения и увеличения стоимости компании: внешние тренинги и семинары по профессиональным тематикам, участие в различных конференциях стран, программы развития цифровых и управленческих навыков и многое другое;
Программы мотивации для спикеров и авторов: внутренняя школа Speak Up School, Write Up, ачивки и баллы за выступление, подготовка спикеров для центральных конференций стран, авторы сообщества на Хабре, возможность получить опыт с комьюнити внутри страны и внешних экспертов;
Обмен опытом через сообщества: 12 технических комьюнити от Java до Devops;
Яркая корпоративная жизнь с большим количеством мероприятий, конкурсов и возможностей для творческой реализации: регулярные митапы, демо-дни, открытые микрофоны, день ИТ-специалистов, программы волонтерства.