Data Engineer (Портал)

Объединённая компания Wildberries и Russ (ООО «РВБ») — это международная технологическая компания, основанная в России. Она образована в результате слияния двух лидеров рынка — IT-компании Wildberries и оператора наружной рекламы Russ — с целью совместного создания новейшей цифровой торговой платформы и предоставления бесшовных инструментов для развития малого и среднего бизнеса на территории стран присутствия.

Портал продавцов — это юнит со всеми продуктами WB для продавцов. Здесь личный кабинет, загрузка и хранение контента, поиск и каталог, биллинг, оформление товара и доставка, аналитика и многое другое. Это 1/4 всего бизнеса WB. В сервисе более 1 млн. поставщиков, ежедневный оборот - 5 млрд. рублей.

В направлении DE мы занимаемся построением озера данных, необходимого для принятия верных бизнес-решений. И в связи с активным ростом и расширением функционала, находимся в поиске Data Engineer.

Что нужно делать:

• Участвовать в разработке data-transfer инструмента, который позволит автоматизировать процесс перегрузки данных с различных источников;
• Формировать озера данных на HDFS;
• Дорабатывать существующие и писать новые Airflow операторы;
• Оптимизировать интеграции со стриминговыми источниками данных (Kafka);
• Формировать витрины для аналитики и поставлять их в ClickHouse;
• Вести процесс покрытия данных контролем качества (DQ).

Какой опыт и знания нужны:

• Уверенный опыт программирования на Python (не менее 2-х лет);
• Опыт с hadoop (spark/yarn/hdfs/hive), с apache Airflow / Dagster и со Spark (Pyspark);
• Опыт в оптимизации SQL запросов (индексы, партицирование, шардирование и тд);
• Опыт работы с MPP СУБД (ClickHouse/GreenPlum/Vertica).

Будет плюсом:

• Опыт работы в DBT;
• Опыт развертывания и ведения каталога данных (OpenMetaData);
• Понимание концепций моделирования хранилищ данных.

Условия:

• Официальное оформление в соответствии с ТК РФ;
• Офисный, гибридный или удаленный формат работы, территориально находимся рядом с ст. м. Полянка;
• Корпоративные скидки от наших партнеров;
• Бесплатное питание на собственной оборудованной кухне, а также вендинговые аппараты;

• Интересные и сложные проекты, уникальный опыт.