Data Engineer

Яндекс Доставка — это сервис для людей и бизнеса: предпринимателей, ритейлеров, маркетплейсов и даже заводов. Мы начинали с экспресс-доставки на последней миле, но за три года научились решать самые разные логистические задачи. Мы помогаем доставлять лёгкие и тяжёлые грузы и на соседнюю улицу, и в другие города. Поэтому у нас можно поработать с самыми разными аудиториями и продуктами.

Какие задачи вас ждут

Разработка и поддержка ETL-процессов
Вы будете проектировать и поддерживать ETL-пайплайны для обработки данных — от источников до дашбордов, работая в составе V-team своего домена данных.

Повышение качества и стабильности данных
Вам предстоит обеспечивать стабильность и производительность витрин и дашбордов, разрабатывать механизмы контроля качества данных и оптимизировать существующие процессы обработки.

Поддержка инфраструктуры данных
Вы будете поддерживать работу ключевых компонентов платформы (ClickHouse, Greenplum, YTsaurus, ETL-сервисы), взаимодействуя с инфраструктурными командами.

Техническая поддержка аналитиков
Вы станете основным контактным лицом для аналитиков по техническим вопросам работы с данными и инструментами платформы.

Мы ждем, что вы

• Отлично знаете Python
• Работаете с Greenplum, Vertica, ClickHouse или любыми другими MPP СУБД
• Работаете с большими объёмами данных в экосистемах Hadoop (HDFS, Spark, Hive), YTsaurus или аналогичных
• Понимаете принципы проектирования хранилищ данных, ETL-фреймворков, а также систем мониторинга состояния хранилища
• Умеете оптимизировать запросы и оценивать вычислительную нагрузку
  

  Будет плюсом, если вы

• Создавали сложные высоконагруженные ETL- и ELT-пайплайны (плюсом будет знание code-driven ETL Luigi, Airflow)
• Разрабатывали процессы обработки сложных событий (CEP) почти в реальном времени (Kafka Streams, Spark, Flink и пр.)
• Работали с инструментами стека Python для Data Science (Jupyter, pandas, SciPy, Matplotlib, Bokeh и пр.)
• Разрабатывали проверки качества данных, мониторинга стабильности и использования данных
• Понимаете ценность данных для принятия решений бизнесом
• Коммитите в публичные репозитории или пишете статьи с примерами работ