Инженер данных в Едадил

Яндекс Плюс AdTech — новое подразделение бизнес-группы Персональных сервисов. Мы создаём геймифицированные B2C-решения, разрабатываем рекламные форматы и интеграции для B2B-партнёров, а также управляем масштабной программой лояльности с баллами Плюса.

В состав подразделения также входит Едадил — сервис Яндекса, который помогает ориентироваться в сфере умных покупок, развлечений и экономить на повседневных тратах. Чтобы миллионы пользователей могли решать свои задачи в сервисе, мы обрабатываем большой поток данных из разных источников. Эти данные лежат в основе аналитики, продуктовых решений и ежедневной работы внутренних команд. Задача DWH-команды — обеспечить стабильность процессов и надёжность данных для развития сервиса.

Обязанности:

• Строить и оптимизировать пайплайны обработки данных
  Вы будете развивать набор взаимосвязанных ETL-процессов и участвовать в работе на всех стадиях обработки данных, начиная с загрузки из источников и заканчивая подготовкой витрин и конечных выгрузок для внутренних сервисов. Важно проектировать эти процессы с продуманной архитектурой, где производительность и устойчивость — базовые требования.
• Обеспечивать надёжность и качество дата-процессов
  Вам предстоит настраивать мониторинг, проверки качества и алертинг, контролировать задержки и полноту поставки данных, оперативно разбирать инциденты и устранять их причины, а не только последствия.
• Развивать аналитический слой данных: витрины, дашборды, метрики
  Надо будет создавать и развивать витрины и метрики для продуктовых задач. Мы работаем в связке с аналитиками, уточняем требования, согласуем логику расчётов и проверяем корректность результатов. Важно разбираться в предметной области и понимать смысл данных, а при проблемах с событиями и логированием — взаимодействовать с командами разработки.
• Развивать внутренние дата-инструменты
  У нас есть внутренний набор библиотек для работы с данными и оркестрации регулярных запусков дата-процессов. Вы будете улучшать существующие библиотеки и создавать новые утилиты, которые позволят упростить и ускорить работу нашей команды.

Мы ждем, что вы:

• Отлично знаете Python и умеете разрабатывать чистый и эффективный код
• Отлично владеете SQL
• Знакомы с парадигмой MapReduce

Будет плюсом, если вы:

• Создавали сложные высоконагруженные ETL- и ELT-процессы
• Работали с инструментами оркестрации
• Участвовали в проектировании хранилищ данных