Data Engineer в AI VK

Мы развиваем технологии искусственного интеллекта для ключевых продуктов VK, создаём систему рекомендаций и поиска контента на наших платформах.

Задачи

• Построение новых и оптимизация существующих ETL- и ELT-процессов в одном из самых больших хранилищ данных в России
• Разработка витрин данных совместно с аналитиками, доставка их до production
• Разработка и внедрение CI/CD-пайплайнов
• Разработка новых и доработка существующих модулей аналитической платформы

Требования

• Уверенное владение SQL на уровне написания сложных запросов (аналитические функции, timeseries-аналитика)
• Уверенное владение Python (ООП, структуры данных, алгоритмы)
• Опыт работы с Airflow
• Умение и желание разбираться в сложных процессах преобразования данных
• Опыт работы с большими объёмами данных

Будет плюсом

• Опыт разработки на Scala
• Опыт работы с Apache Spark
• Опыт работы с YTSaurus
• Опыт работы с ClickHouse