Старший инженер по данным (Senior Data Engineer)

Мы ищем Senior Data Engineer, который усилит нашу команду.

Задачи:

• Поддержка инфраструктуры DWH в рабочем состоянии;
• Развитие архитектуры системы;
• Развитие и рефакторинг ETL сервиса (Airflow / python);
• Написание тестов (pytest);
• Поддержка legacy пайплайнов ETL (logstash);
• Добавление/изменение поставок данных из Kafka и API сторонних сервисов;
• Создание и изменение DBT моделей агрегатов и вьюх;
• Участие в инициативах по снижению стоимости DWH (оптимизация хранения, compute, пайплайнов и моделей);
• Участие в ревью и командных встречах;
• Взаимодействие с другими командами разработки;
• Поддержание технической документации и Wiki в актуальном состоянии.

Мы ожидаем:

• 3+ года опыта работы Data Engineer;
• Знание Python 3.9+, asyncio, pytest;
• Опыт написания SQL запросов;
• Умение работать с системой контроля версий Git;
• Знание Docker, Gitlab CI, Unix cli;
• Знание и опыт работы с Kafka;
• Опыт работы с DBT и ClickHouse (или аналогичными OLAP);
• Знакомство с экосистемой Yandex.Cloud;
• Опыт оптимизации стоимости DWH: снижение объёма хранения и compute за счёт TTL/партиционирования, инкрементальных ETL, оптимизации SQL/OLAP-моделей;
• Умение измерять и объяснять эффект по деньгам/ресурсам.

Будет плюсом:

• Data lifecycle: hot/cold хранение, архивация, политики retention;
• Опыт миграции и упрощения legacy ETL в более дешёвый и управляемый контур;
• Практический опыт оптимизации ресурсов в Yandex.Cloud (диски, compute/managed-сервисы, сетевой трафик);
• DBT: инкрементальные модели, тесты на рост объёма, контроль «дорогих» агрегатов.

Условия:

• Работа в международной компании;
• Гибридный формат работы (офис/домашний офис);
• Современный офис;
• Корпоративное обучение - курсы и тренинги, встречи и конференции;
• Добровольное медицинское страхование после испытательного срока;
• Частичная компенсация расходов на посещение тренажерного зала;
• Корпоративные мероприятия и тимбилдинги.