Middle Data Engineer в Локализацию (команда Рекомендаций)

Описание вакансии

Команда строит платформу данных для ML-специалистов и продуктовых аналитиков отдела рекомендательных систем. Закрывает полный цикл: от забора данных до развития хранилищ.

Ищем инженера, который будет строить платформу вместе с нами - не просто перекладывать данные между базами! Наш стек: Greenplum, Hadoop/HDFS, Iceberg, Trino, Airflow,Apache Kafka, Spark, ClickHouse.

Вам предстоит:

Помогать проектировать и строить хранилища данных на Iceberg (спроектировать и реализовать озёрное хранилище вокруг Apache Iceberg, используя Spark/Trino в качестве compute-движков, с расчётом на объёмы данных в сотни ТБ);
Заниматься настройкой процессов обеспечения качества данных (DQ) (внедрить и настроить DQ-процессы (валидация, мониторинг, метрики качества) на данных в хранилище);
Внедрять автоматическую генерацию и сопровождение метаданных/описаний данных (data discovery, data catalog, профилирование);
Проектировать и разворачивать feature store для подготовки и управления признаками на стороне платформы;
Участвовать в создании семантического слоя для унификации бизнес-логики и метрик поверх данных.

Формат работы — удаленный формат.

Вы нам подойдете, если:

Уверенно владеете Python в контексте DE (2+ года);
Имеете глубокие знания SQL (оконные функции, оптимизация запросов, explain-планы);
Имеете опыт работы с оркестраторами данных (у нас Airflow);
Имеете опыт с Hadoop (Spark / YARN / HDFS);
Имеете опыт с MPP-системами (Greenplum).