Старший инженер данных - Data Engineer (Middle)

«М.ТЕХ» - АККРЕДИТОВАННАЯ ИТ-КОМПАНИЯ В ГРУППЕ «М.ВИДЕО-ЭЛЬДОРАДО» разрабатывает более 100 инновационных ИТ-продуктов на основе современной микросервисной и облачной инфраструктуры, больших данных, биометрии, ИИ и машинного обучения для улучшения качества жизни десятков тысяч сотрудников и миллионов покупателей по всей России.

МЫ В ПОИСКЕ СТАРШЕГО ИНЖЕНЕРА ДАННЫХ

В молодую и амбициозную платформенную команду требуется старший DE, разработчик потоков данных. Разработка и поддержка инфраструктуры обработки данных: миграция с текущего стека (Greenplum + ClickHouse) на современный (Trino + Iceberg), оптимизация ETL процессов, обеспечение надёжности и производительности pipeline.

СТЕК: DataLakeHouse на базе Trino+Iceberg, Spark, SQL, Python.

ТЕБЕ ПРЕДСТОИТ:

• Поддерживать и оптимизировать текущие ETLпроцессы на базе Greenplum и ClickHouse.

• Проектировать и реализовывать миграцию данных и запросов с Greenplum на Trino, с ClickHouse — на Iceberg.

• Разрабатывать и поддерживать пайплайны обработки данных (Airflow).

• Обеспечивать качество данных: валидация, мониторинг, логирование.

• Участвовать в проектировании Data Lake/Data Warehouse на основе Iceberg.

• Автоматизировать рутинные операции (мониторинг, бэкапы, очистка).

ЧТО МЫ ОЖИДАЕМ ОТ КАНДИДАТА:

• Опыт работы Data Engineer от 2 лет;

• SQL продвинутый уровень: сложные запросы, оптимизация, работа с партициями, индексами;

• Spark - опыт работы;

• Python — уверенное владение (обработка данных, скрипты, API);

• Trino / Iceberg / ClickHouse / Greenplum;

• Airflow — разработка DAG, настройка исполнителей, мониторинг;

• Git и процессы разработки (PR, ревью, ветвление).

ЧТО ТЫ ПОЛУЧИШЬ:

• Продукты, признанные на рынке (несколько премий за Лучший Интранет, хит-парад премий за лучшее ИТ-решение в ритейле) и имеющие амбициозные планы на развитие;
• Конструктивный диалог и возможность внедрять свои идеи, если они способствуют достижению общего результата;
• Команду увлеченных профессионалов, которая открыта к поиску нового;
• Конкурентную заработную плату, гибкое отношение к рабочему месту (посещение офиса в Москве на гибриде в Сколково, БЦ Орбион, но ты можешь работать удаленно);
• ДМС со стоматологией.