Senior Data Engineer

Наш клиент — продуктовая IT-компания, которая занимается разработкой и поддержкой высоконагруженных проектов для крупных компаний, в том числе с мировой известностью. Основная часть продуктов представляет собой B2B-решения развлекательной, игровой и спортивной тематики. Сейчас команда находится в поисках Senior Data Engineer.

Обязанности:

• Поддержка и развитие хранилищ данных и ETL-процессов

• Работа с ClickHouse на продвинутом уровне: проектирование витрин, DDL, семейство MergeTree (в т.ч. ReplacingMergeTree), dictionaries, партиционирование, оптимизация тяжёлых запросов, историческая прогрузка

• CDC-процессы: построение и поддержка потоков из MySQL и MongoDB в ClickHouse. Перевод источников и словарей на CDC, валидация, переключение потребителей, разбор рассинхронизаций, работа с Kafka

• ETL и оркестрация: разработка и поддержка DAG в Airflow, выстраивание цикла dev → preprod → prod, использование Python для пайплайнов

• Data Quality: сверка источников с ClickHouse, поиск и устранение расхождений, обработка типов/NULL, настройка алертинга на доставку и качество данных, разбор багов до первопричины

• Поддержка инфраструктуры и инструментов для разработки и запуска ETL-процессов

• Мониторинг работоспособности инфраструктуры и сервисов, оптимизация производительности

• Анализ технических проблем и участие в их решении

• Написание сложных, оптимизированных SQL-запросов

• Работа с MongoDB: извлечение данных, нормализация вложенных структур, сверки с ClickHouse

• Работа в Git/GitLab: использование merge requests, активное участие в код-ревью

• Ведение документации в Confluence: поддержка в актуальном состоянии информации по витринам и пайплайнам

Требования:

• Опыт администрирования и построения ETL-процессов от 3 лет

• Отличные знания SQL, умение писать сложные и оптимизированные запросы

• Опыт работы с MySQL и ClickHouse

• Отличные знания и опыт работы с NoSQL-базами (MongoDB)

• Опыт проектирования и внедрения процессов Data Quality

• Опыт мониторинга ETL-процессов

• Опыт работы с Apache Airflow или его аналогами

• Опыт проектирования, внедрения и развития CDC-процессов

Будет плюсом:

• Опыт работы с Grafana (алертинг, дашборды здоровья пайплайнов) и BI-инструментами (PowerBI как потребитель витрин)

• Опыт работы с беттинг-данными

• Опыт работы с Google BigQuery: миграция данных в ClickHouse, проверки качества данных (DQ) на совпадение между ClickHouse и BigQuery

Условия:

• График работы 5/2 с гибким началом рабочего дня (с 08:00 до 10:00)

• Удалённый формат работы

• Оплачиваемый отпуск

• Гибкий подход к управлению, постановке задач и процессам

• Перспективные проекты и продвинутые технологии

• Интересные задачи в дружной и большой команде

• Отсутствие ненужной бюрократии, возможность предлагать и реализовывать свои идеи