Data Engineer

Международная продуктовая IT компания, которая занимается разработкой и поддержкой высоконагруженных проектов для крупных компаний, основная часть которых представляет собой развлекательные онлайн-сервисы, в поисках Data-engineer.

Основными задачами будут:

• Поддержка и развитие хранилищ данных и ETL процессов;

• ClickHouse — сильный уровень. Проектирование витрин, DDL, семейство MergeTree (в т.ч. ReplacingMergeTree), dictionaries, партиционирование, оптимизация тяжёлых запросов, историческая прогрузка;

• CDC-процессы. Понимание принципов Change Data Capture и умение строить/поддерживать потоки из MySQL и MongoDB в ClickHouse: перевод источников/словарей на CDC, валидация, переключение потребителей, разбор рассинхронов. Практика с Kafka;

• ETL + оркестрация. Airflow (разработка и поддержка DAG-ов), выстроенный цикл dev → preprod → prod, Python для пайплайнов.

• Data Quality. Сверки источник ClickHouse, поиск и устранение расхождений, обработка типов/NULL, алертинг на доезд и качество данных, разбор багов данных до первопричины.

• Поддержка инфраструктуры и инструментов для разработки и запуска ETL процессов;

• Мониторинг работоспособности инфраструктуры и сервисов, оптимизация производительности;

• Анализ технических проблем и участие в их решении.

Продвинутый SQL

• MongoDB — извлечение, нормализация вложенных структур, сверки с CH.

• Git/GitLab — работа через merge request, участие в код-ревью.

• Документирование(Confluence) — поддержка актуальной доки по витринам и пайплайнам.

Какой опыт, знания и качества нужны:

• Опыт в администрировании и построении ETL процессов от 3 лет;

• Отличные знания SQL, умение писать сложные, оптимизированные запросы;

• Опыт работы с MySQL и Clickhouse;

• Отличные знания и опыт работы с NoSQL базами (MongoDB);

• Опыт проектирования и внедрения процессов Data Quality;

• Опыт мониторинга ETL-процессов;

• Опыт работы с Apache Airflow или аналогами

• Проектирование, внедрение и развитие CDC-процессов

• Большой практический опыт работы с Clickhouse

• Понимание архитектуры Clickhouse, знание движков таблиц

Будет бонусом:

• Опыт работы с Google Analytics;

• Опыт работы с PowerBI или аналогами.