Middle Data Engineer

Мы - международная iGaming платформа.

В связи с расширением команды, мы ищем Middle Data Engineer, готового внести свой вклад в развитие амбициозных проектов и работать в динамичной, креативной среде!

Обязанности:

• Разработка, тестирование и развертывание компонентов потоковых и пакетных ETL/ELT пайплайнов
• Интеграция данных из различных источников (API, базы данных, файловые хранилища, потоки сообщений) в целевую платформу
• Оптимизация существующих пайплайнов для повышения производительности и эффективности использования ресурсов
• Мониторинг работы пайплайнов, реагирование на инциденты и алерты (в рамках on-call duty)
• Устранение сбоев и ошибок в данных в production-среде
• Ведение технической документации по разработанным компонентам
• Реализация базовых проверок качества данных (Data Quality) на вводе и выводе пайплайнов
• Участие в профилировании данных и анализе их дрейфа
• Активное участие в ежедневных стендапах, планировании спринтов и ретроспективах
• Участие в код-ревью с коллегами
• Тесное взаимодействие с аналитиками и дата-сайентистами для реализации их требований к данным

Требования:

• Опыт работы: 2+ года коммерческого опыта в роли Data Engineer с участием в проектах, связанных с обработкой данных в реальном времени или больших объемов данных
• Уверенное владение Python
• Хорошее знание SQL (написание сложных запросов, оптимизация)

• Практический опыт разработки пайплайнов с использованием одного из фреймворков:

  Apache Spark (Structured Streaming), Apache Kafka Streams, или Apache Flink

  Понимание ключевых концепций: семантика доставки (at-least-once, exactly-once), оконные агрегации, предварительная обработка данных

  Практический опыт работы с Apache Kafka (умение создавать продюсеры/консьюмеры, понимание партиционирования, топиков, групп консьюмеров)

  Опыт работы с реляционными (PostgreSQL, MySQL) и NoSQL базами данных (Redis)

  Опыт работы с колоночными хранилищами (ClickHouse) и облачными объектными хранилищами (S3)

  Опыт работы с Docker

  Базовое понимание принципов оркестрации контейнеров (Kubernetes)

  Знакомство с системами оркестрации (Apache Airflow)

Будет плюсом:

• Опыт мониторинга пайплайнов с помощью Prometheus/Grafana или аналогов
• Базовое знакомство с практиками обеспечения качества данных (Data Quality)
• Понимание принципов CI/CD
• Знание форматов данных (Avro, Parquet, Protobuf)
• Опыт работы с Rust или Scala (хотя бы на базовом уровне)

​​​​​​​Условия:

• Конкурентоспособная заработная плата
• Возможность полностью работать удалённо из любой точки мира
• Возможность получать ЗП в разной валюте
• 8-часовой рабочий день (либо с 8 до 17, либо с 9 до 18 GMT+3)
• Возможность профессионального роста и обучения