Senior Data Engineer

Мы — кадровое агентство match, и сейчас ищем Senior Data Engineer для крупного игрового провайдера.

Сотрудники компании занимаются построением масштабных систем обработки данных, интеграцией различных источников и созданием инфраструктуры для аналитики и игр следующего поколения

Чем предстоит заниматься:

• Разработкой и поддержкой ETL/ELT пайплайнов с использованием Spark / PySpark / Scala;

• Организацией хранения и оптимизацией обработки больших данных в MPP-системах (ClickHouse, Snowflake, Redshift, Greenplum и др.);

• Интеграцией потоков данных через Kafka / CDC коннекторы (Debezium, Kafka Connect);

• Оптимизацией SQL-запросов и работы с большими таблицами;

• Работой с архитектурой распределённых систем и подходами к data lakehouse;

• В идеале — использованием Apache Iceberg или аналогов (Delta Lake, Hudi) для управления версиями данных.

Наш идеальный кандидат:

• Имеет опыт работы Senior Data Engineer или Big Data Developer от 3-х лет;

• Уверенно работает с Spark / PySpark / Scala;

• Знает MPP-системы и умеет работать с S3 / HDFS;

• Имеет опыт интеграции потоков через Kafka / CDC;

• Разбирается в SQL-оптимизации и подходах работы с большими данными;

• Хорошо понимает архитектуру распределённых систем и принципы data lakehouse.

Вашим преимуществом будет:

• Опыт работы с AWS (EMR, Glue, MSK);

• Практика автоматизации пайплайнов с Airflow;

• Опыт DevOps (CI/CD, контейнеризация);

• Опыт работы в игровой индустрии или RnD-проектах с большими данными.

Мы предлагаем:

• Оформление по ГПХ на испытательный срок;

• Удалённый формат работы;

• График: 5/2, 9-часовой рабочий день (8 ч. + 1 ч. обеда);

• Гибкое начало рабочего дня (с 9:00 до 11:00 Мск);

• Оплачиваемый отпуск и больничные;

• Частичная компенсация занятий спортом, изучения английского языка или консультаций с психологом;

• Работа в команде профессионалов без бюрократии, с акцентом на результат и развитие.