Senior Big Data Engineer (Data Platform)

Чем предстоит заниматься:

• Разрабатывать и совершенствовать лучшую на рынке платформу данных электронной коммерции нового поколения;
• Проектировать и разрабатывать ETL пайплайны на Airflow для Spark (Batch, Streaming), Iceberg, Trino;
• Оптимизировать действующие пайплайны и джобы на Spark - мониторить нагрузку на кластер и оптимальность затрачиваемых джобами ресурсов и если необходимо оптимизировать;
• Взаимодействовать с аналитиками и ML специалистами для создания/развертывания инструментов и наборов данных, соответствующих их вариантам использования - поддерживать регулярные связи с data ops для развития дата-платформы;
• Анализировать и внедрять инструменты инжиниринга данных (Lineage, DQ);
• Проектировать хранилища данных на основе k8s, настраивать производительность, мониторинг, планировать емкости кластера и другой инфраструктуры - думать над тем что и как грузить и в каких партициях;
• Решать задачи, связанные с внедрением облачной инфраструктуры - разрабатывать новую архитектуру хранилища
• Проводить code review и принимать участие в архитектурных решениях по дата платформе в команде.

Мы ожидаем:

• Kubernetes - понимание ресурсной модели, просмотр конфигураций, troubleshooting.
• Опыт работы с Hadoop (HDFS, Hive Metastore)
• Опыт работы со Spark (spark SQL, streaming, понимание ньюансов работы с pyspark);
• Apache Icberg – владение процедурами, snapshots, maintenance
• Глубокое понимание Airflow (2, 3) – идемпотентность, assets, backfills
• Уверенное знание Git, CI/CD;
• Python, Scala/Java – ООП, проектирование библиотек, интеграционные/юнит тесты;
• Хорошее понимание СУБД, SQL;

Будет плюсом:

• Опыт работы с Docker (уверенное владение для поднятия локального окружения проекта);
• Опыт работы с Kafka – понимание архитектуры и слабых мест;
• Опыт с облачными технологиями: преимущественно Yandex Cloud;
• Опыт с Clickhouse.
• AI-native подход к разработке: активное использование Claude Code / Codex и подобных инструментов, опыт построения harness-систем — агентов с инструментами, автоматизации через LLM, RAG.