Data Engineer

Мы — Атом. Разрабатываем электромобиль-гаджет и его версии для семьи, такси, каршеринга и службы доставки, а также собственный маркетплейс приложений и другие сервисы.

Ищем Senior/Middle Data Engineer (Core Data Platform) в команду Data, которая строит современную и гибкую платформу данных без Hadoop-легаси.

Технологический стек в команде:

• Spark + Iceberg,
• S3,
• Trino,
• Kafka,
• Flink,
• Cassandra,
• Superset,
• OpenMetadata,
• GraphQL,
• Airflow,
• ArgoCD.

Чем предстоит заниматься:

• Проектирование и разработка масштабируемых фреймворков для ETL/ELT процессов.
• Создание отказоустойчивых решений для загрузки и обработки данных из разнородных источников.
• Оптимизация хранения и доступа к данным в Data Lakehouse.
• Проектирование и внедрение процессов непрерывного тестирования.
• Проведение код-ревью по закрепленным задачам.
• Создание и поддержание понятной документации, настройка метрик качества данных и помощь коллегам в использовании инструментов.
• Участие в разработке компонентов архитектуры Data Lakehouse.

Для нас важны:

• Опыт работы с Apache Spark (Python) от 3 лет.
• Опыт работы с Iceberg или Delta Lake/Hudi.
• Опыт работы с big data и построения масштабируемых пайплайнов данных.
• Опыт разработки API для предоставления данных из Data Platform (FastAPI, GraphQL).
• Опыт работы с базами данных (PostgreSQL, ClickHouse, Redis).
• Практический опыт автоматизации пайплайнов с использованием подходов непрерывной интеграции/деплоя (CI/CD) и современных практик DevOps (Concourse, Jenkins, Git Actions, ArgoCD).

Будет плюсом:

• Опыт разработки в паттернах микросервисной архитектуры и понимание механизмов взаимодействия микросервисов.
• Опыт создания масштабируемой инфраструктуры в облаке с помощью Python, Go или Java (или аналогичных языков).
• Опыт работы с одним или несколькими поставщиками облачных услуг и/или хороший опыт развертывания Kubernetes с использованием средств предоставления инфраструктуры (IaaC, как Terraform).
• Опыт промышленного внедрения ML-моделей и разработки MLOps-платформ.

Мы предлагаем:

• Высокотехнологичный продукт, которым хочется гордиться.
• Работу в международной команде.
• Трудоустройство в аккредитованной ИТ-компании.
• Годовую премию и дополнительные бонусы в виде льгот, которые можно тратить на питание, транспорт, ДМС со стоматологией, страхование жизни и имущества, фитнес, образование и другое.
• Бесплатный доступ к платформе с обучающими курсами iSpring, спортивные командные игры и другие приятные мелочи.

Как будем общаться:

• Интервью с HR.
• Полуторачасовое видео-интервью с Head of Data.

• Часовое техническое видео-интервью с командой.

• Job offer.

Пройди вместе с нами крутой кейс по созданию электромобиля с нуля!