Data Platform DevOps

АТОН - старейшая инвестиционная компания России.
На протяжении вот уже 30 лет мы помогаем принимать верные инвестиционные решения и формируем сообщество успешных инвесторов.

Сейчас мы ищем инженера (middle/senior) на позицию DevOps в нашу команду, главной задачей которого будет развитие и сопровождение дата-инфраструктуры, построенной вокруг Spark и сопутствующего стека.

Challenges:

• Сопровождение и развитие Spark-кластера (3.5);

• Эксплуатация компонентов Spark: Operator, Connect, History;

• Интеграция Airflow с дата-джобами и сопровождение пайплайнов ;

• Настройка и эксплуатация Trino и Iceberg (включая Polaris/Nessie);

• Автоматизация развёртывания и обновления компонентов через IaC и CI/CD;

• Настройка Keycloak для компонентов платформы: авторизация, аутентификация, интеграции;

• Выстраивание процессов мониторинга и отладки пайплайнов и джоб;

• Оптимизация производительности и стабильности платформы.

Ожидание (we want):

• Вам импонируют задачи перечисленные в challenges;

• Уверенно чувствуете себя в Kubernetes и Helm;

• Имеете опыт работы со Spark или заинтересованы в его глубоком освоении;

• Понимаете, как устроен Airflow и работали с DAG’ами;

• Принятие базовых истин: CI — Gitlab, CD — ArgoCD;

• Observability для вас не последний приоритет;

• Обладаете инженерным подходом и желанием разбираться в системах детально.

Реальность (we have):

• Linux: Debian;

• CI: Gitlab, ArgoCD;

• Clouds: Yandex, Azure;

• Virtualization: VMware vSphere, SpaceVM;

• IaC: Ansible, Terraform;

• Observability: Loki, Tempo, Vector, Victoria Metrics, Grafana, OpenSearch;

• Lakehouse: Spark, Airflow, Trino, Iceberg, Polaris, Nessie;

• Auth: Keycloak;

• DBs: PostgreSQL, Mongo, Redis;

• Brokers: Kafka, RabbitMQ;

• Communication: eXpress.ms, Kaiten, Confluence.

Мы предлагаем:

• Конкурентоспособную заработную плату по результатам собеседования + годовую премию;
• График работы: с понедельника по пятницу, 8-часовой рабочий день (возможность гибкого начала рабочего дня);
• Возможность удалённой работы, но у нас есть отличный офис на Павелецкой площади, куда можно приезжать, если хочется;
• ДМС со стоматологией и страхование жизни с первого рабочего дня;
• Оплачиваемое корпоративное обучение;
• Льготный фитнес, английский язык и корпоративное кредитование;
• Возможность карьерного и профессионального роста.

Что ценят наши сотрудники:

• Мы поощряем инициативу – можно смело предлагать свои идеи и создавать продукты с нуля;
• Отсутствие бюрократии и гибкость компании позволяют нам быстро реализовывать проекты;
• Интересная сфера, в которой ты можешь быть частью крутых глобальных сделок;
• Много амбициозных целей, которые позволяют тебе расти и самореализовываться;
• Современные технологии, творческие задачи и нерутинная работа;
• Дружеская атмосфера и открытые двери к руководству – у нас все на «ты», вне зависимости от иерархии.