Аналитик-разработчик

Требования:

• Опыт работы Data Engineer от 2-х лет;
• Уверенный опыт программирования на Python;
• Опыт работы с Greenplum, СlickHouse, Spark, Kafka;
• Уверенные знания SQL, оптимизация запросов;
• Понимание концепций построения DWH/Data lake;
• Понимание процессов Data Governance: data quality, data lineage, etc.;
• Понимание контейнеризации и CI/CD;
• Понимание ключевых принципов архитектуры высоконагруженных приложений;
• K8s, helm;
• Опыт работы с java/scala.

Обязанности:

• Проведение R&D по различным направлениям проектирования платформы данных: data quality, real-time, data marts, data lake, etc.;
• Разработка elt пайплайнов;
• Интеграция с системами источниками, настройка kafka коннекторов;
• Разработка spark заданий для непрерывной поставки данных в dwh/data lake;
• Разработка python фреймворка для управления всеми аспектами работы платформы данных;
• Разработка/внедрение фреймворка моделирования данных dds слоя в dwh;
• Реализация архитектуры обработки данных lambda/kappa;
• Разработка ci/cd пайплайнов, автотестов;
• Развитие процессов обработки данных в компании;

Cтек технологий

• Полностью облачная архитектура на базе Yandex Cloud, с использованием Kubernetes для оркестрации и гибкой масштабируемости приложений.
• Ядро хранилища данных - Greenplum.
• Быстрая аналитика - Clickhouse.
• Модель данных.
• Двухслойная: raw layer + mart layer (flat tables).
• Объем данных в сжатом виде - 20 ТБ.
• Оркестратор ELT-процессов: Argo Workflows.
• Хранилище sensitive данных - hashi corp vault.
• CI/CD и GitOps: GitHub Actions, Argo CD.
• Мониторинг, алертинг и логирование: Grafana, Grafana OnCall, Victoria Metrics, OpenSearch.
• Data Lake: Yandex Cloud Object Storage
• Batch процессы для raw слоя: Spark + Argo Workflows.
• Streaming: Kafka, Kafka connect (avro + schema registry), коннекторы Debezium.
• Spark structured streaming для доставки данных в сырую зону в greenplum.
• Инструмент формирования витрин данных - dbt.
• BI система: DataLens.

Условия

• Конкурентная зарплата по итогам собеседования;
• ДМС, включая стоматологию (в лучших клиниках Москвы) и страхование жизни,
• Оплата посещения профильных конференций;
• Оплата профильных курсов;
• Холодильник с едой в офисе и пицца/пироги/суши каждую пятницу, вечера национальной кухни;
• Современную технику;
• Материальная помощь при рождении ребенка + 3 дня оплачиваемого отпуска
• Корпоративные мероприятия и тимбилдинги (картинг, пейнтбол, лазертег и др.);
• Современный офис с видом на всю Москву (2 минуты пешком от метро Римская/Площадь Ильича).