Дата инженер

• общаться с заказчиками (аналитики, BI разработчики) для уточнения требований и проработки технических решений;

• поддержка и создание интеграций и витрин в рамках хранилища данных;

• построение ETL-процессов;

• уметь работать с разными типами источников (MS SQL Server, Oracle, PostgreSQL, MongoDB, API, Kafka);

• разработка подключения новых источников в хранилище данных по стандартизированному процессу;

• создание проверки качества данных;

• документирование результатов разработки;

• осуществление поддержки имеющихся процессов.

Требования:

• знания концепций работы с git и CI/CD процессами;

• знание SQL (временные таблицы, оконные функции, cte и тд), опыт оптимизации запросов;

• знания принципов работы БД, построения ХД;

• знания языков программирования (Желательно: Python, Scala. Опционально: другие);

• опыт разработки ETL процессов (Желательно: Flink, Spark. Опционально Pentaho, Informatica, SSIS, NiFi);

• опыт работы с очередями (Желательно: Kafka. Опционально: RabbitMQ);

• опыт работы с оркестраторами (Желательно: Airflow. Опционально: Dagster, Prefect, Mage, Luigi);

• опыт работы с табличными форматами хранения (Желательно: Trino, Iceberg, S3. Опционально: Presto, MinIO, DuckDB);

• опыт работы с командной строкой.

Будет плюсом

• опыт работы с Greenplum;

• опыт работы с облачными ресурсами и использование Terraform для управления конфигурациями;

• опыт работы с мониторингом Prometheus, ELK, Grafana;

• создание собственных CI/CD процессов (Jenkins, Github Actions, Argo CD);

• опыт работы с высоконагруженными распределенными системами хранения и обработки данных.

Условия:

• гибкая система премирования;

• расширенный социальный пакет: ДМС со стоматологией с первого месяца работы, психолог и страхование жизни, компенсация питания;

• работа в компании с развитой инженерной культурой;

• внутренние профессиональные сообщества и мероприятия;

• автономность работы, возможность менять правила, ошибаться и создавать новое;

• возможности профессионального роста, программы развития для сотрудников;

• корпоративное обучение и доступ к базе знаний;

• гибридный/удаленный формат работы;

• современный офис в 2 минутах ходьбы от МЦК ЗИЛ.