Дата инженер

Лемана ПРО

Дата инженер

Москва, проспект Лихачёва, 15

Метро: Автозаводская

Описание вакансии

Обязанности:

​​​​​​​

  • поддержка интеграций и витрин на базе хранилища данных Greenplum;

  • построение ETL-процессов;

  • создавать новые витрины в Greenplum;

  • уметь работать с разными типами источников (MS SQL Server, Oracle, PostgreSQL, MongoDB, API, Kafka);

  • разрабатывать схемы подключения новых источников в DWH по стандартному процессу;

  • создавать проверки качества данных;

  • документировать разработки;

  • общаться с аналитиками для уточнения требований и проработки технических решений;

  • принимать участие в разработке и реализации решений: написание / оптимизация / профилирование SQL/NoSQL запросов

Требования:

  • знания концепций работы с git;

  • знания принципов работы БД, построения ХД;

  • опыт разработки ETL процессов (Желательно Flink, NiFi, Spark. Опционально Pentaho, Informatica, SSIS);

  • опыт работы с высоконагруженными распределенными системами хранения и обработки данных;

  • знание SQL (временные таблицы, оконные функции, cte и тд), опыт оптимизации запросов;

  • знания языков программирования (Желательно Python, Scala. Опционально другие);

  • опыт работы с очередями (Желательно Kafka. Опционально RabbitMQ);

  • опыт работы с оркестраторами (Желательно Airflow. Опционально Dagster, Prefect, Mage, Luigi);

Будет плюсом

  • опыт работы с Greenplum;

  • опыт работы с облачными ресурсами и использование Terraform для управления конфигурациями;

  • опыт работы с мониторингом Prometheus, ELK, Grafana;

  • создание собственных CI/CD процессов (Jenkins);

  • знание форматов хранения данных и табличных форматов (AVRO, Parquet, Iceberg).

Условия:

  • гибкая система премирования;

  • расширенный социальный пакет: ДМС со стоматологией с первого месяца работы, психолог и страхование жизни, компенсация питания;

  • работа в компании с развитой инженерной культурой;

  • внутренние профессиональные сообщества и мероприятия;

  • автономность работы, возможность менять правила, ошибаться и создавать новое;

  • возможности профессионального роста, программы развития для сотрудников;

  • корпоративное обучение и доступ к базе знаний;

  • гибридный/удаленный формат работы;

  • современный офис в 2 минутах ходьбы от МЦК ЗИЛ.

Навыки
  • ETL
  • Flink
  • Apache NiFi
  • Spark
  • Apache Airflow
Посмотреть контакты работодателя

Адрес

Похожие вакансии

Хотите оставить вакансию?

Заполните форму и найдите сотрудника всего за несколько минут.
Оставить вакансию