Data Engineer (ClickHouse, Airflow, Python)

Алабуга, ОЭЗ ППТ

Data Engineer (ClickHouse, Airflow, Python)

Елабужский район, особая экономическая зона Алабуга, улица Ш-2, 6

Описание вакансии

Обязанности:
  • разработка, сопровождение и оптимизация ETL/ELT-пайплайнов на базе Apache Airflow;
  • проектирование и развитие схем данных в ClickHouse (основное хранилище);
  • поддержка PostgreSQL на базовом уровне;
  • интеграция данных из различных источников: S3, RabbitMQ, внешние API, внутренние сервисы;
  • написание и оптимизация SQL-запросов;
  • контроль качества данных: профилирование, мониторинг полноты и консистентности, отладка пайплайнов;
  • настройка и сопровождение мониторинга процессов и инфраструктуры: Grafana, Loki, Alertmanager, OpenSearch;
  • работа с контейнеризированной инфраструктурой: Docker, Portainer;
  • ведение задач и документирование решений в Jira/Wiki;
  • взаимодействие с командой разработки и аналитиками для уточнения требований к данным.
Требования:
  • уверенное владение Python (pandas, обработка и трансформация данных);
  • опыт построения и сопровождения ETL/ELT-пайплайнов в Apache Airflow или аналогах;
  • опыт проектирования и сопровождения хранилища данных в ClickHouse: движки таблиц, партиционирование, оптимизация запросов;
  • базовые навыки работы с PostgreSQL: проектирование схем, DDL/DML, индексы;
  • опыт работы с объектным хранилищем (S3 и аналоги);
  • опыт работы с брокерами сообщений: предпочтителен RabbitMQ, опыт с Apache Kafka и NATS также рассматривается;
  • базовое понимание систем мониторинга и сбора журналов: Grafana, Loki, Alertmanager, OpenSearch или аналоги;
  • понимание контейнеризации: Docker, Portainer;
  • уверенная работа с системой контроля версий Git;
  • опыт приёма и обработки IoT-телеметрии от датчиков и оборудования (работа с потоками временных рядов);
  • опыт разработки приложений потоковой обработки данных на Apache Flink или аналогах (Kafka Streams, Spark Streaming);
  • от 2 лет в роли Data Engineer или аналогичной позиции.
Условия:
  • конкурентный уровень з/п (обсуждается индивидуально);
  • работа в крупной и стабильной компании – в структуре самой большой ОЭЗ в Европе;
  • транспорт до работы из г. Елабуга, г. Набережные Челны, г. Нижнекамск;
  • полис добровольного медицинского страхования;
  • предоставление платного жилья для иногородних;
  • гарантия профессионального роста;
  • амбициозная, проектно-ориентированная команда;
  • командные и спортивные игры, реализация нестандартных задач;
  • карьерный рост при наличии и обретении в процессе работы необходимых компетенций.
Навыки
  • Python
  • pandas
  • PostgreSQL
  • DDL/DML
  • Clickhouse
  • ETL/ELT
  • Apache Airflow
  • RabbitMQ
  • Apache Kafka
  • NATS
  • Grafana
  • Loki
  • Alertmanager
  • Opensearch
  • Docker
  • Portainer
  • Git
  • IoT
  • Apache Flink
  • Kafka Streams
  • Spark Streaming
  • data profiling
  • Jira/Wiki
Посмотреть контакты работодателя

Адрес

Похожие вакансии

Алабуга, ОЭЗ ППТ

DevOps-инженер (GitLab CI/CD, Docker)

Алабуга, ОЭЗ ППТ

  • Пермь

  • от 375000 RUR

Рекомендуем
Гознак
  • Пермь

  • от 375000 RUR

Рекомендуем
«СЛК Цемент»

Инженер АСУ ТП

«СЛК Цемент»

  • Пермь

  • до 200000 RUR

Рекомендуем
Александровский машиностроительный завод

Инженер-программист станков с ЧПУ

Александровский машиностроительный завод

  • Пермь

  • до 200000 RUR

«СЛК Цемент»

Инженер технолог

«СЛК Цемент»

  • Пермь

  • до 200000 RUR

«СЛК Цемент»

Инженер-энергетик

«СЛК Цемент»

  • Пермь

  • до 200000 RUR

ЕвроХим, Минерально-Химическая Компания

Инженер 1 категории ВК (проектирование)

ЕвроХим, Минерально-Химическая Компания

  • Пермь

  • до 200000 RUR

ЕвроХим, Минерально-Химическая Компания

Ведущий инженер отдела автоматизации (проектирование АСУ ТП)

ЕвроХим, Минерально-Химическая Компания

  • Пермь

  • до 200000 RUR

ЭЛКАМ-нефтемаш
  • Пермь

  • до 200000 RUR

Предприятие В-1336

Инженер АСУ ТП (ПНР)

Предприятие В-1336

  • Пермь

  • от 340000 RUR

УНИИКМ
  • Пермь

  • от 340000 RUR

НПК Завод Модульного Энергооборудования

Инженер проектировщик по котельным ТГВ (теплогазоснабжение)

НПК Завод Модульного Энергооборудования

  • Пермь

  • до 180000 RUR

Автоматизированные Системы Бурения

Инженер по автоматизации бурения

Автоматизированные Системы Бурения

  • Пермь

  • до 295000 RUR

А9 Системс

Инженер КИПиА

А9 Системс

  • Пермь

  • от 310000 RUR

Хотите оставить вакансию?

Заполните форму и найдите сотрудника всего за несколько минут.
Оставить вакансию