Data Engineer (ClickHouse, Airflow, Python)

Алабуга, ОЭЗ ППТ

Data Engineer (ClickHouse, Airflow, Python)

Елабужский район, особая экономическая зона Алабуга, улица Ш-2, 6

Описание вакансии

Обязанности:
  • разработка, сопровождение и оптимизация ETL/ELT-пайплайнов на базе Apache Airflow;
  • проектирование и развитие схем данных в ClickHouse (основное хранилище);
  • поддержка PostgreSQL на базовом уровне;
  • интеграция данных из различных источников: S3, RabbitMQ, внешние API, внутренние сервисы;
  • написание и оптимизация SQL-запросов;
  • контроль качества данных: профилирование, мониторинг полноты и консистентности, отладка пайплайнов;
  • настройка и сопровождение мониторинга процессов и инфраструктуры: Grafana, Loki, Alertmanager, OpenSearch;
  • работа с контейнеризированной инфраструктурой: Docker, Portainer;
  • ведение задач и документирование решений в Jira/Wiki;
  • взаимодействие с командой разработки и аналитиками для уточнения требований к данным.
Требования:
  • уверенное владение Python (pandas, обработка и трансформация данных);
  • опыт построения и сопровождения ETL/ELT-пайплайнов в Apache Airflow или аналогах;
  • опыт проектирования и сопровождения хранилища данных в ClickHouse: движки таблиц, партиционирование, оптимизация запросов;
  • базовые навыки работы с PostgreSQL: проектирование схем, DDL/DML, индексы;
  • опыт работы с объектным хранилищем (S3 и аналоги);
  • опыт работы с брокерами сообщений: предпочтителен RabbitMQ, опыт с Apache Kafka и NATS также рассматривается;
  • базовое понимание систем мониторинга и сбора журналов: Grafana, Loki, Alertmanager, OpenSearch или аналоги;
  • понимание контейнеризации: Docker, Portainer;
  • уверенная работа с системой контроля версий Git;
  • опыт приёма и обработки IoT-телеметрии от датчиков и оборудования (работа с потоками временных рядов);
  • опыт разработки приложений потоковой обработки данных на Apache Flink или аналогах (Kafka Streams, Spark Streaming);
  • от 2 лет в роли Data Engineer или аналогичной позиции.
Условия:
  • конкурентный уровень з/п (обсуждается индивидуально);
  • работа в крупной и стабильной компании – в структуре самой большой ОЭЗ в Европе;
  • транспорт до работы из г. Елабуга, г. Набережные Челны, г. Нижнекамск;
  • полис добровольного медицинского страхования;
  • предоставление платного жилья для иногородних;
  • гарантия профессионального роста;
  • амбициозная, проектно-ориентированная команда;
  • командные и спортивные игры, реализация нестандартных задач;
  • карьерный рост при наличии и обретении в процессе работы необходимых компетенций.
Навыки
  • Python
  • pandas
  • PostgreSQL
  • DDL/DML
  • Clickhouse
  • ETL/ELT
  • Apache Airflow
  • RabbitMQ
  • Apache Kafka
  • NATS
  • Grafana
  • Loki
  • Alertmanager
  • Opensearch
  • Docker
  • Portainer
  • Git
  • IoT
  • Apache Flink
  • Kafka Streams
  • Spark Streaming
  • data profiling
  • Jira/Wiki
Посмотреть контакты работодателя

Адрес

Похожие вакансии

Цифровые привычки
  • Москва

  • до 200000 RUR

Рекомендуем
СБЕР
  • Москва

  • до 200000 RUR

Рекомендуем
СОГАЗ
  • Москва

  • до 200000 RUR

Рекомендуем
СБЕР
  • Москва

  • до 200000 RUR

DWH Инженер (DevOps)

БАНК ИНТЕЗА

  • Москва

  • до 200000 RUR

WINLINE
  • Москва

  • до 200000 RUR

СБЕР

Data analyst

СБЕР

  • Москва

  • до 200000 RUR

Коммерсантъ

Data Scientist

Коммерсантъ

  • Москва

  • до 200000 RUR

Алабуга, ОЭЗ ППТ

DevOps-инженер (GitLab CI/CD, Docker)

Алабуга, ОЭЗ ППТ

  • Москва

  • от 375000 RUR

СБЕР
  • Москва

  • от 375000 RUR

Детский мир

Middle ML Engineer

Детский мир

  • Москва

  • от 375000 RUR

  • Москва

  • от 375000 RUR

А7-ТЕХНОЛОГИИ
  • Москва

  • от 375000 RUR

Дексиас
  • Москва

  • от 375000 RUR

Бсо Логистик
  • Москва

  • от 270000 RUR

Группа компаний VR
  • Москва

  • от 300000 RUR

ГУП Московский социальный регистр

Инженер сопровождения \ Прикладной администратор

ГУП Московский социальный регистр

  • Москва

  • от 300000 RUR

СБЕР

Support Engineer

СБЕР

  • Москва

  • от 300000 RUR

Хотите оставить вакансию?

Заполните форму и найдите сотрудника всего за несколько минут.
Оставить вакансию