Data Engineer (ClickHouse, Airflow, Python)

Алабуга, ОЭЗ ППТ

Data Engineer (ClickHouse, Airflow, Python)

Елабужский район, особая экономическая зона Алабуга, улица Ш-2, 6

Описание вакансии

Обязанности:
  • разработка, сопровождение и оптимизация ETL/ELT-пайплайнов на базе Apache Airflow;
  • проектирование и развитие схем данных в ClickHouse (основное хранилище);
  • поддержка PostgreSQL на базовом уровне;
  • интеграция данных из различных источников: S3, RabbitMQ, внешние API, внутренние сервисы;
  • написание и оптимизация SQL-запросов;
  • контроль качества данных: профилирование, мониторинг полноты и консистентности, отладка пайплайнов;
  • настройка и сопровождение мониторинга процессов и инфраструктуры: Grafana, Loki, Alertmanager, OpenSearch;
  • работа с контейнеризированной инфраструктурой: Docker, Portainer;
  • ведение задач и документирование решений в Jira/Wiki;
  • взаимодействие с командой разработки и аналитиками для уточнения требований к данным.
Требования:
  • уверенное владение Python (pandas, обработка и трансформация данных);
  • опыт построения и сопровождения ETL/ELT-пайплайнов в Apache Airflow или аналогах;
  • опыт проектирования и сопровождения хранилища данных в ClickHouse: движки таблиц, партиционирование, оптимизация запросов;
  • базовые навыки работы с PostgreSQL: проектирование схем, DDL/DML, индексы;
  • опыт работы с объектным хранилищем (S3 и аналоги);
  • опыт работы с брокерами сообщений: предпочтителен RabbitMQ, опыт с Apache Kafka и NATS также рассматривается;
  • базовое понимание систем мониторинга и сбора журналов: Grafana, Loki, Alertmanager, OpenSearch или аналоги;
  • понимание контейнеризации: Docker, Portainer;
  • уверенная работа с системой контроля версий Git;
  • опыт приёма и обработки IoT-телеметрии от датчиков и оборудования (работа с потоками временных рядов);
  • опыт разработки приложений потоковой обработки данных на Apache Flink или аналогах (Kafka Streams, Spark Streaming);
  • от 2 лет в роли Data Engineer или аналогичной позиции.
Условия:
  • конкурентный уровень з/п (обсуждается индивидуально);
  • работа в крупной и стабильной компании – в структуре самой большой ОЭЗ в Европе;
  • транспорт до работы из г. Елабуга, г. Набережные Челны, г. Нижнекамск;
  • полис добровольного медицинского страхования;
  • предоставление платного жилья для иногородних;
  • гарантия профессионального роста;
  • амбициозная, проектно-ориентированная команда;
  • командные и спортивные игры, реализация нестандартных задач;
  • карьерный рост при наличии и обретении в процессе работы необходимых компетенций.
Навыки
  • Python
  • pandas
  • PostgreSQL
  • DDL/DML
  • Clickhouse
  • ETL/ELT
  • Apache Airflow
  • RabbitMQ
  • Apache Kafka
  • NATS
  • Grafana
  • Loki
  • Alertmanager
  • Opensearch
  • Docker
  • Portainer
  • Git
  • IoT
  • Apache Flink
  • Kafka Streams
  • Spark Streaming
  • data profiling
  • Jira/Wiki
Посмотреть контакты работодателя

Адрес

Похожие вакансии

Алабуга, ОЭЗ ППТ

DevOps-инженер (GitLab CI/CD, Docker)

Алабуга, ОЭЗ ППТ

  • Нижний Новгород

  • от 375000 RUR

Рекомендуем
Р-Софт
  • Нижний Новгород

  • от 375000 RUR

Рекомендуем

SDET/QA Инженер (PHP/Laravel, Vue.js)

ФГБОУ ДПО Академия лидерства и администрирования бизнес-процессов ФНС России

  • Нижний Новгород

  • от 375000 RUR

Рекомендуем
Криптонит

Data Engineer

Криптонит

  • Нижний Новгород

  • от 375000 RUR

Алабуга, ОЭЗ ППТ
  • Нижний Новгород

  • до 170000 RUR

МС Автомотив

Инженер по логистике

МС Автомотив

  • Нижний Новгород

  • до 170000 RUR

ЭКОПОЛ
  • Нижний Новгород

  • до 160000 RUR

Алабуга, ОЭЗ ППТ
  • Нижний Новгород

  • до 170000 RUR

Инженер по планированию

Группа Компаний РУСАГРО

  • Нижний Новгород

  • до 170000 RUR

Алабуга, ОЭЗ ППТ
  • Нижний Новгород

  • от 487500 RUR

ЕвроХим, Минерально-Химическая Компания

Ведущий инженер отдела автоматизации (проектирование АСУ ТП)

ЕвроХим, Минерально-Химическая Компания

  • Нижний Новгород

  • от 487500 RUR

Алабуга, ОЭЗ ППТ
  • Нижний Новгород

  • от 277500 RUR

ВиК Техно
  • Нижний Новгород

  • от 277500 RUR

СтратоСфера

Senior / Lead QA Automation Engineer

СтратоСфера

  • Нижний Новгород

  • от 277500 RUR

Грандтехнострой
  • Нижний Новгород

  • от 277500 RUR

Инженер-электрик

Группа Компаний РУСАГРО

  • Нижний Новгород

  • от 277500 RUR

Р-Софт

QA engineer

Р-Софт

  • Нижний Новгород

  • от 277500 RUR

Газтурботэк
  • Нижний Новгород

  • от 277500 RUR

Хотите оставить вакансию?

Заполните форму и найдите сотрудника всего за несколько минут.
Оставить вакансию