Data Engineer Apache Ni-Fi (Дубай)

Data Engineer (Apache NiFi) — Дубай

Хочешь прокачаться на крупном финтех-проекте в одном из ведущих банков ОАЭ и работать с мощной потоковой обработкой данных?
Мы — международная IT-компания, ищем опытного Data Engineer с экспертизой в Apache NiFi, который поможет нам развивать высоконагруженную платформу.

Что важно знать сразу

• Локация: Дубай, работа в офисе 3–4 раза в неделю

• Релокация: полный пакет — оформление ВНЖ, оплаченный переезд и медицинская страховка

• Английский: свободный уровень B2 и выше

Твои задачи

• разработка, поддержка и оптимизация сложных потоков данных в Apache NiFi на продакшн-уровне;

• интеграция с Cloudera и другими корпоративными системами;

• обеспечение стабильной и отказоустойчивой работы кластеров.

Что мы ждём от тебя:

• глубокие знания принципов проектирования потоков NiFi, включая грамотное использование очередей, back pressure, приоритизаторов и настройку соединений;

• уверенное владение службами контроллера: SSLContextService, DBCPConnectionPool, RecordReader/RecordWriter;

• опыт работы с форматами Avro, JSON, CSV и процессорами ConvertRecord, QueryRecord, LookupRecord;

• умение отлаживать и оптимизировать потоки с использованием Data Provenance, bulletins и анализа логов;

• знание разработки кастомных процессоров на Java/Groovy (плюс);

• опыт настройки защищённых кластеров NiFi: аутентификация (LDAP, OIDC), TLS-сертификаты, политики доступа;

• владение параметрическими контекстами, Variable Registry и версионированием через NiFi Registry;

• понимание модели кластеризации Zero-Master, координации узлов и протокола site-to-site;

• опыт развёртывания и мониторинга NiFi в средах высокой доступности с Prometheus/Grafana или Cloudera Manager.

Общий опыт и навыки:

• 5+ лет практической работы с Apache NiFi в продакшне;

• опыт работы с Cloudera NiFi (CDP DataFlow) и интеграцией с Cloudera Manager;

• успешные миграции потоков NiFi между мажорными версиями с сохранением совместимости;

• уверенное владение скриптингом на Groovy для процессоров ExecuteScript и InvokeScriptedProcessor;

• отличное понимание протоколов SSH и SFTP, включая все схемы аутентификации, права доступа и работу процессоров ListSFTP, FetchSFTP, PutSFTP;

• знание механизмов шифрования, управления ключами и безопасной обработки flowfile через EncryptContent;

• опыт интеграции с MongoDB (GetMongo, PutMongo, QueryMongo);

• работа с Apache Kafka: PublishKafka, ConsumeKafka, работа с Confluent Schema Registry;

• уверенные знания Red Hat Enterprise Linux (RHEL): systemd-сервисы, права файловой системы, ротация логов, тюнинг ресурсов для JVM-приложений.

Будет плюсом:

• опыт в строго регулируемых или безопасных средах с повышенными требованиями к обработке данных и аудиту;

• знакомство с DevOps-подходами: версия шаблонов потоков (JSON/XML), CI/CD для NiFi Registry, автоматизация деплоя;

• отличные коммуникационные навыки и умение документировать решения и менторить коллег.

Что предлагаем:

• работу с cutting-edge технологиями и высоконагруженными системами;

• релокацию в Дубай с полным сопровождением: перелёт, ВНЖ, медицинская страховка;

• комфортный современный офис и дружную команду;

• конкурентную зарплату по рынку ОАЭ — обсуждаем после технического интервью.

Готов присоединиться? Отправляй отклик — будем рады познакомиться!