Senior Data Engineer (Dubai onsite)

Важно:

• Работа в офисе в Дубае (3-4 дня в неделю — в офисе)
• Английский язык B2 и выше

Необходимые знания и навыки:

• Более 3 лет практического опыта работы с Apache NiFi, включая разработку, управление и оптимизацию сложных потоков данных в продуктивных средах;
• Опыт миграции потоков NiFi при обновлении основных версий с глубоким пониманием обратной совместимости;
• Уверенные навыки работы с Groovy-скриптами, используемыми в процессорах ExecuteScript и InvokeScriptedProcessor;
• Хорошее понимание протоколов SSH и SFTP, включая схемы аутентификации (по ключу, по паролю), согласование сессий и обработку прав доступа к файлам в процессорах NiFi (например, ListSFTP, FetchSFTP, PutSFTP);
• Знание механизмов шифрования данных, управления ключами и безопасной обработки flowfile с использованием процессоров, таких как EncryptContent;
• Опыт интеграции NiFi с MongoDB, включая чтение/запись документов через процессоры GetMongo, PutMongo и QueryMongo;
• Опыт работы с Apache Kafka, включая публикацию и потребление сообщений из Kafka-топиков в NiFi (PublishKafka, ConsumeKafka), а также работу с эволюцией схем через Confluent Schema Registry.

Будет плюсом:

• Опыт работы в регулируемых или защищённых средах с жёсткими требованиями к обработке данных и аудиту;
• Знакомство с DevOps-подходами, включая управление версиями шаблонов потоков (JSON/XML), интеграцию NiFi Registry с CI/CD и стратегии автоматизированного развёртывания;
• Сильные навыки письменной и устной коммуникации, включая умение документировать потоки и обучать других инженеров;

Преимущества:

• Возможность работать с передовыми технологиями в инновационной среде
• Динамичная и дружелюбная рабочая атмосфера
• Компенсация расходов на переезд
• Медицинская страховка