Data Engineer

Рекрутинговое агентство Brightman находится в поиске Data Engineer.

Наш клиент – крупная компания , работающая по следующим направлениям: искусственный интеллект, машинное обучение, Data Science, Big Data, государственные цифровые инициативы и платформенные решения.

Вакансия предусматривает релокацию в Баку, Азербайджан.

Обязанности:

• руководство проектированием, разработкой и поддержкой сложных ETL/ELT-пайплайнов;
• установление и контроль стандартов качества данных, практик мониторинга и валидации;
• интеграция и обработка структурированных, частично структурированных и неструктурированных наборов данных из различных систем;
• предоставление чистых и хорошо структурированных наборов данных командам аналитики, ML/AI и операционным подразделениям для поддержки стратегических решений;
• активное участие в архитектурных обсуждениях, предложение улучшений и определение лучших практик для платформы данных;
• наставничество для инженеров среднего и младшего уровня, помощь в техническом развитии и решении задач;
• поддержка воспроизводимых рабочих процессов, ведение подробной документации и содействие автоматизации процессов.

Требования:

• опыт работы в сфере Data Engineering от 5 лет;
• степень бакалавра в области компьютерных наук, инженерии;
• продвинутые знания SQL и навыки программирования (Python, SQL; PostgreSQL или аналоги);
• глубокое понимание концепций приёма, трансформации и оркестрации данных (Airflow, Prefect или аналоги);
• уверенное знание принципов пакетной и потоковой обработки данных (Spark, Kafka или аналогичные фреймворки);
• обширный опыт работы с крупномасштабными платформами данных (облачными или on-premise);
• углубленное понимание концепций масштабируемого хранения данных, хранилищ данных и больших данных;
• знакомство с контейнеризацией, практиками развертывания и CI/CD-пайплайнами;
• уверенное владение системами контроля версий и процессами совместной разработки (например, Git);
• развитые навыки лидерства в команде, наставничества и коллаборации;
• отличные способности к решению проблем, аналитическому мышлению и стратегическому планированию;
• умение эффективно доносить технические концепции как техническим, так и нетехническим стейкхолдерам;
• адаптивность и проактивная готовность осваивать новые инструменты и методологии.

*Планируемая к созданию и размещению (перспективная вакансия)