Data Engineer / Дата Инженер

Баку

Описание вакансии

Кадровое агентство Brightman ищет Data Engineer с опытом от 2 лет.

По вакансии предусмотрен переезд в Баку, Азербайджан; релокационный пакет.

Наш клиент — крупная компания, работающая по следующим направлениям: искусственный интеллект, машинное обучение, Data Science, Big Data, государственные цифровые инициативы и платформенные решения.

Обязанности:

разработка и поддержка ETL/ELT-пайплайнов;
проведение валидации данных, мониторинга и контроля качества;
интеграция и обработка структурированных и неструктурированных наборов данных из различных систем;
предоставление чистых и хорошо структурированных наборов данных командам аналитики, ML/AI и другим подразделениям организации;
участие в архитектурных обсуждениях и постоянное совершенствование инженерных практик;
поддержка воспроизводимых рабочих процессов и обеспечение качественной документации.

Требования:

опыт проектирования, разработки и поддержки надежных дата-пайплайнов от 2 лет;
степень бакалавра в области компьютерных наук, инженерии;
уверенные знания SQL и навыки программирования (Python, SQL; PostgreSQL или аналоги);
понимание концепций приёма, трансформации и оркестрации данных (Airflow или аналоги);
знакомство с принципами пакетной и потоковой обработки данных (Spark, Kafka или аналогичные фреймворки);
опыт работы с как минимум одной крупномасштабной платформой данных (облачной или on-premise);
знание концепций масштабируемого хранения данных, хранилищ данных и больших данных;
знакомство с практиками контейнеризации и развертывания;
уверенное владение системами контроля версий и навыками совместной разработки;
умение работать в команде и эффективно взаимодействовать с коллегами;
развитые навыки решения проблем и аналитического мышления;
адаптивность и готовность осваивать новые инструменты и методы;
уровень английского — В1−В2.