Разработчик Hadoop

Bell Integrator

Разработчик Hadoop

Описание вакансии

Обязанности:
  • Разработка и поддержка ETL-процессов на базе Apache Hadoop (Hive, Spark, возможно, HBase, Hue для обработки и анализа больших объемов данных)
  • Разработка и построение витрин данных (SQL, PL/SQL, PostgreSQL);
  • Реализация логики обработки и обогащения данных.
  • Интеграция с Apache Kafka: чтение, обработка и запись данных в топики.
  • Взаимодействие с целевыми системами для передачи обработанных данных.
  • Участие в проектировании архитектуры витрин данных.
  • Оптимизация производительности и мониторинг пайплайнов.
Требования:​​​​​​​
  • Опыт коммерческой разработки на Java от 2 лет.
  • Практический опыт работы с реляционными БД (PostgreSQL), приветствуется опыт с функциями, хранимыми процедурами, триггеры, OLAP-кубы);
  • Практический опыт работы с экосистемой Hadoop: Hive, Spark от 2 лет.
  • Опыт работы с Apache Kafka: понимание принципов работы продюсеров и консьюмеров.
  • Понимание принципов построения ETL/ELT-процессов.
  • Знание SQL и опыт работы с базами данных, оптимизации запросов
  • Опыт работы с системами контроля версий (Git).
  • Умение работать в команде, ответственность, желание развиваться в Big Data.

Будет плюсом:

  • Опыт работы с CI/CD (Jenkins, GitLab CI).
  • Знание Scala или Python для обработки данных.
  • Опыт работы с Docker/Kubernetes.
  • Понимание принципов Data Governance и Data Quality.
  • Опыт разработки приложений на микросервисной архитектуре;
  • Опыт разработки высоконагруженных, многопоточных приложений.
Условия:
  • ​​​​​​​​​​​​​​Возможность профессионального и карьерного роста в компании, возможность поучаствовать в разных проектах;
  • Опыт работы в распределенной команде профессионалов;
  • Уровень заработной платы обсуждается индивидуально;
  • Возможность работать удаленно по Москве, Санкт-Петербургу, Сочи, Нижнему Новгороду.
Посмотреть контакты работодателя

Похожие вакансии

Bell Integrator
  • Москва

  • Не указана

Рекомендуем
Bell Integrator
  • Москва

  • Не указана

Рекомендуем
Bell Integrator
  • Москва

  • Не указана

Рекомендуем
Bell Integrator
  • Москва

  • Не указана

Bell Integrator
  • Москва

  • Не указана

Ренессанс cтрахование, Группа

Разработчик хранилища данных (MS SQL)

Ренессанс cтрахование, Группа

  • Москва

  • Не указана

Дом Лента
  • Москва

  • Не указана

Лига Цифровой Экономики

Java-разработчик

Лига Цифровой Экономики

  • Москва

  • Не указана

  • Москва

  • Не указана

T2
  • Москва

  • Не указана

evrone.ru
  • Москва

  • до 330000 RUR

Стрит Фалькон
  • Москва

  • от 200000 RUR

Тех Солюшен

Java-разработчик

Тех Солюшен

  • Москва

  • до 250000 RUR

Bell Integrator
  • Москва

  • до 250000 RUR

Банк Русский Стандарт
  • Москва

  • до 250000 RUR

МАГНИТ, Розничная сеть

Главный разработчик (Senior Data Engineer)

МАГНИТ, Розничная сеть

  • Москва

  • до 250000 RUR

Bell Integrator
  • Москва

  • до 250000 RUR

RWB (Wildberries & Russ)

Разработчик БД

RWB (Wildberries & Russ)

  • Москва

  • до 250000 RUR

Хотите оставить вакансию?

Заполните форму и найдите сотрудника всего за несколько минут.
Оставить вакансию