Разработчик Big Data

Требования:

• Знания SQL и NoSQL, опыт работы с реляционными СУБД (PostgreSQL, Oracle, MySQL, MSSQL) — не менее 1 года.

• Базовые знания Apache Spark, Apache Kafka, Apache Airflow для построения и оркестрации data pipeline-ов.

• Навыки проектирования и реализации систем сбора, обработки и передачи данных.

• Опыт использования программного обеспечения для управления конфигурациями и CI/CD пайплайнами (GitLab CI, Jenkins и др.).

• Способность быстро разбираться в новых типах данных, формулировать уточняющие вопросы и предлагать архитектурные решения.

• Умение работать с большими объёмами данных, проводить их анализ и оптимизацию процессов обработки.

Обязанности:

• Автоматизация витрин и моделей данных.

• Развитие и автоматизация процессов деплоймента.

• Участие в улучшении процессов CI/CD.

• Повышение качества Data Governance и Data Quality (DQ).

• Написание парсеров для веб-ресурсов и файлов (включая бинарные).

• Создание и оптимизация производительности онлайн триггеров.Разработка REST-сервисов для работы с данными.

• Удаленный график работы;
• Покрытие мобильной связи;
• Возможности для саморазвития и роста (Coursera, Alpina, LinkedIn Learning, и др.);
• Медицинская страховка или конструктор льгот;
• Отпуск 28 календарных дней;
• Годовой бонус (при выполнении KPI);