Senior Data Engineer

RedLab

Senior Data Engineer

Описание вакансии

Ты сможешь получить опыт и раскрыть свой потенциал, работая над уникальными технологичными проектами наших клиентов.

Ты фокусируешься на технических задачах, а мы берем на себя переговоры с заказчиком, решение бюрократических вопросов и своевременно оплачиваем работу на проекте.

Приглашаем Системного аналитика для работы на IT-проектах наших клиентов (в формате аутстафф).

Задачи:

Проектирование, разработка и сопровождение масштабируемых решений по интеграции, обработке и хранению данных в корпоративной платформе данных;

Разработка и оптимизация batch-и streaming-пайплайнов для загрузки, трансформации и публикации данных;

Разработка ETL/ELT-процессов с использованием современных инструментов обработки данных;

Проектирование моделей данных для аналитических и операционных сценариев;

Оптимизация производительности процессов обработки данных и SQL-запросов;

Обеспечение качества данных: реализация механизмов валидации, мониторинга и контроля полноты данных;

Участие в проектировании архитектуры платформы данных и выборе технологических решений;

Внедрение и развитие практик DataOps и CI/CD для процессов обработки данных;

Подготовка технической документации и архитектурных артефактов;

Проведение код-ревью, техническое менторство и участие в развитии команды;

Для выполнения задач необходимы:

Опыт работы Data Engineer от 5 лет;

Знание методологии Data Vault 2.0;

Уверенные знания Python/Scala/Java для разработки ETL/ELT-процессов и сервисов обработки данных;

Отличное знание SQL, опыт оптимизации сложных запросов и работы с большими объемами данных;

Опыт проектирования и разработки промышленного Data Warehouse, Data Lake или Lakehouse решений.

Практический опыт работы с Apache Spark;

Опыт работы с Apache Airflow, Apache Kafka;

Опыт работы с системами потоковой обработки данных:

Опыт работы с распределенными файловыми системами и форматами хранения данных: HDFS, Parquet, Avro;

Опыт работы с экосистемой Hadoop или современными платформами хранения и обработки данных;

Опыт работы с реляционными СУБД (PostgreSQL, Oracle, Clickhouse, Greenplum);

Уверенное владение Git и понимание процессов CI/CD;

Опыт работы с системами управления задачами и документацией (Jira, Confluence или аналоги);

Понимание принципов построения отказоустойчивых и масштабируемых решений;

Опыт использования dbt для построения трансформационных слоев данных;

Практика внедрения Data Quality решений (Great Expectations, Soda и др.);

Опыт работы с Data Catalog и Data Governance инструментами.

Мы предлагаем:

Удаленную работу - возможность работать из любого города;

Своевременные выплаты;

Интересные и уникальные IT-проекты в крупных компаниях;

Скидки от партнеров - английский язык, обучение, покупки;

Корпоративная библиотека

Посмотреть контакты работодателя

Похожие вакансии

Amex Development
  • Москва

  • Не указана

Рекомендуем
  • Москва

  • Не указана

Рекомендуем
IBS
  • Москва

  • Не указана

Рекомендуем
X5 Tech
  • Москва

  • Не указана

Островок
  • Москва

  • Не указана

RedLab
  • Москва

  • Не указана

СИНЕРГИЯ
  • Москва

  • до 200000 RUR

Профи.ру
  • Москва

  • до 200000 RUR

evrone.ru
  • Москва

  • до 200000 RUR

Альфа-Банк
  • Москва

  • до 200000 RUR

Флаувау

Senior Data Engineer

Флаувау

  • Москва

  • до 200000 RUR

Фаззи Лоджик Лабс
  • Москва

  • до 200000 RUR

SkillStaff
  • Москва

  • до 200000 RUR

Orion soft
  • Москва

  • до 200000 RUR

Маркетинг Солюшнз

DevOps-инженер

Маркетинг Солюшнз

  • Москва

  • до 300000 RUR

ГК Орбита
  • Москва

  • до 350000 RUR

ТЕХНОНИКОЛЬ

Data Engineer

ТЕХНОНИКОЛЬ

  • Москва

  • до 350000 RUR

Хотите оставить вакансию?

Заполните форму и найдите сотрудника всего за несколько минут.
Оставить вакансию