Data Engineer

BGStaff IT Recruitment Agency – кадровое IT-агентство. С 2016 года наша команда помогает компаниям находить идеальных IT-специалистов для работы в России и за границей.

Наша команда успешно работает как удаленный и сплоченный хаб талантов. Мы будем рады принять тебя в атмосферу нашей команды, где ценят системный подход, взаимоподдержку и результат. Мы уважаем амбициозных, вдумчивых, клиентоориентированных и нестандартно мыслящих специалистов.

Наша миссия: Соединять лучшие IT-таланты с теми, кто создает технологии будущего, становясь надежным стратегическим партнером для наших клиентов.

Обязанности:

• Анализ источников данных в легаси БД MSSQL: сбор информации о наполнении, выявление ключевых бизнес-сущностей и зависимостей, регламентных операций;
• Проектирование и оптимизация потоков переноса данных из MSSQL в новое хранилище;
• Разработка и поддержка моделей данных;
• Организация и автоматизация процессов оркестрации с Airflow: запуск, мониторинг, алерты, управление зависимостями тасок и дагов;
• Обеспечение качества, тестирование данных и их целостности при миграции и трансформации;
• Внедрение и сопровождение процессов инкрементальной загрузки и оптимизации производительности;
• Работа с потоками данных и интеграция с Kafka для обмена и передачи событий в реальном времени.

• Опыт работы с данными;

• Глубокое понимание реляционных БД: структура данных, методы загрузки и управления;

• Навыки разработки и оптимизации сложных SQL-запросов, включая использование оконных функций, CTE и маппингов между БД;

• Умение проектировать и создавать модели данных, ориентированные на аналитические задачи и эффективное функционирование DWH;

• Знание принципов нормализации и денормализации, типов схем (звезда, снежинка) и их правильное применение;

• Способность строить стабильные и масштабируемые модели данных с учётом особенностей источников и целевых систем;

• Владение методологиями Data Vault и другими современными подходами для обеспечения прозрачности, истории изменений и восстановления данных;

• Опыт в документировании моделей и обеспечении их совместимости с процессами ETL/ELT и бизнес-метриками;

• Способность управлять изменениями моделей при росте объёмов данных и корректировках аналитических требований;

• Навыки создания и поддержки ETL/ELT конвейеров;

• Опыт оркестрации процессов средствами Apache Airflow, настройка DAG, автоматизация и мониторинг ETL задач;

• Понимание методологии и практик DataOps для версионирования моделей, тестирования, мониторинга и безопасного разворачивания;

• Владение навыками документирования процессов и работы с технической документацией;

Практический опыт работы с технологиями:

• язык программирования: Python

• объектное хранилище: S3

• стриминг данных: Kafka

• реляционные СУБД: Postgres, MSSQL

• NoSQL: MongoDB

• аналитическая СУБД: Clickhouse;

Будет плюсом:

• Знание систем контроля версий (Git), контейнеризации (Docker);

• Опыт работы на проектах в компаниях финтех.

• Умение разрабатывать модели данных и трансформации с помощью dbt, знание SQL и шаблонизации в dbt

• Обсуждаемую ЗП по вашим навыкам и грейду
• 100% удаленную работу
• Оформление по ИП с нашей поддержкой
• Несколько проектов на выбор
• Карьерный рост без постоянных поисков работы

Как начать:
Откликнитесь на вакансию
Пройдите собеседование с рекрутером
Попадите на бенч и получайте предложения по проектам