ETL Developer

TS Dev

ETL Developer

Москва

Метро: Библиотека им.Ленина

Описание вакансии

Ищем ETL-разработчика, который умеет строить, поддерживать и оптимизировать процессы обработки и перемещения данных. Предстоит работать с SQL, Python, ETL/ELT-пайплайнами, оркестрацией процессов и архитектурой DWH, обеспечивая стабильность загрузок, качество данных и производительность решений.

Нам нужен специалист с практическим опытом разработки data-процессов, который умеет самостоятельно разбираться в источниках, находить причины сбоев, оптимизировать обработку больших объёмов данных и развивать существующую инфраструктуру.

Что будет в работе

Разрабатывать, поддерживать и оптимизировать ETL/ELT-процессы для извлечения, преобразования и загрузки данных из различных источников.

Реализовывать пайплайны обработки данных с использованием SQL, Python и Apache Airflow.

Интегрировать данные из реляционных БД, API, файловых источников и систем обмена сообщениями.

Разрабатывать инкрементальные загрузки, механизмы повторного запуска, обработки ошибок и восстановления процессов.

Реализовывать дедупликацию, проверку полноты, целостности и корректности данных.

Работать с архитектурой DWH, Data Lake и различными слоями хранения и обработки данных.

Оптимизировать SQL-запросы, процедуры загрузки, работу с индексами и производительность баз данных.

Разрабатывать и сопровождать DAG в Airflow, настраивать зависимости, расписания, retries, сенсоры и мониторинг выполнения.

Работать с распределённой обработкой данных и большими объёмами информации.

Участвовать в развитии инфраструктуры обработки данных, автоматизации процессов и улучшении качества существующих пайплайнов.

Разбираться в сбоях ETL-процессов, анализировать логи, выявлять причины проблем и реализовывать решения.

Что важно

SQL и базы данных

Уверенное владение SQL: сложные JOIN, CTE, подзапросы, оконные функции, агрегирование.

Опыт оптимизации запросов, анализа планов выполнения и поиска узких мест.

Понимание индексов, партиционирования, блокировок и принципов эффективной работы с БД.

Коммерческий опыт работы с PostgreSQL, Oracle, Greenplum или другими промышленными СУБД.

Опыт работы с PL/SQL или процедурным SQL — в зависимости от используемого стека.

ETL/ELT и обработка данных

Коммерческий опыт разработки и сопровождения ETL/ELT-процессов.

Понимание принципов извлечения, загрузки и трансформации данных из различных источников: БД, API, файлов, очередей.

Опыт разработки процессов загрузки, преобразования и переноса данных.

Понимание инкрементальных загрузок, CDC, обработки изменений и повторного запуска процессов.

Опыт обработки ошибок, дедупликации, контроля полноты и целостности данных.

Понимание особенностей обработки больших объёмов данных и оптимизации пайплайнов.

Python

Уверенное владение Python для разработки ETL-процессов и автоматизации обработки данных.

Опыт работы с библиотеками обработки данных.

Написание скриптов для загрузки, трансформации, проверки и автоматизации работы с данными.

Работа с API, файлами, логированием, обработкой исключений и ошибками выполнения.

Понимание принципов написания поддерживаемого и переиспользуемого кода.

Оркестрация и архитектура DWH

Практический опыт работы с Apache Airflow.

Разработка DAG, настройка зависимостей, расписаний, retries, сенсоров и мониторинга пайплайнов.

Понимание архитектуры Data Warehouse и Data Lake, принципов построения слоёв данных (ODS, DDS, Data Mart и аналогичных).

Понимание различий OLTP и OLAP, принципов моделирования и организации хранения данных.

Знакомство с Apache Spark, Hadoop, Hive или Impala и принципами распределённой обработки данных.

Инструменты и инфраструктура

Git: работа с репозиториями, ветками, коммитами и Merge Requests.

Linux: командная строка, работа с логами, запуск, мониторинг и диагностика процессов.

Docker: понимание контейнеризации приложений и окружений.

CI/CD: понимание процессов сборки, тестирования и доставки изменений.

Kafka / RabbitMQ: понимание принципов работы очередей и потоковой интеграции.

Jira, Confluence или аналогичные инструменты для командной работы и документации.

S3 / MinIO или аналогичные решения для объектного хранения данных.

Будет плюсом

Опыт работы с dbt: разработка моделей, трансформаций, тестов и документации данных.

Практический опыт работы с Apache Spark / PySpark.

Опыт работы с Kafka и потоковой обработкой данных.

Знание ClickHouse, Greenplum, Vertica или других аналитических СУБД.

Знакомство с Apache Iceberg, Delta Lake и современными форматами хранения данных.

Опыт внедрения автоматизированных проверок качества данных (Data Quality).

Понимание MPP-архитектуры и распределённых вычислений.

Опыт миграции DWH, ETL-процессов и модернизации инфраструктуры обработки данных.

Опыт работы с банковскими, финансовыми или высоконагруженными системами.

Английский

Умение читать техническую документацию на английском языке.

Процесс

Короткое знакомство и обсуждение опыта с рекрутером.

Техническое интервью / TechCertify-скрининг.

Передача профиля на подходящие проекты клиентам.

Если вам интересно развивать процессы обработки данных, создавать надёжные пайплайны и работать с производительными решениями в области Data Engineering

Навыки
  • SQL
  • JOIN, CTE
  • PostgreSQL
  • ORACLE
  • Greenplum
  • PL/SQL
  • ETL/ELT
  • Python
  • DWH
  • Apache Airflow
  • Data Warehouse
  • Data Lake
  • Docker
  • CI/CD
  • Kafka / RabbitMQ
Посмотреть контакты работодателя

Адрес

Похожие вакансии

X5 Tech
  • Москва

  • Не указана

Рекомендуем
Amex Development
  • Москва

  • Не указана

Рекомендуем
СИНЕРГИЯ
  • Москва

  • до 200000 RUR

Рекомендуем
Miles&Miles

Python developer

Miles&Miles

  • Москва

  • до 350000 RUR

Amex Development
  • Москва

  • до 350000 RUR

RWB (Wildberries & Russ)

Python разработчик в WB Chat

RWB (Wildberries & Russ)

  • Москва

  • до 350000 RUR

USETECH
  • Москва

  • до 350000 RUR

Finstar Financial Group
  • Москва

  • до 350000 RUR

Ренессанс Банк

Support DWH, ODS , ETL, IPC

Ренессанс Банк

  • Москва

  • до 350000 RUR

85 Тех
  • Москва

  • до 350000 RUR

Северсталь

Python-разработчик

Северсталь

  • Москва

  • до 350000 RUR

Спортмастер

Oracle developer (+Delphi+Vue+Go)

Спортмастер

  • Москва

  • до 350000 RUR

Объединенное Кредитное Бюро

Старший инженер-программист

Объединенное Кредитное Бюро

  • Москва

  • до 350000 RUR

Bip.ru
  • Москва

  • до 250000 RUR

Кадровое агентство HireWay

Senior Java Backend Developer

Кадровое агентство HireWay

  • Москва

  • до 390000 RUR

Кадровое агентство HireWay

Middle Java Backend Developer

Кадровое агентство HireWay

  • Москва

  • до 250000 RUR

Хотите оставить вакансию?

Заполните форму и найдите сотрудника всего за несколько минут.
Оставить вакансию