Data Engineer
Data Engineer
Санкт-Петербург, улица Марата, 69-71
Описание вакансии
-
Участие в миграции данных и процессов с MS SQL на Postgres Pro
-
Построение и сопровождение CDC-процессов из PostgreSQL в DWH на ClickHouse
-
Разработка и поддержка ETL/ELT-пайплайнов (Airflow, Python, SQLMesh) - Оптимизация запросов и структур данных, диагностика проблем производительности
-
Администрирование БД
-
Взаимодействие с пользователями БД по вопросам архитектуры и нагрузки
-
Описание источников и моделей данных в каталоге данных на OpenMetadata
-
Передача экспертизы команде: стандарты, документация, ревью решений
- Высшее образование (ИТ, точные науки, инженерное)
- Опыт работы от 3-х лет по специальности
- Глубокое понимание архитектуры PostgreSQL: MVCC, WAL, autovacuum, планировщик, блокировки
- Опыт работы с HA-кластерами PostgreSQL (Patroni, BiHA или аналоги): понимание механизмов failover и switchover, их влияние на приложения и потоки данных
- Понимание физической и логической репликации и их влияния на нагрузку
-
Практический опыт построения CDC (Debezium, логическая репликация или аналоги)
-
Умение анализировать планы выполнения и оптимизировать запросы - Опыт проектирования индексов и партиционирования
-
Уверенное владение Python и опыт работы с Apache Airflow Будет плюсом опыт работы со следующими технологиями: Postgres Pro, ClickHouse
-
Опыт эксплуатации HA-кластеров PostgreSQL (Patroni или аналоги)
-
Опыт работы с OpenMetadata или другими каталогами данных
-
Опыт работы с трансформационными пакетами dbt или SQLMesh
- Работа в одной из крупнейших управляющих компаний России
- Полное соблюдение требований трудового законодательства
- Бонусы по итогом года
- Социальный пакет (ДМС + другие виды страхования для работников, дни самозаботы)
- Корпоративные мероприятия
Навыки
- Python
- SQL
- Apache Airflow
- SQLMesh
- PostgreSQL
Адрес
Похожие вакансии
Senior Programmatic AdTech Engineer / Fullstack разработчик (офис, Санкт-Петербург)
Дартс рекрутинг сервисез
Санкт-Петербург
до 350000 RUR
