Data Quality Engineer
Data Quality Engineer
Москва, Ленинградский проспект, 39с80
Метро: АэропортОписание вакансии
Обязанности:
- Мониторинг качества Feature Store - настройка проверок на платформе Evidently, сверка логики сбора фичей с продовым скорингом, выявление деградации и расхождений;
- Поддержка и развитие существующих проверок качества данных;
- Внедрение автоматических проверок на этапах загрузки (Soda Core);
- Настройка дашбордов в Grafana;
- Синхронизация наполнения OpenMetaData;
- Аудит пользовательских витрин: анализ использования, выявление неиспользуемых и ресурсоёмких объектов;
- Взаимодействие с аналитиками BI для корректного построения источников данных.
- Стек технологий :
Python, SQL, Apache Airflow, Soda Core, Grafana, OpenMetaData, Git, Trino, Apache Iceberg, Evidently - Опыт коммерческой разработки на Python от 1 года (именно для data-инженерии);
- Продвинутый SQL (оконные функции, CTE, объединения, подзапросы);
- Опыт написания DAG в Apache Airflow;
- Практический опыт внедрения проверок качества данных (Soda Core или аналоги);
- Понимание принципов Data Quality: уникальность, полнота, свежесть, согласованность, распределение;
- Знание принципов настройки мониторинга данных (Grafana);
- Знание каталогов метаданных (OpenMetaData или аналоги);
- Готовность взаимодействовать с BI-разработчиками (Qlik, Power BI).
- Официальное трудоустройство и стабильная заработная плата;
- Удаленный формат работы;
- Возможности профессионального и карьерного роста внутри банка;
- ДМС после испытательного срока.
Навыки
- Data Quality Engineer
- DQE
- Data Quality
- Python
- SQL
- Airflow
- Soda Core
- Grafana
- OpenMetaData
- Evidently
- DQ-тесты
Адрес
Похожие вакансии
Москва
до 200000 RUR
