Data Engineer

Описание вакансии

Эта вакансия размещена в рамках HR-направления нашего ИТ-агентства letitgo.agency. Мы помогаем найти специалиста не в нашу команду, а в штат компании-партнёра.

Обязанности:

Контроль качества данных, внедрение проверок и мониторинг корректности витрин.
Разработка и поддержка витрин данных.
Проектирование и оптимизация SQL-запросов.
Взаимодействие с командами продуктовой аналитики и бизнес-подразделениями для уточнения требований.
Подготовка документации и описание логики витрин и проверок.
Разработка ETL- процессов и пайплайнов (Airflow/Oozie/Spark).
Создание процедур контроля качества данных для витрин – разработка и внедрение проверок, гарантирующих точность, полноту и согласованность отображаемой информации.
Организация мониторинга проверок и оперативного реагирования на инциденты – построение системы наблюдения, автоматических оповещений и быстрых действий при обнаружении отклонений.
Разработка и согласование SLA с системами‑источниками данных, утверждение SLA с поставщиками.

Требования:

Знание SQL на уровне уверенного владения, есть опыт применения различных типов JOIN и оптимизации запросов.
Опыт работы с базами данных: PostgreSQL, Oracle, MSSQL, Cassandra, Redis, Greenplum.
Понимание принципов data quality (контроль, мониторинг, валидации).
Знание HDFS-стека: Hive, Spark (PySpark), Hue, Oozie, Airflow.
Навыки работы в терминале с HDFS.
Базовые навыки оптимизации хранения и доступа к данным.
Знание Python и наличие опыта анализа и обработки данных.
Желательно:
Опыт разработки проверок качества данных
Опыт решения задач с Bl-инструментами (PowerBl/Tableau)
Опыт потоковой обработки данных с помощью Kafka/Flink
Опыт работы с feature store/market инструментами
Опыт работы с внешними источниками данных (создание ETL процессов)
Понимание принципов работы ML/AI-моделей и требований к данным для их обучения.