Data Engineer (DataLens / ClickHouse / BI Migration)

Компания Cinimex – разработчик ПО и системный интегратор. Мы работаем с российскими банками ТОП-20, ритейлерами, производственными и добывающими компаниями. К своему 29-летию компания имеет уникальный опыт разработки программных решений и продолжает развивать свою экспертизу: разработка на микросервисной архитектуре, машинное обучение и искусственный интеллект, IoT, продуктовое направление и автоматизация предприятий.

Сейчас мы в поисках Data Engineer на проект по миграции BI-отчетности из Power BI в DataLens.

Задачи:

• Разработка SQL-скриптов в ClickHouse для загрузки и преобразования данных между слоями хранилища: Raw, Core, Data Mart.
• Разработка Python-компонентов для извлечения данных из Microsoft SQL Server и загрузки в Raw-слой ClickHouse;
• Настройка и сопровождение ETL/ELT-процессов в Apache Airflow;
• Проектирование структуры таблиц и моделей данных в ClickHouse;
• Подготовка витрин данных для построения отчётности в Yandex DataLens;
• Настройка инкрементальной загрузки данных, контроль полноты и корректности загрузок;
• Использование Yandex Data Transfer для репликации и переноса данных между системами;
• Оптимизация SQL-запросов, структуры таблиц, партиционирования и ключей сортировки в ClickHouse;
• Реализация механизмов обработки ошибок, повторного запуска и восстановления ETL-процессов;
• Настройка логирования и мониторинга процессов загрузки данных;
• Проведение сверки данных между Microsoft SQL Server, Power BI и целевыми витринами ClickHouse;
• Анализ существующих источников данных и логики формирования показателей в Power BI;
• Участие в декомпозиции требований к витринам совместно с аналитиками и разработчиками Yandex DataLens;
• Подготовка технической документации по реализованным загрузкам, трансформациям и структурам данных;
• Участие в тестировании, исправлении дефектов и передаче разработанных процессов в промышленную эксплуатацию.

Требования:

• Практический опыт работы в роли Data Engineer от 1 года;
• Уверенное знание SQL;
• Опыт разработки и оптимизации запросов в ClickHouse;
• Опыт построения ETL/ELT-процессов;
• Опыт разработки на Python для задач интеграции и обработки данных;
• Практический опыт работы с Apache Airflow (разработка DAG, настройка зависимостей, обработка ошибок, повторные запуски, мониторинг выполнения);
• Опыт интеграции с Microsoft SQL Server;
• Понимание принципов построения многослойного хранилища данных: Raw, Core, Data Mart;
• Опыт реализации полных и инкрементальных загрузок;
• Понимание принципов контроля качества и сверки данных;
• Навыки работы с Git.

Будет плюсом:

• Опыт работы с Yandex Data Transfer;
• Опыт работы с сервисами Yandex Cloud;
• Опыт подготовки источников и витрин для Yandex DataLens;
• Опыт участия в проектах миграции BI-отчётности;
• Понимание структуры и принципов работы Power BI, включая Power Query, модели данных и DAX;
• Опыт анализа существующей BI-логики и переноса расчётов из BI-инструмента на уровень хранилища данных;
• Опыт работы с большими объёмами данных и оптимизации производительности ClickHouse;
• Опыт настройки мониторинга и оповещений для ETL-процессов;
• Опыт работа в фарм. отрасли или ретейле;
• Наличие сертификатов.

Мы предлагаем:

• Работу в аккредитованной IT-компании;
• Возможность работать удалённо или в одном из комфортных офисов в шаговой доступности от метро;
• Гибкое начало рабочего дня: с 08:00 до 11:00 (по МСК);
• ДМС со стоматологией, телемедициной и полисом ВЗР;
• Возможность взять больничный без больничного: 7 дней в году;
• Поэтапную адаптацию от hr и линейного руководителя;
• Ревью и развитие: оцениваем результаты, обсуждаем карьерные цели и выстраиваем индивидуальный план развития;
• IT-конференции, курсы, тренинги и сертификации за счет компании;
• Корпоративный английский;
• Развитие личного бренда: готовим спикеров к выступлениям на конференциях, помогаем в написании статей;
• Внутренние митапы, онлайн/офлайн активности (квизы, вечера настольных игр, спортивные мероприятия).