Инженер данных (Data Engineer)

Наша компания - АО «Оператор информационной системы» — дочернее предприятие ПАО «Интер РАО», созданное в 2018 году.

Сегодня при поддержке Минстроя РФ и Минцифры РФ мы проводим модернизацию ГИС ЖКХ для улучшения качества работы с пользователями.

Все изменения заложены в Плане развития (дорожной карте), утвержденной Правительством РФ.

Наша команда - профессионалы, которые выполняют амбициозные задачи.

В текущую команду ищем Инженера данных (Data Engineer)

Обязанности:

• Создание, настройка и поддержка ETL и ELT — процессов.
• Мониторинг работы аналитического контура ГИС ЖКХ.
• Контроль качества данных, очистка данных.
• Организация пайплайнов потоков данных.
• Разработка и поддержка ВЕБ-сервисов, API и CLI для работы с данными.
• Написание SQL запросов к БД.
• Написание кода на Python в ETL - инструментах (например, DAG Apache Airflow и пр).
• Участие в создании, описании, оптимизации и доработке структур хранения данных.
• Участие в администрировании и оптимизации работы используемых СУБД.
• Подготовка аналитических материалов в части работы ETL — процессов.
• Подготовка предложений по оптимизации и совершенствованию существующих процессов управления данными.

• Глубокие знания и опыт использования таких инструментов инструментов: Apache Kafka, Apache Airflow, Apache Nifi, Debezium
• Знание основ построения баз данных (опыт работы с СУБД PostgreSQL, ClickHouse, Greenplum)
• Знание основ построения аналитических хранилищ (Data Warehouse)
• Уверенные знания SQL
• Уверенные знания Python. Опыт работы с библиотеками Pandas, NumPy, SciPy и др.
• Опыт работы с ОС Windows и Linux.
• Умение работать с любыми источниками данных, в том числе не формализованными, загружать информацию с ВЕБ сайтов, FTP серверов, парсить HTML, XML, загружать данные из MS Excel и пр.
• Аналитическое мышление, умение работать с большими объемами данных

Будет плюсом:

• Опыт работы Pentaho Data Integration,

• Опыт работы со Spark, Livi,
• Опыт работы с BI - системами.

Что мы предлагаем:

Работа в офисе (гибрид);

Оформление по ТК РФ с первого рабочего дня;
Cтабильность и перспективы IT-компании;
Бронь от мобилизации;
Амбициозные задачи и работу на всероссийском проекте;
Полис ДМС, включая стоматологию, и полис выезжающего за границу;
Корпоративную мобильную связь;
Сильную команду профессиональных и отзывчивых коллег;
Возможности обучения и профессионального развития;

а также:

Лучшие виды на Москву-Сити: находимся на Набережной Т. Шевченко;
Транспортную доступность от станций метро: Кутузовская (и Кутузовская МЦК), Студенческая, Киевская;
Кухню в офисе со всем необходимым: холодильник, станция самообслуживания Милти, всегда вкусный кофе из собственной кофемашины;
Столовые в шаговой доступности от офиса.