Москва, проспект Вернадского, 41
Метро: Проспект ВернадскогоООО «Ростелеком Специальные решения» - новый «игрок» в области автоматизации и оптимизации процессов федеральных органов исполнительной власти.
Наша миссия - создавать надежные, инновационные и эффективные решения для повышения продуктивности госучреждений и органов исполнительной власти.
Приглашаем на позицию - Data Engineer.
Обязанности:
Проектирование и извлечение данных из источников (Postgres Pro);
Создание и оптимизация ETL/ELT-конвейеров для очистки, трансформации и загрузки данных;
Реализация механизмов мониторинга качества и целостности данных;
Проектирование, развертывание и формирование модели данных в аналитическом хранилище данных;
Разработка схемы данных (например, звезда, снежинка), оптимизация под конкретные паттерны запросов;
Наполнение аналитического хранилища данных (DWH) на основе колоночных СУБД;
Документирование процессов и решений;
Опыт коммерческой разработки и сопровождения ETL-процессов, знание принципов и паттернов ETL / ELT;
Опыт работы с реляционными СУБД (PostgreSQL)- как с источником данных;
понимание процессов, используемых для определения и отслеживания изменений в данных (CDC);
Продвинутый уровень SQL: умение писать и оптимизировать сложные запросы;
Опыт моделирования данных для аналитических хранилищ;
Навыки программирования на Python для задач ETL и автоматизации;
Знание инструментов оркестрации (Apache Airflow, NiFi);
Опыт работы с системами обработки данных (Kafka).
Дополнительным плюсом будет:
Понимание основ DevOps (Docker, Kubernetes, CI/CD);
Опыт работы с колоночными СУБД (ClickHouse);
Опыт кастомизации BI-интерфейсов: знание CSS / JavaScript;
Опыт работы с государственными информационными системами (ГИС) и понимание соответствующих требований безопасности (ФСТЭК);
Опыт работы с BI платформой Visiology.