Data engineer

Мы разработали методологию «Цифрового офиса строительства», которая реализована в проекте IYNO и позволяет распространить использование BIM на этап строительства и эксплуатации и получить цифровые преимущества на стройплощадке. IYNO — это платформа, основанная на технологии BIM, позволяющая застройщикам накапливать ДОСТОВЕРНЫЕ данные о ходе реализации инвестиционно-строительных проектов в режиме реального времени. Система обеспечивает сквозной процесс передачи информации между застройщиками, подрядчиками и банками, а также принятие обоснованных управленческих решений на основе больших данных.

Обязанности:

• Разработка процессов сбора, обработки и хранения данных с помощью SQL-запросов и Python;
• Оптимизация существующих процессов обработки данных, решение проблем, связанных с задержками доставки данных
• Развитие DWH на основе ClickHouse;
• Проектирование модели данных, построение аналитических витрин для операционной аналитики и интерактивных дашбордов
• Построение комплексных отчетов в ClickHouse в том числе на основе Event Sourced Data;
• Внедрение Superset как BI для DWH на ClickHouse;
• Организация аутентификации и авторизации Superset на основе существующего IDP решения.
• Взаимодействие с разработчиками и аналитиками по вопросам качества данных;
• Выявлять закономерности и улучшать качество аналитики;

• Уверенные знания SQL: агрегации, джойны, вложенные запросы, оптимизация запросов
• Хорошее понимание баз данных SQL и NoSQL (data modeling, data warehousing)
• Глубокое знание ClickHouse, опыт работы с Event Sourcing Projections будет плюсом
• Знание инструментов визуализации (PowerBI, SuperSet)
• Уверенно работать с python для анализа данных
• Понимание основ распределенных систем
• Опыт работы с большими данными
• Опыт разработки процессов загрузки и обработки данных из распределённых хранилищ
• Понимание принципов архитектуры OLAP систем
• Будет плюсом знание и опыт работы с данными в KAFKA (KSQLDB) и коннекторы к ClickHouse
• Будет плюсом знание и опыт Apache Airflow

• Официальное оформление в рамках ТК РФ;
• Удаленный формат работы;
• Крутую команду профессионалов и единомышленников;
• Оклад + ежеквартальная премия (после испытательного срока);
• Удаленный график работы, с гибким началом рабочего дня (8.00-11.00);
• ДМС после прохождения испытательного срока;
• Отсутствие бюрократии, гибкий подход ко всем процессам;
• Подарки детям на новогодние праздники.