Data Engineer в Data Lake

Чем предстоит заниматься:

• Изучение сырых данных, как на источнике, так и в Storage
• Тесное взаимодействие с командами Data Science и ML
• Разбор и устранение сложных инцидентов производительности в ClickHouse, PySpark
• Проектирование и построение витрин данных в ClickHouse
• Разработка и модификация ETL/ELT-процессов для Data Mart
• Проведение код-ревью

Вам потребуется:

• Опыт работы от 3 лет (на аналогичной позиции или схожей)

• Практический опыт построения платформ данных с использованием Apache Iceberg на S3-совместимых хранилищах или Hadoop

• Уверенное владение Python (включая PySpark)

• Продвинутый опыт работы со PySpark (batch) с большими объемами данных

• Опыт проектирования таблиц в ClickHouse

• Опыт опыт работы с ClickHouse

• Отличное знание SQL и опыт оптимизации под большие объёмы данных

• Разработка, оптимизация и масштабирование ETL/ELT-процессов

• Разработка и поддержка витрин данных для аналитики и бизнес-отчетности

• Взаимодействие с аналитиками, специалистами Data Science и ML
• Понимание принципов Data Lake / Data Lakehouse

Будет плюсом:

• Опыт работы с Hive
• Опыт работы Apache Airflow
• Понимание принципов MLOps
• Опыт работы с Kafka
• Опыт работы со Spark ( streaming)
• Понимание принципов Lakehouse
• Опыт работы с кластером ClickHouse
• Участие в проектировании и развитии архитектуры хранилищ данных (DWH) и озёр данных (Data Lake);
• Понимание различных моделей данных (Star/Snow?ake, Data Vault, Anchor Modeling

Мы предлагаем:

• Профессиональное развитие в крупной MedTech компании
• Оформление по ТК РФ с первого дня в дочернюю аккредитованную ИТ компанию
• Удаленный/ гибридный формат работы
• Здоровье и поддержка: полис ДМС с телемедициной, консультациями узких специалистов и психотерапевта. Корпоративные скидки до 50% на все виды медицинских услуг для вас и ваших близких
• + 3 дня оплачиваемых выходных
• Подарок на День рождения и для детей к Новому году и Дню знаний
• Внутреннее и внешнее обучение, семинары, тренинги
• Корпоративные скидки и эксклюзивные специальные предложения от 800+ партнеров (товары, обучение, спорт, здоровье, рестораны, отдых)
• Вознаграждение за рекомендацию друзей в команду ИНВИТРО

Предлагаем насыщенную жизнь в компании! Проводим корпоративные и спортивные мероприятия, профессиональные соревнования, конкурсы для сотрудников и членов семьи. В компании у каждого сотрудника имеется возможность для профессионального и карьерного роста.