Data Engineer

Мы - крупнейший ритейлер в офлайне и онлайне в РФ.

Детмир-тех помогает Детскому миру, Зоозавру и ЕЩЁ становиться технологичнее.
В цифрах:

• 3 страны присутствия

• более 1300 магазинов

• более 440 городов

• 300 000 заказов в сутки

• до 1.5 млн уникальных пользователей в сутки, более 6 млн в месяц

• 30+ сервисов

• 10+ продуктов

Сейчас мы ищем опытного Инженера данных в команду

Что нужно делать?

• Проектирование, разработка и поддержка витрины данных hadoop clickhouse
• Разработка алгоритмов выгрузки, обработки, хранения данных (ETL) из разных систем, интеграция с внешними системами
• Автоматизация процессов обновления данных
• Разработка правил и процедур контроля качества данных
• Помогать коллегам DA
• Техническая поддержка наших инструментов
• Разработка MVP визуала в Superset

Наш стек:

• последние версии Apache Spark (scala)
• Jupyterhub
• Hadoop 3
• ClickHouse
• Superset
• Airflow
• Docker, Kubernetes
• GitLab для CI/CD

Наши ожидания:

• Знания SQL
• Написание витрин на scala Dataset API
• Понимание жизненного цикла разработки ПО, культуры CI/CD
• Опыт создания и оптимизации Spark batch jobs
• опыт работы с Airflow, умение создавать DAG'и, состоящие из Task и Sensor
• Опыт участия в проектах построения DWH и Data Lake в роли ETL-разработчика – от 3 лет
• Умение писать чистый поддерживаемый код и техническую документацию

Мы предлагаем:

• Официальное трудоустройство по ТК РФ: мы заключим с вами срочный трудовой договор на 6 месяцев

• Оформление в аккредитованную ИТ компанию
• Комфортный современный офис в районе мцк/мжд/метро Окружная (пешая доступность) или метро Петровско-Разумовская (10 минут на транспорте)
• График работы: 5/2, гибкое начало рабочего времени, работа в офисе, гибридный график (частично-удаленный формат работы) или удаленный формат на выбор
• Хорошая техническая оснащенность: Современный макбук