Data Engineer

Мы - Wildberries, крупнейший маркетплейс России, который создают более 4-х тысяч IT-специалистов. Мы создаем сервисы для себя - это различная автоматизация процессов логистики/складов/ПВЗ и многое другое.

В связи с расширением команды находимся в поиске Data Engineer в Департамент ПВЗ.

Стек технологий: Python/Go, SQL (ClickHouse, PostgreSQL), Kubernetes (K8s), Kafka.

Основные задачи:

• Разработка новых и оптимизация существующих ETL-процессов;
• Разработка и сопровождение сервисов, компонентов и процессов для потоковой и пакетной выгрузки данных из корпоративных систем в контур платформы данных;
• Взаимодействие с командами DevOps и DBA по настройке окружений, деплою и работе с инфраструктурой;
• Реализация процессов CI/CD и мониторинга разработанных процессов;

Требования:

• Продвинутый уровень владения Python и SQL;
• Умение разрабатывать production-ready сервисы для деплоя в Kubernetes;
• Навыки работы с Kafka и понимание её внутреннего устройства;
• Опыт применения концепций непрерывной интеграции и доставки (CI/CD);
• Опыт построения пайплайнов для потоковой и пакетной выгрузки/обработки данных;
• Опыт оптимизации запросов и проектирования схем данных.

Будет плюсом:

• Знание Go;
• Опыт работы с Apache Airflow;
• Понимание основ DataOps и опыт внедрения CI/CD для областей данных;
• Опыт работы с PostgreSQL, ClickHouse;
• Опыт проектирования высоконагруженных приложений;
• Знание архитектуры и принципов построения хранилищ данных.

Условия:

• Гибридный или удаленный формат работы;
• Использование современного технологического стека;
• Оформление по ТК РФ;
• Максимум возможностей для профессиональной самореализации;
• Разные бонусы компании: партнерские программы по обучению и фитнесу, бесплатное корпоративное питание для сотрудников в офисе.