Data Engineer

Мы ищем data engineer в компанию wildberries.ru. Wildberries.ru - крупнейший маркетплейс России. Каждый год обороты компании растут двузначными положительными темпами, также растёт и количество данных.

Вам предстоит работать над новыми фичами (минимум legacy-кода) - у проекта большие планы! Мы любим наш продукт, активно пользуемся собственными наработками и не жалеем времени и сил на исследования.

Нам сейчас очень нужны люди с хорошей экспертизой в data engineering и мы ждём интересных технологических/продуктовых идей. Уже сейчас наша команда состоит из людей ex-Yandex, ex-Mail.ru Group, и консультантов с опытом работы в Facebook (запрещено в России), Twitter (запрещено в России), Amazon.

Чем заниматься:

- поддерживать и развивать выбранную в компании модель данных (custom Data Vault), вносить обоснованные корректировки для улучшения;
- формировать и развивать архитектуру пайплайнов загрузки данных в зависимости от источников;
- формировать пайплайны для агрегации;
- автоматизировать процессы обработки данных, разрабатывать библиотеки.
- вести документацию по каталогу данных;
- проводить пропаганду эффективного написания SQL кода, делать письма на всех аналитиков и продактов с разбором интересных кейсов по оптимизации;
- обеспечить качество и доступность данных;
- заниматься наставничеством для новых младших коллег по команде.

Наш стек:

- python/go
- airflow
- redash/superset/custom
- hadoop
- clickhouse
- postgres
- greenplum
- elasticsearch
- kafka
- k8s
- gitlab / CI tools

Мы ожидаем, что Вы:

- отлично знаете существующие модели хранения данных, можете рассказать о преимуществах и недостатках каждого;
- любите качественный код, покрытие тестами там, где это необходимо;
- имели обширный опыт работы с большими данными (>10 Tb за сутки);
- заряжены на получение нового опыта и готовы вкладывать душу, верите в наш продукт.