Data Engineer в группу разработки хранилища конверсий (E-com)

E-com (Электронная коммерция) — одно из ключевых направлений развития Яндекс.Поиска. Наша миссия — совершенствовать выдачу по коммерческим запросам и делать процесс покупки максимально удобным для пользователя.

Мы — команда разработки хранилища конверсий ищем опытного разработчика для создания новых и поддержки существующих ETL-пайплайнов и инструментов обработки больших данных.

Наши данные:
– Помогают персонализировать поисковую выдачу для повышения комфорта покупки.
– Служат основой для глубокого анализа e-commerce Рунета: отслеживаем рост магазинов, популярность товаров, ценовые тренды и многое другое.

Чем предстоит заниматься:

Разработка и оптимизация
Работа с разнообразными источниками больших данных, оптимизация облачных вычислений, обеспечение надежности и качества итоговых данных.

Масштабирование инфраструктуры
Анализ и улучшение архитектуры контура расчетов для эффективной обработки постоянно растущих объемов данных без потери скорости.

Автоматизация аналитики
Разработка методов автоматического выявления взаимосвязей между поисковыми запросами в Яндексе и совершенными покупками.

Мы ждем, что вы:

– Имеете уверенные навыки программирования на Python и владеете SQL.
– Умеете анализировать "сырые" и неполные данные, находить корреляции и взаимосвязи между различными источниками.
– Понимаете базовые алгоритмы и структуры данных.

Будет плюсом, если вы:

– Имеете опыт решения сложных задач масштабирования и оптимизации в условиях больших объемов данных.
– Имеете опыт работы в технологической компании, особенно в сфере e-commerce или интернет-рекламы.
– Умеете эффективно работать в команде и взаимодействовать со смежными специалистами.
– Понимаете принципов парадигмы MapReduce и обработки больших данных.