Backend-разработчик в Маркет

DMP Маркета — платформа для обработки данных хранилища Маркета. Мы создаём инструменты для DWH, BI и аналитиков данных и стремимся сделать их работу максимально удобной и эффективной. Наша команда из 6 человек работает над разнообразными проектами — от доработки движка Map-Reduce до использования LLM для генерации нейминга полей в хранилище. Мы ценим гибкость и умение взаимодействовать с заказчиками.

Перед нами стоят амбициозные цели: оптимизировать потребление вычислительных ресурсов на 20% CPU (а это тысячи ядер), внедрять новые технологии и распространять наши инструменты на весь Яндекс. Если вы талантливый разработчик и готовы принять вызов — присоединяйтесь к нам!

Развитие инфраструктуры
При обработке больших данных остро встает проблема производительности HDD. Для уменьшения нагрузки на диски необходимо доработать основной Map-Reduce инструмент для обработки и анализа данных - YQL (Yandex Query Language), чтобы данные между нодами расчета передавались через хранилище в RAM.

Разработка ETL инструментов, которыми пользуется весь Яндекс
Нашими инструментами пользуются не только в Маркете, но и в различных подразделениях Яндекса.
Например - сервис кэширования результатов SQL запросов при использовании BI инструмента DataLens. Данным сервисом пользуются во всем Яндексе. Только в Маркете количество пользователей более 1500.

Улучшение пользовательского опыта и эффективности
Наши пользователи - это Дата инженеры и Аналитики, взаимодействующие с различными продуктовыми данными. Для них мы создаем инструменты которые увеличивают их эффективность и позволяют удобно пользоваться инфраструктурными сервисами. Вам предстоит интегрироваться с инструментами из других частей Яндекса для создания бесшовного опыта. Участвовать в проектах для улучшения эффективности и стабильности, используя, в том числе, технологий LLM.

• Отлично знаете Python.
• Знаете базовые принципы и паттерны проектирования ПО.
• Стремитесь писать код, который легко читать и поддерживать.
• Имеете опыт работы с заказчиками (сбор требований, ведение проектов).

• Имеете опыт разработки на C++, Java.
• Работали с MPP-хранилищами (Greenplum, ClickHouse и т. д.).
• Знакомы с LLM и используете модели в работе, разрабатывали на основе GPT свои инструменты.
• Знаете слои DWH, модели хранения данных и процессы ETL.
• Понимаете принципы работы технологий распределённой обработки данных (Spark, Spark Streaming, Flink, MapReduce).