Инженер данных в Эйчартех

Команда, которая выступает в роли основного заказчика, исследует внутренние коммуникации в компании: мероприятия, трансляции, крупные телеграм-каналы и другие внутренние площадки. Коллеги превращают обычные цифры в понятные выводы и действия, чтобы работа в Яндексе становилась комфортнее и интереснее для всех сотрудников. Наши инструменты помогают руководителям, специалистам по коммуникациям и владельцам медиа видеть настроение и потребности людей через данные.

Какие задачи вас ждут:

Проработка текущей системы
Команда работает с текстовыми данными: собирает из разных источников и хранит в разных источниках. Вам предстоит проводить аудит текущей системы сбора, обработки и хранения данных, выявлять уязвимые места. Затем описывать целевую, более простую и масштабируемую схему: как данные из разных источников будут приходить к унифицированному виду, как будет обеспечена масштабируемость, отказоустойчивость и «чистота» данных и многое другое.

Миграция на новую систему и её развитие
Предстоит составлять и реализовывать план миграции СХД на новые технологические решения, а в дальнейшем прорабатывать и развивать этот блок хранилища. Вы будете реализовывать сервисы и проекты, которые позволят внутреннему пользователю удобнее взаимодействовать с DWH.

Взаимодействие с бизнес-заказчиками и коллегами
Вы будете тесно общаться с аналитиками, заказчиками и держателями данных для улучшения качества поставляемых данных в DWH. Для работы над задачами вы будете приоритетно работать с командой внутренних коммуникаций как основным заказчиком, а также участвовать и в других проектах команды DWH в Эйчартехе вместе с другими коллегами-инженерами.

Мы ждем, что вы:

• Работаете инженером данных более трёх лет
• Уверенно владеете SQL и Python
• Знакомы с теорией устройства и создания DWH-систем
• Знаете, что такое MPP-СУБД, и имели опыт работы с подобными системами
• Имеете хорошее представление об устройстве хотя бы одной из СУБД: ClickHouse, Greenplum, MongoDB, PostgreSQL, SQL Server или Redis

Будет плюсом, если вы:

• Имеете опыт работы с PySpark
• Разрабатывали DWH-системы
• Работали с данными для HR-аналитики