Data Engineer

Чем предстоит заниматься:

• Реализацией программных модулей строго по техническому заданию;

• Модернизацией действующих хранилищ и проектированием архитектуры новых систем;

• Построением высокопроизводительных конвейеров для обработки крупных массивов данных на базе распределённых вычислительных фреймворков и брокеров сообщений;

• Ведением и актуализацией технической документации по всем разрабатываемым сервисам;

• Регулярным информированием руководителя о ходе выполнения задач и достигнутых результатах.

Для нас важно:

• Опыт работы в аналогичной роли от 3-х лет;

• Хранилище объектов (работа с S3-совместимыми системами);

• Распределённый SQL-движок для аналитических запросов к большим данным;

• Оркестратор задач и DAG-процессов;

• Реляционные базы данных (Postgres / Oracle / MySQL / MsSQL / DB2 и аналоги);

• Система контроля версий (Git: pull / commit / push / merge);

• Язык Python (базовый уровень для обработки данных);

• Глубокое знание SQL (индексация, оконные функции, оптимизация запросов, профилирование);

• Навыки работы с инструментами трансформации данных (ELT-подход);

• Понимание современных форматов хранения (столбцовые форматы, работа с партиционированием);

• Опыт проектирования многомерных хранилищ и понимание принципов Data Vault / dimensional modeling;

• Навыки использования систем трекинга задач (Jira / YouTrack / аналоги) и вики-систем для документации.

Главный принцип SkillStaff - Выбирай!

• РАЗНООБРАЗИЕ ПРОЕКТОВ. Выбирай из сотен компаний и проектов то, что интересно и полезно для твоего роста. SkillStaff помогает реализовывать ежегодно порядка 500 различных ИТ-проектов для крупного бизнеса.
• КОМФОРТ. SkillStaff — аккредитованная IT-компания, белая зарплата и удобный график работы. Создавай идеальные условия для своей работы: удаленная работа или возможность работать как в офисе клиента, так и в комфортном офисе SkillStaff в центре Москвы на Воздвиженке.
• РАЗВИТИЕ. Выбирай сам путь, по которому ты хочешь развиваться. Используй возможность обмена опытом и получение знаний через участие в разных проектах, совместную работу с высококвалифицированными коллегами.
• КУЛЬТУРА. Нашу культуру создают сами сотрудники – мы их слышим и помогаем развиваться, чтобы #вместе переходить на новый уровень!