Junior Data Engineer

ЭКОПСИ Консалтинг – лидер рынка управленческого и HR-консалтинга в России. У нас работают люди, возглавляющие списки самых авторитетных и востребованных экспертов в области управления персоналом в стране.
Наши клиенты – компании из ТОП-100 РБК, 9 из 10 крупнейших компаний России, более 30-ти лет успешно реализуем масштабные проекты для компаний 20+ отраслей бизнеса России и СНГ.

Мы создаем современную платформу для глубокой аналитики данных проведенных исследований. Вам предстоит стать ключевым участником команды, которая разрабатывает отказоустойчивое и масштабируемое хранилище данных (Data Lakehouse), объединяющее тысячи гигабайт новых данных из ClickHouse с историческими данными из различных источников. Мы предлагаем возможность работать с современным стеком технологий на реальной задаче построения хранилища данных с нуля. Вам предстоит решать интересные инженерные задачи и напрямую влиять на архитектурные решения.

Обязанности:

• Разработка и поддержка ETL/ELT-процессов: создание, оптимизация и сопровождение надежных конвейеров данных для загрузки, очистки, трансформации и обогащения информации из разнородных источников;
• Участие в построении архитектуры хранилища: реализация и поддержка концепции слоев данных с использованием современных табличных форматов и облачных хранилищ;
• Работа с потоковыми данными: участие в проектировании и настройке компонентов для приема и обработки потоковых событий;
• Оптимизация и мониторинг: обеспечение производительности и стабильности конвейеров. Выявление «узких мест», оптимизация запросов и процессов обработки данных;
• Взаимодействие с командами: тесная работа с аналитиками данных, дата-сайентистами и разработчиками платформы для понимания потребностей и согласования моделей данных.

Требования:

Обязательно:

• Базовый опыт (1-3 года) в роли Data Engineer или в смежной области (аналитика данных, разработка БД);
• Уверенное знание SQL (PostgreSQL и пр.): самостоятельно проектирование БД, написание сложных запросов с CTE и оконными функциями, интеграция в ETL-пайплайны;
• Опыт разработки на Python 3.13+ (библиотеки Pandas, PySpark). - Docker: Multi-stage сборка образов, оптимизация размера контейнеров (например, использование scratch).

Желательно:

• Опыт работы с ClickHouse: Знание специфики, оптимизация запросов, понимание движков таблиц;
• Расширенные навыки Python 3.13+: Глубокое знание новых функций (паттерн-матчинг, улучшения асинхронного кода), оптимизация производительности через async/await и контекстные менеджеры;
• Понимание принципов ETL/ELT и опыт построения конвейеров данных;
• Опыт работы с одним из распределенных движков обработки: Apache Spark (включая Spark SQL, DataFrames) или аналоги;
• Kafka: Потоковая обработка данных через Kafka, настройка консюмеров и продюсеров;
• Опыт миграции унаследованных данных из форматов (Excel, CSV) в структурированные хранилища.

Для нас важно:

• Способность самостоятельно принимать и предлагать решения, а не просто выполнять задачи;
• Умение переводить бизнес-требования в технические спецификации (например, преобразование описания метрик в алгоритм сбора и трансформации данных);
• Знание основ статистики и математики для анализа данных;
• Активность и готовность учиться новым технологиям.

Что мы предлагаем:

• Культуру свободы и ответственности. Мы любим талантливых, высоко результативных людей и даём им «карт-бланш» для работы и творчества;

• Интересные и разнообразные проекты — скучно не будет;

• Работу в творческом коллективе — «интеллектуальный бульон», где легко рождаются новые идеи;

• Постоянное развитие – мы не боимся делать то, что раньше не пробовали;

• Гибкий график работы, гибрид после 6 месяцев работы, стильный комфортный офис на м. «Дмитровская»;

• ДМС после испытательного срока.