Middle Data Engineer (Отдел развития и внедрения AI)

Что делать?

• Разработка и поддержка ETL/ELT пайплайнов (Airflow, dbt, Spark );
• Интеграция данных из различных источников (PostgreSQL, MSSQL, Oracle, S3, API);
• Сбор данных из внешних источников (REST API, базовый web scraping);
• Участие в построении витрин данных (DDS, Data Marts, wide tables);
• Оптимизация SQL-запросов и обработок данных;
• Подготовка датасетов для ML моделей;
• Формирование feature store (под руководством Senior/DS);
• Подготовка данных для AI-сервисов;
• Подготовка данных для обучения и инференса моделей;
• Участие в ML pipeline (data preparation + scoring);
• Работа с потоками данных (Kafka — чтение/запись, без глубокой настройки);
• Участие в реализации событийных сценариев.

Если у вас:

• Опыт работы Data Engineer: 2+ года;
• Уверенное знание SQL (join, window functions, оптимизация базового уровня);
• Хорошее знание Python (pandas, работа с API, обработка данных;
• Опыт работы с Airflow;
• Базовый опыт работы с Spark или понимание его принципов;
• Опыт работы с реляционными БД (PostgreSQL, MSSQL или Oracle);
• Понимание ETL/ELT процессов;
• Опыт работы с API (интеграции, парсинг);
• Базовое понимание streaming (Kafka или аналоги);
• Понимание принципов DWH (DDS, Data Marts), Lakehouse;
• Опыт взаимодействия с аналитиками или ML-командой.

Ключевые навыки:

• SQL,Python,Airflow,ETL / ELT, Работа с API,Основы streaming (Kafka), Data Warehousing, Data pipelines.

Будет плюсом:

• Опыт работы с dbt;
• Базовое понимание Lakehouse (S3, Iceberg);
• Опыт работы с векторными БД;
• Опыт подготовки данных для ML;
• Знакомство с ML pipeline;
• Опыт работы с Grafana или аналогами;
• Опыт работы с неструктурированными данными;
• Знание основ Spark;
• Опыт работы с RAG / LLM (на уровне понимания).

Условия:

• Официальное трудоустройство в соответствии с Трудовым кодексом РК;
• График работы на выбор: 08:30–17:30 / 09:00–18:00 / 09:30–18:30;
• Ежегодный оплачиваемый отпуск — 28 календарных дней;

После прохождения испытательного срока:

• Кафетерий льгот на сумму 250 000 тг. в год (медицинское страхование, обучение, спорт, развитие детей, авиа- и ж/д билеты);
• 2 дополнительных дня Day Off в год;

Дополнительно:

• Лечебное пособие в размере одного оклада при выходе в отпуск (после 1 года работы, при отпуске от 14 дней).