Data Engineer / BI Engineer

Описание

Ищем специалиста для построения и администрирования системы данных: интеграции между системами, настройка потоков данных, подготовка витрин и обеспечение качества данных.

Обязанности:

• настройка интеграции данных между базами и системами;
• разработка ETL/ELT процессов (загрузка, очистка, трансформация данных);
• работа с API внешних систем;
• построение витрин данных (data marts);
• организация хранения данных (DWH);
• настройка регулярного обновления данных (scheduler, cron, очереди);
• обеспечение качества и целостности данных;
• оптимизация SQL-запросов и производительности БД;
• взаимодействие с backend-разработчиками;

• уверенное знание SQL (обязательно);
• опыт работы с PostgreSQL или другими СУБД;
• понимание ETL/ELT процессов;
• опыт интеграции данных (API, базы, файлы);
• понимание архитектуры данных (OLTP / OLAP);
• опыт построения витрин данных;

Будет плюсом:

• опыт работы с DWH / ClickHouse;
• знание Python (для обработки данных);
• опыт работы с очередями (Kafka, RabbitMQ);
• опыт построения data pipelines;

Мы ожидаем:

• стабильные интеграции между системами;
• подготовленные и чистые данные для аналитики;
• высокая производительность работы с данными;