Data Engineer

Обязанности:

• Разработка решений по извлечению, трансформации и загрузке данных (ETL/ELT) из различных источников;
• Построение real-time/near-real-time/batch пайплайнов;
• Создание витрин данных;
• Написание SQL-тестов, оптимизация запросов;
• Разработка инструментов контроля качества и консистентности данных;
• Разработка и внедрение решений для анализа больших данных.

Технологический стек:

• СУБД: ClickHouse, PostgreSQL, Neo4j, Tarantool, Redis;
• Backend: Go, Node.js, Python;
• Frontend: React;
• Брокер сообщений: Kafka;
• Объектные хранилища S3;
• Контейнеризация: Kubernetes, Docker;
• DevOps: GitLab, ArgoCD, Nexus;
• ETL/ELT: Airflow, dbt, ClickHouse, Kafka Connect, Apache Iceberg, Apache Spark.

Требования:

• Хорошие знания Python;
• Опыт разработки решений для обработки данных с применением оркестраторов (Airflow/Luigi/Dagster);
• Опыт работы с Kafka, Kafka Connect, Flink, Docker, Spark;
• Хорошие знания SQL, опыт работы с аналитическими СУБД (ClickHouse/Druid/Vertica) и транзакционными (PostgreSQL/MSSQL);
• Навыки оптимизации запросов и анализа планов выполнения;
• Опыт управления трансформациями данных с использованием dbt/SQLMesh;
• Понимание процессов ETL/ELT и практический опыт их применения;
• Знание принципов и опыт работы с DWH/Data Lake/LakeHouse.

Условия:

• Оформление в штат в соответствии с ТК РФ;
• Конкурентоспособная заработная плата (обсуждается по результатам собеседования);
• Соц.пакет: программа ДМС со стоматологией, корпоративная мобильная связь, санаторно – курортное лечение;
• Возможность расти как вертикально, так и повышать уровень своих профессиональных и деловых компетенций;
• Внутреннее обучение: конференции, тренинги, мастер-классы, корпоративный университет. Внешнее обучение по направлению профессиональной деятельности;
• Корпоративная электронная библиотека;
• Место работы: Удаленно.