Data Engineer

Москва, Огородный проезд

Метро: Дмитровская

Показать контакты

Описание вакансии

Обязанности:

Проектирование, разработка и поддержка ETL/ELT-процессов для сбора, трансформации и загрузки данных из различных источников.
Построение и оптимизация инфраструктуры хранения данных (Data Lake, DWH) на базе современных технологий.
Автоматизация процессов обработки данных с использованием Apache Airflow, Spark.
Работа с базами данных: PostgreSQL, ClickHouse, S3.
Интеграция данных из разных источников, обеспечение их качества и доступности для аналитиков и ML-специалистов.
Оптимизация производительности запросов и хранилищ.
Разработка и поддержка дашбордов и инструментов визуализации (Apache Superset, Redash).
Участие в проектировании архитектуры данных и внедрении новых технологий.
Языки программирования: Python (основной инструмент для написания ETL-скриптов и автоматизации).
Инструменты оркестрации: Apache Airflow.
Технологии обработки данных: Apache Spark.
Базы данных: PostgreSQL, ClickHouse.
Хранилища: S3.
Инструменты визуализации: Apache Superset, Redash.
Знание принципов работы с Big Data, опыт работы с распределёнными системами — будет плюсом.

Требования:

Опыт работы с Python (pandas) и SQL на уровне уверенного пользователя.
Понимание принципов построения ETL/ELT-процессов.
Опыт работы с хотя бы одной из перечисленных технологий: Airflow, Spark, PostgreSQL, MSSQL.
Умение работать с большими объёмами данных, оптимизировать запросы и процессы.
Знание Excel, умение работать с Power Query.
Желание учиться и развиваться в области инженерии данных.

Условия:

Официальное оформление по ТК РФ или ИП (на выбор);
Конкурентоспособная заработная плата, обсуждается индивидуально с каждым кандидатом;
Работа в дружной команде на крупном проекте;
Гибридный формат работы, гибкое начало рабочего дня;
График работы 5/2.