Data Engineer

Digital Сhief- это дочерняя компания Альфа-банка, которой уже более 20 лет.

Компания специализируется на e-commerce разработке полного цикла: интернет-магазины, web-порталы, личные кабинеты, маркетплейсы, платформы электронной коммерции.

Сейчас мы находимся в поиске инженера по данным в команду Whoisblogger (WIB) c коммерческим опытом от 2-х лет.

Обязанности:

• Разработка DAG'ов в Apache Airflow для автоматизации процессов обработки данных
• Написание SQL запросов для ETL/ELT процессов на Trino
• Написание ETL/ELT-скриптов на Python
• Интеграция с различными источниками данных: API, БД (PostgreSQL, ClickHouse, Trino), Kafka, S3
• Очистка, трансформация и агрегация данных
• Мониторинг и поддержка пайплайнов, обработка ошибок и алертинг
• Оптимизация производительности загрузок и запросов
• Работа с хранилищами данных и Data Lake

Мы рассматриваем SQL как основной рабочий инструмент Data Engineer.

Важно:

• уверенное владение SQL
• понимание оконных функций
• сложные JOIN’ы
• агрегаты и аналитические запросы
• оптимизация запросов
• понимание особенностей распределённых вычислений
• опыт работы с большими таблицами и объёмами данных

Python

• уверенное владение Python
• написание поддерживаемого кода
• работа с API, файлами и обработкой данных
• понимание принципов построения ETL-процессов

Airflow

• разработка и поддержка DAG’ов
• понимание orchestration-процессов
• мониторинг и диагностика пайплайнов
• работа с зависимостями и расписаниями

• опыт работы с Trino / Presto
• ClickHouse
• Spark
• опыт построения data warehouse
• опыт работы с данными социальных сетей
• опыт оптимизации распределенных SQL-запросов
• понимание Data Quality и Data Governance

Что мы предлагаем:

• Стабильный и прозрачный доход: размер заработной платы обсуждается по итогам собеседования
• Полностью удаленный формат (график с 10.00 до 19.00 по мск, суббота и воскресенье-выходные дни)

• Возможность работать в современной команде, используя современный стек технологий

• Дружелюбная атмосфера и команда лучших профессионалов, которые готовы поддерживать на всех уровнях

• Официальное трудоустройство по ТК РФ
• Работа в аккредитованной IT компании