Data engineer

“Бизнес-Азимут” – команда профессионалов, создающая и развивающая IT-проекты уже 17 лет. За это время мы реализовали 130+ проектов и собрали команду из 60+ экспертов. Мы специализируемся на аутсорсе и аутстаффе аналитиков и разработчиков, а также развиваем собственные продукты.

С нами — крутые технологические вызовы, сплочённая команда и значимые проекты, которые действительно влияют на бизнес. Если тебе интересно работать с современными технологиями, развиваться профессионально и быть частью сильного IT-сообщества – будем рады познакомиться!

• Разработка скриптов миграций DDL объектов БД на SparkSQL и Trino (создание и изменение Iceberg таблиц, топиков Kafka).
• Разработка трансформаций данных с использованием DBT и адаптера к Trino.
• Разработка DAG’ов в Airflow.
• Подключение источников данных как каталоги в Trino.
• Изменение некоторых настроек Trino и Airflow и переразвертывание этих технологий в кластерах Kubernetes с использованием готовых Helm Chart’ов.
• Загрузки данных подготовленных вручную.

• Опыт работы с SQL для транзакционных (OLTP) и аналитических (OLAP) нагрузок.
• Опыт работы с реляционными СУБД (Oracle, Postgres), аналитическими SQL (Spark, ClickHouse). Trino - критично.
• Опыт работы с объектными хранилищами данных (предпочтительно совместимыми с S3).
• Знание и применение фреймворков для преобразования данных (DBT — является преимуществом).
• Понимание принципов взаимодействия с открытыми табличными форматами (Iceberg, Deltalake). (критично)
• Знание Python (Java будет плюсом).
• Опыт работы с Docker, Kubernetes.
• Уверенное владение Linux на уровне пользователя, включая использование WSL в качестве среды разработки.

Плюсом будет:

• Опыт с Kafka.
• Опыт работы с оркестраторами для построения процессов обработки данных (Airflow).

В сопроводительном письме опишите опыт с Trino и Iceberg (на каких проектах, какие были задачи).

• Полная удалёнка – работай откуда удобно;

• Карьерный рост – прокачай навыки на значимых проектах;

• Современный стек – работай с востребованными технологиями;

• Аккредитированная IT-компания;

• Забота о здоровье – компенсация медицинских услуг;

• Обучение за счёт компании – инвестируем в твой рост;

• Щедрые бонусы – до 50 000 ₽ за рекомендации коллег и проектов;

• Приятные сюрпризы – подарки на ДР и корпоративные мероприятия;

• Поддержка – на всех этапах работы, без бюрократии.

  Заинтересовался? Откликайся – будем рады знакомству!