Senior Data Engineer

Мечтай о большем с Napoleon IT

Мы — не просто IT-компания, а место, в котором искусственный интеллект объединяется с человеческим.

Мы - это более 200 сотрудников, 3 офиса в России, 3 разных направления развития: заказная разработка, outstaffing, собственные продукты.

Помимо уже существующих продуктов и решений на основе AI, мы активно развиваем разработку с использованием технологий LLM и Generative AI. Мы строим мультиагентные системы и платформенные решения для брендов, ритейла и маркетплейсов.

Реализовывая принцип LLM First, мы стараемся внедрять LLM-технологии во все внутренние процессы, чтобы освободить ресурс для смелых идей, уникальных проектов и амбициозных целей.

Наша цель — упростить доступ к передовым технологиям и позволить людям мечтать о большем, и для этого нам необходима твоя экспертиза.

Сейчас мы ищем Senior Data Engineer на один из проектов направления outstaffing - Совершенствование системы автозаказа и пополнения для крупного ритейла.

Мы ждем от тебя:

• Опыт работы инженером данных от 3 лет и опыт разработчика ПО от 1 года, суммарно не меньше 2 лет опыт работы с SQL как с OLTP, так и OLAP нагрузкой;

• Опыт работы с реляционными СУБД (Oracle, Postgres), аналитическими SQL (Trino, Spark, ClickHouse), объектными хранилищами данных (желательно, S3 совместимые), а также фреймворками для трансформации данных (желательно, DBT);

• Понимание принципов взаимодействия с открытыми табличными форматами (Iceberg, Deltalake);

• Знание Python (Java будет хорошим плюсом);

• Опыт работы с технологиями контейнеризации (Docker, Kubernetes);

• Опыт работы с системами версионного контроля исходного кода (Git);

• Опыт работы с Linux на уровне пользователя: WSL и как средой для развертывания приложений в окружении разработки;

• Желателен опыт работы с системами обмена сообщениями (Kafka);

• Желателен опыт работы с оркестраторами для построения процессов обработки данных (Airflow)

Стек технологий:
SQL, PL/SQL, Oracle, Postgres, Trino, Spark, ClickHouse, S3, Docker, Kubernetes, DBT, GitLab, Kafka, Airflow

Тебе предстоит:

• Разработка скриптов миграций DDL объектов БД на SparkSQL и Trino, в основном это создание и изменение Iceberg таблиц, топиков Kafka;
• Разработка трансформаций данных с использованием DBT и адаптера к Trino;
• Разработка DAG’ов в Airflow;
• Подключение источников данных как каталоги в Trino;
• Изменение некоторых настроек Trino и Airflow и переразвертывание этих технологий в кластерах Kubernetes с использованием готовых Helm Chart’ов (при необходимости дорабатываются нашими DevOps инженерами);
• Загрузки данных подготовленных вручную;
• При необходимости помощь другим членам команды по SQL.

Мы предлагаем:

• Оформление в аккредитованную IT-компанию;

• Гибкое начало рабочего дня, гибридный график по согласованию с руководителем;

• Индивидуальный план развития для каждого сотрудника с возможностью освоения новых технологий;

• Насыщенная корпоративная жизнь: онлайн- и офлайн-квизы, выездные корпоративы, спортивные мероприятия, творческие тимбилдинги, тематические вечеринки и многое другое;

• Оплата участия в профильных онлайн-конференциях (HighLoad++, Podlodka, Mobius и др.);

• Компенсация курсов по изучению английского языка;

• Компенсация расходов на покупку профессиональной литературы;

• Доступ к курсам нашей объединенной IT-школы GIGASCHOOL.

Рассматриваем вариант удаленки в формате full time, либо гибридный формат работы в офисе, в одном из городов присутствия (Челябинск, Санкт-Петербург, Москва).