Data Engineer (Big Data / Lakehouse)

ГК Орбита

Data Engineer (Big Data / Lakehouse)

Описание вакансии

Группа Компаний Орбита - ведущий разработчик цифровых решений, российская аккредитованная ИТ-компания.

Мы реализуем масштабные технологические проекты с глубокой экспертизой в цифровизации бизнеса.
Ключевые отрасли: государственный сектор, FinTech, HR Tech, коммуникации и медиа, услуги, рынок недвижимости, travel.

Нам доверяют крупнейшие компании РФ, среди которых: Т1, ВТБ, Иннотех, Альфа-Банк, ОИС и другие.

Более 6 лет мы развиваем собственную продуктовую и заказную разработку высокоэффективных цифровых решений.

Сейчас мы находимся в поиске Data Engineer (Big Data / Lakehouse) в крупный ритейл.

Обязанности:
  • Сбор и анализ требований от бизнес-заказчиков;
  • Анализ источников данных и проектирование интеграционных потоков;
  • Разработка, реализация и поддержка ETL/ELT-процессов;
  • Построение и сопровождение витрин данных;

Работа со стеком Big Data / Lakehouse:

  1. Trino
  2. Iceberg
  3. Spark
  4. Apache Airflow
  5. Kafka
  6. Flink
  7. S3 / MinIO
  • Разработка и оптимизация SQL-запросов;
  • Профилирование и оптимизация производительности обработки данных;
  • Поддержка и развитие платформы данных;
  • Ведение технической документации и отчетности;
  • Оперативное реагирование на инциденты и устранение проблем в зоне ответственности.
Требования:
  • Понимание архитектуры и принципов работы Lakehouse / Big Data платформ;
  • Понимание различий между обработкой Big Data и данных стандартного объема;
  • Отличное знание SQL:
  1. индексы
  2. оконные функции
  3. оптимизация запросов
  4. профилирование производительности
  • Опыт программирования на Python и/или Java;
  • Опыт работы с реляционными БД:
  1. PostgreSQL
  2. Oracle
  3. MySQL
  4. MS SQL
  5. Greenplum
  • Опыт разработки на Spark;
  • Опыт работы с dbt;
  • Опыт работы с Apache Airflow;
  • Понимание особенностей Trino;
  • Знание форматов данных:
  1. Iceberg
  2. Parquet
  3. Avro
  • Опыт работы с S3-совместимыми хранилищами (MinIO и др.);
  • Опыт работы с Git (pull / commit / push);
  • Опыт использования систем управления задачами и документацией;
  • Будет плюсом опыт работы с:
  1. Cosmos
  2. NiFi
  3. ClickHouse
  4. Hadoop
  5. Kafka
  6. Flink
Мы предлагаем:
  • Удалённый формат работы;

  • Белую заработную плату, оформление по ТК РФ;

  • Комфортный старт: 3 месяца плавного онбординга с поддержкой HR;

  • Поддержку: IT-отсрочка, консультации HR и юристов;

  • Прозрачные процессы и открытую коммуникацию;

  • Работу на современном оборудовании без логирования времени - фокус на доверии и результате;

  • ДМС за счет компании;

  • Профессиональное развитие: индивидуальный план обучения, конференции и митапы;

  • Развитие личного бренда: выступления, публикации, экспертные активности;

  • Бенефиты: регулярное обновление корпоративных скидок;

  • Корпоративную жизнь: онлайн и оффлайн мероприятия, мерч, конкурсы и челленджи.

Навыки
  • SQL и оптимизация запросов
  • Apache Spark
  • Python
  • Trino / Lakehouse Architecture
  • ETL/ELT и Data Engineering (Airflow, dbt, S3)
Посмотреть контакты работодателя

Похожие вакансии

edna
  • Москва

  • Не указана

Рекомендуем
Яндекс
  • Москва

  • Не указана

Рекомендуем
Домклик
  • Москва

  • Не указана

Рекомендуем
Аренадата Софтвер

Data Analyst / Аналитик данных

Аренадата Софтвер

  • Москва

  • Не указана

RWB (Wildberries & Russ)
  • Москва

  • Не указана

Амбрелла
  • Москва

  • Не указана

Ситидрайв
  • Москва

  • Не указана

X5 Tech
  • Москва

  • Не указана

Spice IT

DataOPS Engineer

Spice IT

  • Москва

  • Не указана

KTS
  • Москва

  • Не указана

Ozon
  • Москва

  • Не указана

Ozon
  • Москва

  • Не указана

Marfatech
  • Москва

  • Не указана

Электронная торговая площадка Газпромбанка

Senior Data Scientist

Электронная торговая площадка Газпромбанка

  • Москва

  • Не указана

X5 Tech
  • Москва

  • Не указана

Финфрейм

Lead Data Engineer

Финфрейм

  • Москва

  • Не указана

Умскул

Data Engineer (Junior)

Умскул

  • Москва

  • Не указана

Хотите оставить вакансию?

Заполните форму и найдите сотрудника всего за несколько минут.
Оставить вакансию