Data Engineer (middle)

М.Видео-Эльдорадо

Data Engineer (middle)

посёлок городского типа Новоивановское, Западная улица, 181

Описание вакансии

«М.ТЕХ» - АККРЕДИТОВАННАЯ ИТ-КОМПАНИЯ В ГРУППЕ «М.ВИДЕО-ЭЛЬДОРАДО».

КОМАНДА «М.ТЕХ» разрабатывает более 100 инновационных ИТ продуктов на основе современной микросервисной и облачной инфраструктуры, больших данных, биометрии, ИИ и машинного обучения для улучшения качества жизни десятков тысяч сотрудников и миллионов покупателей по всей России.

В конвейерную команду требуется СТАРШИЙ ИНЖЕНЕР ДАННЫХ, разработчик потоков данных. Разработка и поддержка потоков обработки данных: текущий стек: (Greenplum + ClickHouse + AirFlow) в планах обновление на (Trino + Iceberg), оптимизация ETL процессов, обеспечение надёжности и производительности pipeline.

Мы работаем по принципам Agile, работаем на стеке технологий GreenPlum + ClickHouse + Tableau, занимаемся созданием ETL процессов, разработкой витрин, дашбордов, отчетов и других дата-продукты в рамках домена клиент. У нас много задач, много идей и действительно БОЛЬШИЕ объемы данных. Если ты имел опыт с инструментами/процессами из списка ниже и хочешь развиваться на нашем стеке, то подключайся к нашей команде - будем рады увидеть тебя!

СТЕК: Greenplum/ClickHouse, Trino, Iceberg, Airflow, Data Lake, Kafka, Spark.

ТЕБЕ ПРЕДСТОИТ:

  • Участие в проекте внедрения новой архитектуры DataLakeHouse на базе Trino+Iceberg. Создание своего ETL движка;
  • Оптимизация текущего аналитического хранилища (текущий размер 90+ Тб);
  • Миграция ключевых потоков (более 300) на новый ETL движок;
  • Автоматизация принятия решения по всем остальным пайплайнам более 1200. Разработка новых потоков.

ЧТО МЫ ОЖИДАЕМ ОТ КАНДИДАТА:

  • Опыт работы в роли Data Engineer от 2-3  лет;
  • Владение SQL продвинутый уровень: сложные запросы, оптимизация, работа с партициями, индексами;
  • Опыт работы на фреймворке Spark;
  • Уверенное владение Python (обработка данных, скрипты, API);
  • Опыт работы с Trino / Iceberg / ClickHouse / Greenplum;
  • Навыки работы с Airflow — разработка DAG, настройка исполнителей, мониторинг.

ЧТО ТЫ ПОЛУЧИШЬ:

  • Продукты, признанные на рынке (несколько премий за Лучший Интранет, хит-парад премий за лучшее ИТ-решение в ритейле) и имеющие амбициозные планы на развитие;
  • Конструктивный диалог и возможность внедрять свои идеи, если они способствуют достижению общего результата;
  • Команду увлеченных профессионалов, которая открыта к поиску нового;
  • Конкурентную заработную плату, гибкое отношение к рабочему месту (посещение офиса в Москве на гибриде (Сколково, БЦ Орбион), но ты можешь работать удаленно из любой точки РФ);
  • ДМС со стоматологией.
Навыки
  • SQL
  • Apache Airflow
  • Greenplum
  • Spark
  • Python
  • Clickhouse
Посмотреть контакты работодателя

Адрес

Похожие вакансии

Онлайн-школа Тетрика

Data Engineer

Онлайн-школа Тетрика

  • Москва

  • Не указана

Рекомендуем
ИТР

Data Engineer

ИТР

  • Москва

  • Не указана

Рекомендуем
Альфа-Банк

Data Engineer

Альфа-Банк

  • Москва

  • Не указана

Рекомендуем
Тера Интегро

Data Engineer (Spark, NiFi)

Тера Интегро

  • Москва

  • Не указана

Ак Барс Цифровые Технологии

Инженер данных

Ак Барс Цифровые Технологии

  • Москва

  • Не указана

Ит-Финанс

Data Analyst

Ит-Финанс

  • Москва

  • Не указана

X5 Tech
  • Москва

  • Не указана

Луна Кэпитал

Data Engineer

Луна Кэпитал

  • Москва

  • Не указана

Rusprofile
  • Москва

  • Не указана

МегаФон

Data analyst (BigData)

МегаФон

  • Москва

  • Не указана

Amex Development

ETL инженер

Amex Development

  • Москва

  • до 300000 RUR

Асылгареева Алина Айдаровна

Data Analyst

Асылгареева Алина Айдаровна

  • Москва

  • от 4000 USD

Циан
  • Москва

  • от 4000 USD

SDI Research

Senior ML/AI Engineer

SDI Research

  • Москва

  • от 4000 USD

СалютДевайсы

Аналитик-инженер

СалютДевайсы

  • Москва

  • от 4000 USD

Раппорто
  • Москва

  • от 4000 USD

JT marketing

Data Analyst

JT marketing

  • Москва

  • от 3000 USD

Платформа Третье Мнение

Инженер данных (Data Engineer)

Платформа Третье Мнение

  • Москва

  • от 3000 USD

Хогвартс маркетплейсов

Senior BI/Data аналитик

Хогвартс маркетплейсов

  • Москва

  • до 400000 RUR

Хотите оставить вакансию?

Заполните форму и найдите сотрудника всего за несколько минут.
Оставить вакансию