Data Engineer

Описание вакансии

На данный момент мы ищем Data Engineer, который будет работать с продуктом «ВкусВилл».

Обязанности:
  • разработка Data инструментов для оптимизации работы DE;
  • разработка батчевых ETL процессов с использованием Airflow, Apache Spark;
  • мониторинг и обеспечение качества данных поступающих в хранилище;
  • разработка NRT ETL процессов используя Spark Streaming и Clickhouse;
  • оптимизация текущих решений.
Требования:
  • ​​​​​​​​​​​​​​python на высоком уровне;
  • опыт работы с Clickhouse, Greenplum - понимание архитектуры и особенностей СУБД, умение читать план запроса, обладать навыками оптимизации;
  • продвинутый уровень sql;
  • опыт работы с Apache Airflow;
  • опыт работы с REST API;
  • опыт работы с Apache Spark (Pyspark 3.4.1 и более актуальными версиями) - понимание архитектуры Spark, навык отладки и оптимизации кода.

Будет преимуществом:

  • опыт работы с s3 (minio);
  • опыт работы с Openmetadata;
  • опыт работы со стриминговыми пайплайнами данных ( Spark Streaming в приоритете);
  • опыт работы с архитектурой Data Lake;
  • опыт работы с Trino.
Условия:​​​​​​​
  • Работу в аккредитованной IT-компании;
  • Удалёнку. Для нас важны результаты работы без привязки к месту;
  • Официальное оформление с первого дня работы;
  • Поддержку куратора во время адаптации;
  • Внутреннее обучение soft & hard skills, создание индивидуального плана развития;
  • Социальная ответственность. Поощряем донорство, оказываем материальную помощь при рождении ребёнка.
  • Компенсируем затраты на любые медицинские услуги или ДМС.
  • Поддержка здорового образа жизни. Компенсация фитнес-абонементов, тренировок.
  • Партнерскую программу «Зелёный свет»: за рекомендации знакомых специалистов можно получить до 50 000 руб;
  • Богатый опыт сплоченной и профессиональной команды.
Навыки
  • SQL
  • Python
Посмотреть контакты работодателя

Похожие вакансии

ROSSKO

Data Engineer

ROSSKO

Удаленная работа
  • Москва

  • от 260000 RUR

Рекомендуем
Flowwow
Удаленная работа
  • Москва

  • от 270000 RUR

Рекомендуем
LIAN
Удаленная работа
  • Москва

  • до 290000 RUR

Рекомендуем
Газпромбанк

Data Engineer

Газпромбанк

Удаленная работа
  • Москва

  • до 290000 RUR

Диплей

Data Engineer [Senior]

Диплей

Удаленная работа
  • Москва

  • до 290000 RUR

Северсталь

Data Engineer (GenAI)

Северсталь

Удаленная работа
  • Москва

  • до 290000 RUR

Дата Дженерейшн

Data Engineer

Дата Дженерейшн

Удаленная работа
  • Москва

  • до 340000 RUR

Феонио

Data engineer

Феонио

Удаленная работа
  • Москва

  • до 160000 RUR

Инвиста

Data Engineer (relocate)

Инвиста

Удаленная работа
  • Москва

  • до 6000 USD

Лемана ПРО

Дата инженер

Лемана ПРО

Удаленная работа
  • Москва

  • до 6000 USD

ARK
Удаленная работа
  • Москва

  • до 450000 RUR

Effective
Удаленная работа
  • Москва

  • до 400000 RUR

Линсофтверпродакшн

Middle+ / Senior Data-инженер

Линсофтверпродакшн

Удаленная работа
  • Москва

  • до 370000 RUR

РСХБ-Интех
Удаленная работа
  • Москва

  • до 370000 RUR

RDP.RU
Удаленная работа
  • Москва

  • до 370000 RUR

Beresnev Games

Senior Data Engineer

Beresnev Games

Удаленная работа
  • Москва

  • до 370000 RUR

АйТиКвик

Data Engineer

АйТиКвик

Удаленная работа
  • Москва

  • до 450000 RUR

Детский мир

Data Scientist

Детский мир

Удаленная работа
  • Москва

  • до 300000 RUR

М.Видео-Эльдорадо

Data Engineer (Middle)

М.Видео-Эльдорадо

Удаленная работа
  • Москва

  • до 300000 RUR

Алфарма
Удаленная работа
  • Москва

  • до 300000 RUR

Хотите оставить вакансию?

Заполните форму и найдите сотрудника всего за несколько минут.
Оставить вакансию