Data Engineer

Описание вакансии

Мы разрабатываем аналитические системы на базе единой платформы, которые позволяют безопасно работать с данными независимо от их формата, метода хранения и эксплуатации. Платформа основана на концепции Infrastructure as Code (IAC) и состоит из нескольких независимых программных продуктов и сервисов на базе Scala и Kubernetes. Она обеспечивает высокий уровень потоковой обработки и хранения данных, управления доступом и метаданными, а также контролем их использования в периметре частных облачных сред.

Основные задачи:

  • Реализация процессов загрузки данных на платформу из различных источников (s3, hdfs, samba, sftp) в различных форматах (csv, parquet, json, xml) в разные точки назначения (scylla, postgres, opensearch, clickhouse, nebula)
  • Определение и согласование нефункциональных требований к процессам построения витрин
  • Декомпозиция задач, оценка сроков выполнения
  • Выполнение Code review и контроль правильности реализации принятых технических решений
  • Участие в процессе автоматизации SDLC с помощью LLM

Технологический стек:

  • Хранение и обработка данных: Scylla, S3, Kafka, Spark, Nifi, Airflow, PostgreSQL, Clickhouse, Opensearch
  • Мониторинг и логирование: Grafana, Victoria Metrics, Prometheus
  • Прочие технологии и фреймворки: Docker, Kubernetes(Openshift), Helmwave, ScalaTest, GitlabCI, Typelevel (Cats Effect, Circe, Doobie, Weaver)

Наши ожидания:

  • Опыт работы по специальности от 3 лет
  • Опыт разработки на Scala от 2 лет
  • Знание особенностей реализации различных алгоритмов и структур данных
  • Опыт работы в команде

Что мы предлагаем:

Здоровье и спорт:

  • ДМС со стоматологией
  • Корпоративные скидки в сети фитнес-клубов World Class
  • Корпоративный тариф на абонементы FITMOST
  • Программа корпоративных скидок Best Benefits – на спорт и не только
  • Спортивные мероприятия (турниры по футболу, волейболу, киберспорт, забеги, шахматы)

Обучение и развитие:

  • Курсы английского языка, в том числе с носителем языка
  • Сообщества по интересам: вместе читаем книги, ходим на интересные мероприятия и делимся маршрутами путешествий
  • Внешние профессиональные курсы и конференции, сертифицированное обучение, которые вы выбираете сами
  • Профильные митапы – организовываем, проводим и принимаем участие
  • Билеты со скидкой в Музей криптографии для сотрудников и их семей

А также:

  • Работа в офисе или в гибридном формате
  • Комфортные офисы в Москве, Санкт-Петербурге и Нижнем Новгороде с кофе-поинтами и разнообразными снеками каждый день
  • Насыщенные и яркие корпоративные праздники
  • Классный мерч
Навыки
  • Scala
  • Apache Spark
  • Clickhouse
Посмотреть контакты работодателя

Похожие вакансии

iFuture

Data Engineer

iFuture

  • Санкт-Петербург

  • Не указана

Рекомендуем
ИТ Контакт

DevOps-инженер

ИТ Контакт

  • Санкт-Петербург

  • Не указана

Рекомендуем
Алабуга, ОЭЗ ППТ

Data Engineer (ClickHouse, Airflow, Python)

Алабуга, ОЭЗ ППТ

  • Санкт-Петербург

  • от 157500 RUR

Рекомендуем
UserGate
  • Санкт-Петербург

  • от 157500 RUR

KAMAZ Диджитал – компания-создатель цифровых решений для управления производством и транспортом

CV/ML-инженер (Middle+)

KAMAZ Диджитал – компания-создатель цифровых решений для управления производством и транспортом

  • Санкт-Петербург

  • от 157500 RUR

Протей, НТЦ
  • Санкт-Петербург

  • от 157500 RUR

iFuture
  • Санкт-Петербург

  • от 157500 RUR

ГКУЗ ЛО МЕДИЦИНСКИЙ ИНФОРМАЦИОННО-АНАЛИТИЧЕСКИЙ ЦЕНТР

Аналитик данных ( Инженер )

ГКУЗ ЛО МЕДИЦИНСКИЙ ИНФОРМАЦИОННО-АНАЛИТИЧЕСКИЙ ЦЕНТР

  • Санкт-Петербург

  • от 99700 RUR

СОЛВО
  • Санкт-Петербург

  • от 99700 RUR

Ред Софт
  • Санкт-Петербург

  • от 99700 RUR

iFuture
  • Санкт-Петербург

  • от 99700 RUR

UserGate
  • Санкт-Петербург

  • от 99700 RUR

Газпром нефть
  • Санкт-Петербург

  • от 99700 RUR

СБЕР
  • Санкт-Петербург

  • от 99700 RUR

Evercode Lab
  • Санкт-Петербург

  • от 99700 RUR

  • Санкт-Петербург

  • до 220000 RUR

Газпром нефть

DevOps-инженер

Газпром нефть

  • Санкт-Петербург

  • до 220000 RUR

Хотите оставить вакансию?

Заполните форму и найдите сотрудника всего за несколько минут.
Оставить вакансию