Data Engineer (GigaEye)

Мы развиваем платформу данных для подготовки датасетов «общих знаний» о внешнем мире. Эти данные напрямую используются в развитии ИИ: для обучения моделей, retrieval/search и других сценариях.

Обязанности

• разрабатывать batch-пайплайны на Spark для трансформации данных из сырых источников (raw) в готовые витрины и датасеты для ML-команд.
• обеспечивать качество данных: реализовывать алгоритмы дедупликации, очистки, фильтрации и обогащения.
• оптимизировать хранение в S3 + Iceberg: настраивать партиционирование, компактизацию, управлять жизненным циклом снепшотов для работы с сотнями петабайт данных.
• разворачивать и оркестрировать пайплайны с помощью Airflow и Kubernetes (деплой своих Spark-джоб и сервисов без хардкорного DevOps).
• организовывать быстрый и удобный доступ исследователей к данным через Trino/Presto.

Требования

• опыт работы Data Engineer от 3 лет.
• глубокое понимание под капотом Spark (настройка потребления памяти, борьба со skew, оптимизация планов запросов).
• практический опыт с S3-совместимыми хранилищами и табличными форматами (Iceberg, Delta или Hudi), нас Iceberg.
• уверенное владение SQL и Python.
• опыт контейнеризации и запуска задач в Kubernetes.
• умение проектировать пайплайны, устойчивые к падениям и дублям (идемпотентность).

Будет плюсом

• Опыт администрирования или оптимизации Trino/Presto.
• Работа с форматами web архивов (WARC, Common Crawl).
• Опыт подготовки текстов или данных специфично под задачи ML/LLM.

Условия

• стабильный оклад и премии по результатам работы, ежегодный пересмотр зарплаты
• комфортный современный офис рядом с м.Кутузовская
• гибридный формат работы: встречаемся очно в офисе 1 раз в неделю
• корпоративный спортзал и зоны отдыха
• уникальная система обучения Сбера для профессионального и карьерного развития
• программа адаптации и помощь руководителя на старте
• расширенный ДМС и льготное страхование семьи
• гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
• бесплатная подписка СберПрайм, скидки на продукты компаний-партнеров
• вознаграждение за рекомендацию друзей в команду Сбера
• корпоративная пенсионная программа