Старший Дата-инженер

Санкт-Петербург, Большой проспект Васильевского острова, 18

Метро: Василеостровская

Описание вакансии

Обязанности:

Требования:

Образование: высшее в области информатики, математики, статистики, инженерии или эквивалентный опыт
Опыт работы: от 3 лет (middle) в роли Data Engineer или схожих позициях
Язык: свободное владение SQL; английский — технический уровень (чтение документации)

Технические навыки

Хранение данных: опыт проектирования и оптимизации распределенных баз данных (MSSQL, Greenplum, Clickhouse )
ETL/ELT: разработка и поддержка ETL/ELT-пайплайнов; знакомство с Airflow, dbt, S3
Обработка данных в реальном времени: опыт работы с потоковыми платформами (Kafka) и фреймворками (Spark Streaming, Flink) — желательно
Большие данные: опыт с Apache Spark (PySpark) или эквивалентными инструментами для batch-обработки
Языки программирования: уверенное владение Python
Моделирование данных: умение проектировать и опыт создания звёздных/снежинок моделей, нормализации/денормализации, дедупликации и версионирования данных (SCD)
Качество данных: мониторинг и тестирование данных (soda core, dbt elementary, dbt tests), умение устранять проблемы с данными
Безопасность и соответствие: управление доступом, шифрование, знание локальных требований к данным — желательно

Дополнительные навыки

Инструменты наблюдаемости: Prometheus, Grafana или аналогичные
Контейнеризация и оркестрация: Docker
CI/CD: опыт настройки пайплайнов для кода и деплоя данных
Data Catalog / Metadata: опыт работы с инструментами каталогизации — плюс
Оптимизация стоимости: умение оптимизировать расходы в облаке при обработке и хранении данных

Условия:

Работа в динамично развивающейся компании с известным именем
Гибридный график работы
Стабильная заработная плата 2 раза в месяц, без задержек
Ежегодная премия за высокие результаты в работе, по понятной и адекватной формуле расчета
Официальное трудоустройство по ТК РФ
Соц. пакет (компенсация питания, ДМС, страхование от несчастного случая)