Архитектор платформы данных

Транснефть-Технологии - IT компания, обеспечивающая цифровую трансформацию и технологическое развитие для организаций, входящих в группу "Транснефть". Мы разрабатываем собственные ПО, корпоративные системы, внедряем передовые IT решения в области информационной безопасности и управления данными.

Приглашаем в команду Архитектора данных.

Мы строим корпоративную платформу для работы с данными на базе открытого программного обеспечения, и нам нужен специалист с хорошими знаниями Apache Spark и опытом работы с большими данными, чтобы присоединиться к нашему динамичному и инновационному проекту.

Задачи:

• Разработка и оптимизация ETL процессов для обработки больших данных с использованием Apache Spark.
• Разработка высокопроизводительных распределенных вычислений и оптимизация задач на платформе Spark (в том числе Spark SQL, Spark Streaming).
• Построение и поддержка дата-центров на основе S3-Minio и других облачных решений.
• Интеграция и работа с хранилищами данных ClickHouse, GreenPlum.
• Управление каталогом данных с использованием OpenMetadata.
• Управление метаданными с использованием Apache Hive Metastore.
• Работа с колоночными форматами файлов ORC и Parquet, написание сложных SQL-запросов.
• Проектирование и управление моделями данных с использованием DBT (Data Build Tool), управление пайплайнами данных.

Ожидаем от Вас:

• Уверенные знания Apache Spark, включая Pyspark, Spark SQL, Spark Streaming, MLlib).
• Опыт работы с CDC на базе Dbezium или Airbyte.
• Опыт оптимизации производительности Spark- jobs, настройки кластеров Spark (Tuning, Partitioning, Caching).
• Опыт работы с S3 совместимыми хранилищами больших данных (Minio),
• Понимание работы хранилищ метаданных Apache Hive Metastore.
• Опыт работы с колоночными аналитическими базами данных ClickHouse, GreenPlum.
• Уверенные знания SQL и умение писать сложные запросы.
• Опыт работы с распределенными вычислительными системами и технологиями обработки больших данных.
• Знание принципов архитектуры данных и разработки ETL процессов.
• Опыт работы с аналитическими базами данных и хранилищами больших данных.
• Знание процессов управления моделями данных и проектирования схем данных с использованием Dbt будет преимуществом.
• Опыт работы с каталогом данных (OpenMetadata) также будет плюсом.

Мы предлагаем:

• Возможность работать над сложными и значимыми проектами;
• Программы обучения и повышения квалификации за счет компании;
• Широкий социальный пакет: ДМС со стоматологией, компенсация спорта, компенсация санаторно-курортного лечения и отдыха и др.;
• Премии ко Дню нефтяника и к отпуску;
• График работы: с 09.00 до 18.00; пятница: до 16.45;
• Гибридный формат работы.
• Уютный и комфортный офис в 15 минутах от м.Зорге, м. Полежаевская, м. ЦСКА.