Data Engineer (аутстафф)

"VK Data Platform — это программный комплекс, предназначенный для построения и управления продуктами для работы с данными, с каталогом услуг и сервисов, устанавливаемым на аппаратные мощности, предоставляемые Заказчиком. Предоставляет удобный доступ к сервисам хранения, обработки и управления данными, предустановленным, проинтегрированным и преднастроенным в рамках Системы.

Обязанности:
- Разработка и сопровождение ETL-пайплайнов и типовых интеграционных решений в data platform;
- Проектирование, реализация и оптимизация сложных ETL-процессов (в том числе разработки DAG для автоматизации);
- Реализация обработки потоковых данных;
- Разработка решений с различными системами хранения и распределенных SQL-движков;
- Внедрение подходов и процессов управления данными.
- Участие в подготовке пилотов и внедрении VK DataPlatform

Требования:
1. Обработка данных
- Опыт работы с NiFi/AirFlow
- Опыт проектирования пайплайнов обработки данных
- Опыт проектирования с пайплайнов проверки качества данных
- Опыт и понимание работы с Spark
- Опыт программировании java/scala/python
- Опыт работы с Kafka/RabbitMQ

2. Хранение данных
- Опыт работы с PostgreSQL, ClickHouse от 3 лет
- Опыт работы с S3/Hadoop
- Опыт построение дата-архитектуры (DWH,OLAP,ELT/ETL/Data Lake/LakeHouse)
- Знание SQL
- Опыт работы с NoSQL базами данных
- Опыт работы и понимание работы распределенных SQL движков trino/dbt

3. Управление данными
- Понимание принципов Data Governance
- Опыт работы с Data Catalog OpenMetadata/DataHub/Atlas

4. Дополнительно (будет плюсом)
- Знание DataOps-практик
- Опыт с оркестрацией в Kubernetes
- Интеграция ML-моделей в ETL процессы
- Опыт работы с BI инструментами
- Опыт работы с Data Mesh / Data Fabric"

Мы предлагаем:

- Работа в крупной компании, сильная команда проекта.

- Удаленный формат работы, проектная работа (срок от 6 мес).

- Трудоустройство только как ИП или Самозанятый