Ты сможешь получить опыт и раскрыть свой потенциал, работая над уникальными технологичными проектами наших клиентов.
Ты фокусируешься на технических задачах, а мы берем на себя переговоры с заказчиком, решение бюрократических вопросов и своевременно оплачиваем работу на проекте.
Приглашаем Системного аналитика для работы на IT-проектах наших клиентов (в формате аутстафф).
Задачи:
Проектирование, разработка и сопровождение масштабируемых решений по интеграции, обработке и хранению данных в корпоративной платформе данных;
Разработка и оптимизация batch-и streaming-пайплайнов для загрузки, трансформации и публикации данных;
Разработка ETL/ELT-процессов с использованием современных инструментов обработки данных;
Проектирование моделей данных для аналитических и операционных сценариев;
Оптимизация производительности процессов обработки данных и SQL-запросов;
Обеспечение качества данных: реализация механизмов валидации, мониторинга и контроля полноты данных;
Участие в проектировании архитектуры платформы данных и выборе технологических решений;
Внедрение и развитие практик DataOps и CI/CD для процессов обработки данных;
Подготовка технической документации и архитектурных артефактов;
Проведение код-ревью, техническое менторство и участие в развитии команды;
Для выполнения задач необходимы:
Опыт работы Data Engineer от 5 лет;
Знание методологии Data Vault 2.0;
Уверенные знания Python/Scala/Java для разработки ETL/ELT-процессов и сервисов обработки данных;
Отличное знание SQL, опыт оптимизации сложных запросов и работы с большими объемами данных;
Опыт проектирования и разработки промышленного Data Warehouse, Data Lake или Lakehouse решений.
Практический опыт работы с Apache Spark;
Опыт работы с Apache Airflow, Apache Kafka;
Опыт работы с системами потоковой обработки данных:
Опыт работы с распределенными файловыми системами и форматами хранения данных: HDFS, Parquet, Avro;
Опыт работы с экосистемой Hadoop или современными платформами хранения и обработки данных;
Опыт работы с реляционными СУБД (PostgreSQL, Oracle, Clickhouse, Greenplum);
Уверенное владение Git и понимание процессов CI/CD;
Опыт работы с системами управления задачами и документацией (Jira, Confluence или аналоги);
Понимание принципов построения отказоустойчивых и масштабируемых решений;
Опыт использования dbt для построения трансформационных слоев данных;
Практика внедрения Data Quality решений (Great Expectations, Soda и др.);
Опыт работы с Data Catalog и Data Governance инструментами.
Мы предлагаем:Удаленную работу - возможность работать из любого города;
Своевременные выплаты;
Интересные и уникальные IT-проекты в крупных компаниях;
Скидки от партнеров - английский язык, обучение, покупки;
Корпоративная библиотека