Data Engineer (DBT , Apache Airflow)

LIAN — системный интегратор с фокусом в аналитике и управлении данными.

Мы работаем в трех направлениях:

1. Автоматизация управленческой отчетности (BI) в малом и среднем бизнесе. Строим хранилища данных, настраиваем сбор и интеграцию, разрабатываем отчеты и дэшборды. Наш стек в BI включает все современные инструменты, в том числе open-source ПО.

2. Заказная разработка аналитических систем. Когда у нашего клиента есть специфичный запрос, мы разрабатываем аналитические системы с нуля. Часто применяем подходы BigData, Data Science, актуальные подходы к программному анализу данных и прогнозированию.

3. Запуск и ресурсное обеспечение команд разработки в комплексных проектах цифровой трансформации. Мы усиливаем команды наших партнеров и клиентов собственными сотрудниками и обеспечиваем максимально быстрый старт новых проектов. Среди наших заказчиков - крупные системные интеграторы, банки, нефтегазовые, химические производства, логистические компании, стартапы.

Сейчас мы приглашаем опытного Data Engineer Senior на проектную деятельность!

• Настройка интеграций с источниками данных на Apache Airflow
• Организация и поддержка работы каталога данных
• Поддержка КХД
• Работа с разработчиками аналитиками;

Наши пожелания к кандидатам:

• Опыт работы дата инженером от 5 лет
• Работа с Apache Airflow более 2 лет
• Настройка и управление пайплайнами данных
• Опыт разработки DAG на Python для автоматизации ETL процессов
• Оптимизация и мониторинг выполнения DAG-ов
• Опыт самостоятельной разработки ETL/ELT процессов на основании бизнес-требований.
• Опыт работы с каталогами данных
• Разработка и поддержка моделей данных с использованием DBT
• Интеграция DBT в пайплайны данных для трансформации данных
• Понимание процессов версионирования моделей данных
• Опыт работы с Kafka: развертывание (желательно), настройка/оптимизация/масштабирование (обязательно)
• Опыт использования SQL при написании сложных запросов и оптимизация производительности существующих
• Опыт работы с реляционными базами данных (PostgreSQL, MSSQL)
• Настройка CI/CD для дата-процессов

• Трудоустройство по ИП/СЗ
• Работаем удаленно на территории РФ
• Работа с современными и передовыми технологиями
• Широкие возможности для профессионального и карьерного роста

В нашей команде работают профессионалы с разносторонним опытом. Здесь ты найдешь профессиональные задачи и новые вызовы, сможешь реализовать свой потенциал.
Хочешь стать частью нашей команды? Мы ждем твоего отклика и свяжемся с тобой !