Data Engineer

LIAN — системный интегратор с фокусом в аналитике и управлении данными.

Мы работаем в трех направлениях:

1. Автоматизация управленческой отчетности (BI) в малом и среднем бизнесе. Строим хранилища данных, настраиваем сбор и интеграцию, разрабатываем отчеты и дэшборды. Наш стек в BI включает все современные инструменты, в том числе open-source ПО.

2. Заказная разработка аналитических систем. Когда у нашего клиента есть специфичный запрос, мы разрабатываем аналитические системы с нуля. Часто применяем подходы BigData, Data Science, актуальные подходы к программному анализу данных и прогнозированию.

3. Запуск и ресурсное обеспечение команд разработки в комплексных проектах цифровой трансформации. Мы усиливаем команды наших партнеров и клиентов собственными сотрудниками и обеспечиваем максимально быстрый старт новых проектов. Среди наших заказчиков - крупные системные интеграторы, банки, нефтегазовые, химические производства, логистические компании, стартапы.

Сейчас мы приглашаем опытного инженера данных к нам на проектную деятельность!

• Проектирование и разработка пайплайнов данных с использованием ETL/ELT-инструментов.

• Реализация сложных кастомных трансформаций данных в соответствии с бизнес-логикой.

• Построение прототипов хранилищ данных и разработка витрин данных (Data Marts) для аналитики и отчетности.

• Проведение анализа производительности существующих ETL-процессов и их масштабирование для работы с растущими объемами данных.

• Оптимизация SQL-запросов и структур реляционных баз данных для ускорения выборок и загрузки.

• Разработка и поддержка процедур на языке PL/pgSQL (хранимые процедуры, триггеры, функции).

• Участие в развитии архитектуры корпоративного хранилища данных (DWH), включая анализ и выбор оптимальных технологий и методологий.

• Ведение технической документации и создание базы знаний (knowledge base) для пользователей данных и смежных команд.

• Глубокое понимание принципов построения хранилищ данных (DWH) и архитектуры MPP-систем (Massively Parallel Processing).

• Опыт работы в экосистеме Hadoop и навыки Data Engineer: знание компонентов HDFS, YARN, Spark, Kafka, NiFi, Sqoop, Flume.

• Уверенное знание SQL (DDL, DML), опыт оптимизации и профилирования запросов.

• Практический опыт работы с Greenplum или отличное знание PostgreSQL.

• Опыт коммерческой разработки с использованием ETL-инструментов: SAS DIS (Data Integration Studio) и/или Informatica PowerCenter.

• Опыт работы с системами ведения проектов и документации (Jira, Confluence).

• Навыки работы с Git (ветвление, код-ревью, управление репозиториями).

• Опыт сопровождения и мониторинга информационных систем, находящихся в зоне ответственности.

• Форма трудоустройства на ваш выбор: договору оказания услуг с ИП или самозанятым
• Участие в интересных масштабных проектах с Заказчиками федерального и международного уровня
• Работа с передовыми технологиями
• Возможности профессионального и карьерного роста
• Полностью удаленная работа
• Регулярная и достойная оплата труда

В нашей команде работают профессионалы с разносторонним опытом. Здесь ты найдешь профессиональные задачи и новые вызовы, сможешь реализовать свой потенциал.
Хочешь стать частью нашей команды? Мы ждем твоего отклика и свяжемся с тобой !