Data Engineer

LIAN — системный интегратор с фокусом в аналитике и управлении данными.

Мы работаем в трех направлениях:

1. Автоматизация управленческой отчетности (BI) в малом и среднем бизнесе. Строим хранилища данных, настраиваем сбор и интеграцию, разрабатываем отчеты и дэшборды. Наш стек в BI включает все современные инструменты, в том числе open-source ПО.

2. Заказная разработка аналитических систем. Когда у нашего клиента есть специфичный запрос, мы разрабатываем аналитические системы с нуля. Часто применяем подходы BigData, Data Science, актуальные подходы к программному анализу данных и прогнозированию.

3. Запуск и ресурсное обеспечение команд разработки в комплексных проектах цифровой трансформации. Мы усиливаем команды наших партнеров и клиентов собственными сотрудниками и обеспечиваем максимально быстрый старт новых проектов. Среди наших заказчиков - крупные системные интеграторы, банки, нефтегазовые, химические производства, логистические компании, стартапы.

Сейчас мы приглашаем опытного инженера данных, который сможет с нами сотрудничать на проектной основе! Рассматриваем от уровня middle и выше!

• Создание и сопровождение процессов обработки данных: Разработка, настройка и поддержка автоматических процессов (ETL/ELT) для переноса информации из операционных бизнес-систем (таких как 1С) в аналитические хранилища — реляционное (PostgreSQL) и колоночное (ClickHouse) — с использованием современных инструментов оркестрации (Apache Airflow).

• Проектирование и оптимизация аналитической инфраструктуры: Проектирование эффективных структур хранения данных: оптимизация схем, индексов в реляционной БД; подбор движков и создание материализованных представлений в колоночных системах для обеспечения высокой скорости выполнения сложных аналитических запросов.

• Разработка инструментов визуализации и аналитики: Создание комплексных и интерактивных аналитических панелей (в Power BI, Yandex DataLens), оснащённых динамическими фильтрами, возможностями детализации (drill-down) и использующих данные из различных источников.

• Бизнес-ориентированная разработка: Тесное взаимодействие с аналитиками и конечными пользователями для сбора, анализа потребностей и последующей реализации понятных и эффективных аналитических решений, соответствующих их задачам.

• От 2-3 лет в роли, связанной с построением аналитической инфраструктуры (Data Engineer) или созданием инструментов для бизнес-анализа (BI-разработчик), с применением сходного технологического стека.
• Глубокие знания PostgreSQL: от разработки сложных запросов и проектирования схем до тонкой настройки производительности (индексы, анализ execution plans) и реализации процессов переноса данных.
• Знание и практический опыт построения, отладки и поддержки ETL-процессов с использованием Apache Airflow (написание DAG) (+ знание Python на уровне написания скриптов для Airflow DAG и базовой обработки (pandas).
• Знание операторов (включая Postgres, ClickHouse).
• Настройка расписаний и алертов.
• Опыт работы с ClickHouse.
• Понимание принципов OLAP-систем, работы с различными движками таблиц, создания материализованных представлений и оптимизации аналитических запросов.
• Опыт работы с движками таблиц семейства MergeTree, материализованными представлениями, оптимизацией запросов.

Будет плюсом:

• Визуализация данных с помощью Power BI (DAX, Power Query, работа с Data Gateways) и/или Yandex DataLens (создание SQL-датасетов, дизайн дашбордов).
• Опыт интеграции с данными из 1С (любые конфигурации).
• Базовые знания Docker.
• Опыт настройки мониторинга (например, Grafana ил любой другой инструмент).

• Форма трудоустройства на ваш выбор: договору оказания услуг с ИП или самозанятым
• Участие в интересных масштабных проектах с Заказчиками федерального и международного уровня
• Работа с передовыми технологиями
• Возможности профессионального и карьерного роста
• Полностью удаленная работа
• Регулярная и достойная оплата труда

В нашей команде работают профессионалы с разносторонним опытом. Здесь ты найдешь профессиональные задачи и новые вызовы, сможешь реализовать свой потенциал.
Хочешь стать частью нашей команды? Мы ждем твоего отклика и свяжемся с тобой !