Data Engineer (LLM)

LIAN — системный интегратор с фокусом в аналитике и управлении данными.

Мы работаем в трех направлениях:

1. Автоматизация управленческой отчетности (BI) в малом и среднем бизнесе. Строим хранилища данных, настраиваем сбор и интеграцию, разрабатываем отчеты и дэшборды. Наш стек в BI включает все современные инструменты, в том числе open-source ПО.

2. Заказная разработка аналитических систем. Когда у нашего клиента есть специфичный запрос, мы разрабатываем аналитические системы с нуля. Часто применяем подходы BigData, Data Science, актуальные подходы к программному анализу данных и прогнозированию.

3. Запуск и ресурсное обеспечение команд разработки в комплексных проектах цифровой трансформации. Мы усиливаем команды наших партнеров и клиентов собственными сотрудниками и обеспечиваем максимально быстрый старт новых проектов. Среди наших заказчиков - крупные системные интеграторы, банки, нефтегазовые, химические производства, логистические компании, стартапы.

Сейчас мы приглашаем опытного ___________________________

Чем предстоит заниматься:

• Интегрировать данные из бизнес-систем (таких как ERP, CRM, биллинги, лог-шины и API), консолидировать разрозненные данные;

• Разрабатывать и обслуживать отказоустойчивые пайплайны данных (как батчевые, так и потоковые), включая их оркестрацию, мониторинг и систему оповещений.

• Готовить «ML-готовые» датасеты и фичи: схемы, слои, форматы, версионирование;

• Внедрять и настраивать контроль качества данных: проводить валидацию, писать тесты и определять SLA (соглашения об уровне обслуживания).

• Проводить оптимизацию затрат и производительности: планировать ресурсы, выполнять профилирование запросов, настраивать кэширование и материализацию данных.

• Обеспечивать интеграцию с ML/LLM-пайплайнами: работать с оффлайн- и онлайн-признаками, организовывать фичасторы, готовить данные для RAG и работать с векторными базами данных;

• Обеспечивать хранение: проектировать DWH/даталейк/лейкхаус, индексацию, партиционирование, компрессию.

• Опыт работы в позиции ML engineer

• Более 3 лет в data-инженерии: проектирование и эксплуатация конвейеров данных (батч/стриминг);

• Уверенный SQL (аналитический, оконные функции, оптимизация);

• Опыт работы с Python для разработки пайплайнов/утилит;

• Опыт с Airflow (DAG, зависимости, сенсоры, SLA, retries);

• Проектирование слоёв данных и форматов, S3-совместимые стораджи;

• Практика data quality (тесты, профили, контракты);

• Понимание ML-пайплайнов;

• Понимание основ безопасности данных.

• Трудоустройство по ИП/СЗ
• Работаем удаленно на территории РФ
• Работа с современными и передовыми технологиями
• Широкие возможности для профессионального и карьерного роста

В нашей команде работают профессионалы с разносторонним опытом. Здесь ты найдешь профессиональные задачи и новые вызовы, сможешь реализовать свой потенциал.
Хочешь стать частью нашей команды? Мы ждем твоего отклика и свяжемся с тобой !