Data Engineer, инженер данных

Adeptum Digital Production - аккредитованная it компания, которая занимается разработкой ПО и сложных веб решений для корпораций в нефтегазе, логистике, финтехе. Компания занимает первые строчки Рейтинга Рунета 2025 в России по категориям: разработка ПО "под ключ" и Корпоративная разработка для логистической и нефтегазовой отраслям.

На проект «Система автоматизированного сравнения опросных листов и технических предложений» с технологиями ИИ нам необходим Дата инженер для усиления действующей команды.

Обязанности:

• Построение и поддержка надёжных ETL/ELT-пайплайнов для проекта
• Обеспечение качества, доступности и консистентности данных для аналитики и ML-моделей
• Автоматизация тестирования данных, контроль качества (null-checks, уникальность, консистентность)

• Согласование контрактов данных с backend- и ML-командами, валидация форматов. Анализ производительности запросов, оптимизация хранения и вычислений. Документирование пайплайнов, формирование data catalog'ов и словарей метрик.

• Коммерческий опыт работы дата-инженером от 2 лет, понимание жизненного цикла данных в enterprise-среде.

• Практический опыт оркестрации пайплайнов, работы с событийными шинами и колоночными хранилищами.

• Понимание принципов Data Quality, мониторинга дрейфа и валидации входных данных.

• Понимание принципов обработки больших массивов данных, map/reduce, оконные функции.

• владение Python 3.11+, Apache Airflow 2.7+, Celery для оркестрации задач. Опыт работы с PostgreSQL, GreenPlum, ClickHouse, Kafka, Apache NIFI/Spark. Понимание принципов проектирования DWH.

• Предлагаем удаленную работу с онлайн взаимодействием с командой (agile/scrum)
• Отсутствие бюрократии, адекватный менеджмент внутри команды, поддержка коллектива
• Конкурентная зарплата по рынку
• Проектную работу, которая в перспективе может перерасти в долгосрочное сотрудничество