Data Engineer Senior

Описание вакансии

Группа Компаний Орбита - ведущий разработчик цифровых решений, российская аккредитованная ИТ-компания.

Масштабный технологический проект с глубокой экспертизой в цифровизации бизнеса. Ключевые отрасли: государственный сектор, FinTech, HR Tech, коммуникации и медиа, услуги, рынок недвижимости, travel.
Нам доверяют крупнейшие компании РФ, среди них: Т1, ВТБ, Иннотех, Альфа Банк, ОИС и другие.
Более 6 лет мы ведем собственную продуктовую и заказную разработку высокоэффективных цифровых решений.

Сейчас мы ищем: Data Engineer Senior

Обязанности:

Подключение внутренней модели (llmops платформа) для агентов + анализ
Подключение памяти для агентов (чтобы каждое предыдущее сообщение учитывалось)
Написание самих агентов
Вписывание в общую архитектуру бота/миниаппа
Создание базы данных
Отлаживание логирования, докрутка промтов, тестирование

Требования:

1. Знание языков программирования:

Опыт работы с Python или Java (Python предпочтительно). Знание библиотек для обработки данных (например, Pandas, NumPy, Apache Spark).

2. Знание баз данных: Опыт работы с SQL (на уровне продвинутого уровня). Знание работы с реляционными базами данных (например, PostgreSQL, MySQL, Oracle) и/или NoSQL (например, MongoDB, Cassandra).

3. Знание инструментов обработки данных: Опыт работы с инструментами обработки данных (например, Apache Hadoop, Apache Spark, Apache Kafka). Знание работы с системами хранения данных (например, Amazon S3, Google Cloud Storage).

4. Знание облачных платформ: Опыт работы с облачными платформами (например, AWS, Google Cloud, Azure). Знание работы с сервисами обработки данных (например, AWS EMR, Google BigQuery, Azure Databricks).

5. Знание потоковой обработки данных: Опыт работы с потоковой обработкой данных (например, Apache Kafka, Apache Flink, Apache Storm). Знание концепций реального времени (real-time) и обработки потоковой данных.

6. Знание инструментов управления данными: Опыт работы с инструментами ETL/ELT (например, Apache Airflow, Apache NiFi, Talend). Знание работы с системами управления данными (DataOps).

7. Знание систем управления версиями:

Что мы предлагаем:

Удаленный формат работы.
Деньги: белую ЗП всегда в рынке, оформление ТК РФ;
Комфортный старт: 3 месяца плавного погружения под присмотром HR;
Поддержка: ИТ-отсрочку и HR / юридические консультации 24/7;
Культура: прозрачные процессы и открытую коммуникацию;
Мощное железо: работу на лучших компах, мы не логируем время, у нас фокус на доверии и результате;
ДМС: твое лечение за счет компании;
Развитие: индивидуальный план обучения, конференции и митапы, мы помогаем развиваться и строить карьеру;
Личный бренд: выступления на конференциях, митапах, написание статей;
Бенефиты: ежеквартальное обновление корпоративных скидок;
Движ: вечеринки оффлайн и онлайн, мерч, конкурсы и челленджи.