Senior AI/ML Engineer (Multi-Agent Systems & Data Pipelines)

Мы ищем опытного Senior AI/ML Engineer для проектирования автономной мультиагентной архитектуры. Наша система работает с большими объемами неструктурированной информации из внешних источников, требуя высокой надежности пайплайнов, продвинутого поиска (RAG) и обхода современных систем защиты при сборе данных.

Чем предстоит заниматься

Вам предстоит спроектировать и запустить масштабируемую мультиагентную систему (Multi-Agent System), где различные AI-агенты будут автономно взаимодействовать друг с другом для решения комплексных задач.

Первый кластер задач связан с построением RAG-пайплайнов для непрерывного сбора, валидации и актуализации данных из сотен внешних источников. Агенты должны уметь не только извлекать информацию, но и критически оценивать её новизну, разрешать конфликты в данных (Entity Resolution) и обогащать внутреннюю базу знаний.

Второй кластер задач — создание специализированных агентов для сложного навигационного взаимодействия с внешними веб-интерфейсами. Система должна уметь автономно планировать многошаговые сценарии (ReAct), адаптироваться к изменениям верстки, поддерживать контекст сессий и надежно работать в условиях динамических ограничений доступа на стороне источников.

Ожидаемый стек и навыки

AI-Агенты и RAG (Retrieval-Augmented Generation):Глубокое понимание архитектуры мультиагентных систем (CrewAI, LangChain, AutoGen или Google ADK). Опыт проектирования сложных RAG-систем: продвинутый чанкинг, гибридный поиск (Dense + Sparse/BM25), использование реранкеров (Cross-Encoders). Навыки работы с векторными базами данных (Pinecone, Qdrant, Milvus) и графами знаний (Knowledge Graphs) для обеспечения контекстной памяти агентов.

Браузерная автоматизация и Anti-Detect:Понимание механизмов защиты современных веб-приложений (Cloudflare, Datadome). Опыт интеграции AI-агентов с headless-браузерами (Playwright, Puppeteer) через механизмы Tool Use / Function Calling. Умение настраивать подмену отпечатков (fingerprinting), управлять пулами резидентных прокси и автоматизировать прохождение сложных CAPTCHA с помощью визуальных моделей (VLM).

Инфраструктура сбора данных (ETL/ELT):Опыт проектирования пайплайнов для парсинга и агрегации данных под управлением AI-оркестраторов. Владение инструментами (Apache Airflow, Dagster). Понимание принципов Data Quality: автоматическая валидация схем и мониторинг аномалий в данных с использованием LLM-as-a-Judge.

Backend & MLOps:Уверенное владение Python (asyncio, FastAPI) для написания микросервисов и API для агентов. Опыт работы с LLM (OpenAI, Anthropic, локальные модели через vLLM/Ollama), понимание методов оптимизации инференса. Опыт контейнеризации (Docker, Kubernetes) и развертывания систем в облаке.

Что мы предлагаем

Мы предлагаем возможность построить передовую мультиагентную систему с нуля, выбирая стек технологий под задачу. У нас нет legacy-кода, зато есть амбициозные вызовы на стыке Generative AI, Data Engineering и продвинутой веб-автоматизации. Вы получите полную свободу в принятии архитектурных решений и доступ к необходимым ресурсам (API передовых моделей, бюджеты на прокси, вычислительные мощности GPU).