Senior Data Scraping & AI Pipeline Engineer (Python / LLM)

Мы ищем инженера-архитектора данных, для которого не существует нерешаемых задач по парсингу. Нам нужен топ-специалист, способный не просто собирать данные, но и выстраивать интеллектуальные конвейеры обработки, обогащения и анализа информации с помощью LLM.

Если вы знаете, как обойти любую антифрод-защиту, и умеете превращать сырой HTML в структурированные инсайты с помощью нейросетей — эта вакансия для вас.

Что предстоит делать:

Парсинг и сбор данных:

•Проектирование и разработка масштабируемых систем сбора данных.

•Обход сложных систем защиты от ботов (Cloudflare, DataDome, Akamai, кастомные решения), настройка ротации прокси и сессий.

•Мониторинг качества собираемых данных, реализация логики автовосстановления парсеров при изменении верстки.

AI-обработка и пайплайны:

•Интеграция LLM (OpenAI, Claude, локальные модели) в процессы обработки данных: классификация, извлечение сущностей (NER), сентимент-анализ, профилирование.

•Проектирование гибридных систем: rule-based фильтрация + LLM-принятие решений.

•Построение structured output пайплайнов: JSON-схемы с валидацией, автоматическая генерация отчётов.

•Построение пайплайнов обогащения данных и ICP-сегментации (скоринг лидов, оценка digital-зрелости компаний).

Инфраструктура и хранение:

•Разработка архитектуры хранения и быстрого поиска по собранным данным (PostgreSQL, полнотекстовый поиск, векторные базы данных).

•Создание конвейеров автоматизации бизнес-процессов (аутрич, мониторинг, аналитика) на базе n8n / Airflow.

Что мы ожидаем от кандидата:

Обязательно:

•Опыт коммерческой разработки на Python от 4 лет, из них фокус на Web Scraping / Data Engineering от 3 лет.

•Уверенное владение инструментами парсинга: Playwright, Selenium, Puppeteer, Scrapy, BeautifulSoup, aiohttp.

•Практический опыт обхода антибот-систем, работы с headless-браузерами, решения проблем с CAPTCHA.

•Опыт работы с LLM API (OpenAI, Claude ) для задач извлечения данных, классификации и обогащения — обязателен.

•Опыт промпт-инжиниринга: structured output, chain-of-thought, few-shot, валидация схем.

•Глубокое понимание архитектуры баз данных (PostgreSQL), опыт работы с большими объемами данных.

•Опыт построения автоматизированных пайплайнов (n8n, Airflow, cron, Docker).

•Умение декомпозировать сложные задачи и самостоятельно принимать архитектурные решения.

Будет плюсом:

•Опыт работы с векторными базами данных (Pinecone, Milvus, Qdrant) и построения RAG-систем.

•Опыт парсинга Telegram, Discord, форумов и маркетплейсов.

Мы предлагаем:

•Полностью удаленный формат работы.

•Задачи, требующие нестандартного подхода и глубокой технической экспертизы.

•Полная свобода в выборе инструментов и архитектурных решений.

•Бюджет на инфраструктуру, прокси, API и любые необходимые инструменты.