Lead Engineer / Архитектор платформы веб-скрейпинга (Web scraping+Anti-bot)

Наша команда разрабатывает высоконагруженную платформу для веб-скрейпинга, которая позволяет получать чистый HTML или структурированный JSON с любого веб-сайта — без забот о прокси, CAPTCHA или анти-ботах.
Платформа поддерживает как облачную модель, так и развёртывание в инфраструктуре клиента (on-prem, Kubernetes).
Мы в поиске опытного инженера, который возьмёт на себя принятие архитектурных решений и возглавит развитие современной инфраструктуры для веб-скрейпинга.

Обязанности:

1) Проектирование архитектуры

• Data-plane: высокопараллельный краулер, управление сессиями, анти-бот-обход, CAPTCHA-солвер
• Control-plane: API, авторизация, биллинг, квотирование, мониторинг
• Инфраструктура: микросервисы, Docker/K8s, CI/CD, observability

2) Лидерство в разработке

• Выстраивание процессов разработки и релизов
• Контроль качества кода и технических решений

3) Исследование и обход анти-ботов

• Фингерпринтинг браузеров и сетевых уровней (JA3, TLS, CDP)
• Обход защит: Cloudflare, Akamai, Qrator, ServicePipe, Variti и др.

4) DevOps / SRE

• Настройка CI/CD, Helm-чартов, масштабирования
• Организация мониторинга (Prometheus, Grafana, Loki) и SLA-процессов

• 5+ лет инженерного опыта в высоконагруженных backend-/data-платформах

• Глубокий опыт в веб-скрейпинге

• Отличное понимание HTTP, TLS, HTTP/2, прокси, браузерного стека (CDP, WebRTC)

• Опыт с async Python или Go (в идеале оба), Redis, очередями, брокерами

• Продвинутый уровень DevOps-инструментов: Kubernetes, Helm, Prometheus, CI/CD

• Английский язык — уверенный (вся документация и часть команды англоязычные)

• Умение принимать решения, менторить и брать ответственность за результат

• Опыт анализа и обхода систем защиты от ботов (как преимущество)

• Участие в разработке ключевого продукта компании с нуля

• Высокая автономия и влияние на архитектуру и команду

• Бюджет на конференции, курсы, рабочие инструменты

• Конкурентная заработная плата