QA Engineer (Manual + LLM + базовая автоматизация)

О нас

Мы создаём продукты на базе голосовых технологий и генеративного ИИ, которые помогают бизнесу быстро внедрять AI в реальные процессы.

В нашей команде более 50 специалистов. Нашими решениями пользуются Билайн, Купер, Яндекс, Авито, Самокат, Газпром, Ренессанс, РСХБ и ещё более 50 компаний.

О роли

Мы ищем QA-инженера с сильной базой ручного тестирования, практическим опытом работы с LLM и начальными навыками автоматизации на Python.

Это не позиция для начинающего тестировщика и не исключительно ручная роль. Вам предстоит самостоятельно разбираться в работе распределённой системы, проверять web- и API-функциональность, анализировать логи и постепенно автоматизировать повторяемые проверки.

Особенность наших продуктов — наличие LLM-компонентов, поведение которых может быть вероятностным и зависеть от промпта, контекста, модели и параметров генерации. Поэтому нам нужен специалист, который умеет тестировать не только детерминированные сценарии, но и качество AI-функциональности.

Задачи

• Проводить e2e-приёмку новых функций в dev- и тестовых средах.

• Выполнять предрелизное регрессионное тестирование.

• Тестировать REST API и интеграции между микросервисами с помощью Postman и аналогичных инструментов.

• Проектировать тестовые сценарии для LLM-функциональности: позитивные, негативные, пограничные и adversarial-сценарии.

• Проверять устойчивость LLM-компонентов к изменению формулировок, контекста и входных данных.

• Формировать тестовые наборы и критерии оценки качества недетерминированных ответов.

• Описывать тест-кейсы в структурированном формате, пригодном для выполнения человеком и последующей агентизации с помощью LLM.

• Локализовывать дефекты: анализировать запросы и ответы API, логи сервисов и взаимосвязь событий.

• Работать с Grafana Loki: строить запросы, находить релевантные записи и прикладывать фактуру к дефектам.

• Описывать дефекты в Яндекс Трекере с достаточными для воспроизведения шагами, ожидаемым и фактическим результатом.

• Воспроизводить проблемы, обнаруженные пользователями, и собирать недостающие технические данные.

• Писать и поддерживать несложные автотесты на Python — прежде всего для API и регрессионных сценариев.

• Участвовать в определении тестовой стратегии вместе с product owner и разработчиками.

Обязательные требования

• Коммерческий опыт тестирования web-продуктов, API и интеграций.

• Уверенное понимание техник тест-дизайна, клиент-серверного взаимодействия, HTTP и REST API.

• Умение самостоятельно локализовать проблему, а не только зафиксировать внешнее проявление ошибки.

• Опыт работы с логами и системами наблюдаемости. Желателен практический опыт с Grafana Loki и LogQL.

• Практический опыт использования LLM для технических задач: анализа данных и логов, генерации и проверки гипотез, подготовки тестов, работы с кодом и документацией.

• Понимание особенностей LLM: недетерминированность, галлюцинации, контекст, системные и пользовательские промпты, structured output.

• Способность составить воспроизводимый сценарий проверки LLM-функциональности и определить измеримые критерии успешности.

• Базовые навыки Python: умение прочитать существующий код, написать небольшой скрипт или автотест.

• Начальный практический опыт с pytest и библиотеками для HTTP-запросов (requests или httpx).

• Базовое владение Git.

• Умение формулировать мысли технически точно и без необходимости многократных уточнений.

Будет преимуществом

• Опыт тестирования продуктов с LLM, AI-агентами, RAG или голосовыми технологиями.

• Опыт создания eval-наборов и автоматизированной оценки качества LLM-ответов.

• Знакомство с tool calling, JSON Schema и проверкой structured output.

• Опыт автоматизации UI с Playwright или Selenium.

• Знание SQL, Linux, Docker и принципов работы CI/CD.

• Опыт тестирования микросервисной и событийной архитектуры.

• Умение использовать AI-инструменты для ускорения автоматизации, сохраняя контроль над качеством полученного кода.

Эта позиция, скорее всего, не подойдёт, если вы

• Работали только по готовым тест-кейсам и не проектировали проверки самостоятельно.

• Тестировали только пользовательский интерфейс и не работали с API и логами.

• Не готовы читать техническую документацию и разбираться во взаимодействии сервисов.

• Использовали LLM только для бытовых вопросов и не можете привести примеры решения с их помощью технических задач.

• Не готовы осваивать и применять автоматизацию на Python.

Условия

• Оформление по ТК РФ.

• Удалённый формат работы.

• Рабочий график — с 9:00 до 18:00.

• Вознаграждение: фиксированный оклад и квартальные премии.

• Работа в аккредитованной ИТ-компании.

• Обучение и поддержка команды.

• Возможность развиваться на пересечении QA, автоматизации и генеративного ИИ.

Что указать в отклике

Чтобы мы могли предметно оценить ваш опыт, добавьте к отклику краткие ответы на три вопроса:

1. Какую техническую задачу вы решали с помощью LLM? Опишите задачу, подход и то, как проверяли корректность результата.

2. Как бы вы тестировали LLM-функцию, которая на одинаковый запрос может давать разные ответы?

3. Приведите пример написанного вами автотеста или небольшого Python-скрипта. Можно приложить обезличенный фрагмент кода или ссылку на репозиторий.

Отклики без ответов на эти вопросы мы рассматриваем во вторую очередь.