QA Automation Engineer (AI Voicebot)

Привет! Команда Evrone занимается продуктовой разработкой стартапов и помогает в цифровой трансформации бизнеса в России, США и Европе. Думаю, что вы о нас слышали от Григория Петрова (Evrone Devrel)

Сейчас мы находимся в поиске QA Automation Engineer на AI-проект. Подробнее про позицию:

• Проект: Voice AI Platform (название под NDA).
• Платформа для создания AI-ассистентов, которые общаются с пользователями по телефону и через web в режиме реального времени. Объединяет LLM, Speech-to-Text, Text-to-Speech и Voice AI в единый пайплайн. Используется для автоматизации клиентской поддержки, продаж и других сценариев коммуникации.
• Команда - около 10 QA Engineers (Middle, Senior + QA Lead) в тесной связке с Backend, ML, DevOps и Platform Engineers.
• Зона ответственности команды - качество четырех AI-продуктов компании. Команда развивает автоматизацию тестирования, систему оценки LLM, процессы канареечных релизов и quality gates. Также отвечает за SLO Voice AI-пайплайна и качество production-релизов.

Что делать:

• разработка и поддержка фреймворков автоматизации на PyTest и Playwright;
• тестирование API, Voice AI и event-driven сценариев;
• оценка качества LLM (LLM-as-a-Judge, Rubric-based Evaluation);
• сопровождение canary release, A/B testing и rollback;
• контроль SLO AI-сервисов;
• работа с Kubernetes и production-окружением;
• взаимодействие с ML-командой по качеству моделей и датасетов.
• Стек: Python, PyTest, TypeScript, Playwright, k6, Kubernetes, Docker, GitLab CI/CD, Nebius AI Cloud, Azure, WebRTC, LiveKit, SIP, Linux, GenAI.

Какой опыт для нас важен

• Automation QA. От 3-х лет
  • Python, PyTest, Playwright, TypeScript;
  • CI/CD, canary release и quality gates;
• AI / LLM
  • Тестирования AI/LLM-продуктов или систем оценки моделей;
  • Понимание LLM-as-a-Judge, Rubric-based Evaluation или аналогичных подходов;
  • Понимание SLO/SLI для AI-сервисов;
• Разговорный английский. Коммуникация с членами команды будет идти на английском;

Будет плюсом опыт с:

• Kubernetes и Linux;
• k6 или другие инструменты нагрузочного тестирования;
• WebRTC, SIP, LiveKit или телефония;
• Nebius AI Cloud или другие GPU Cloud-платформы;
• MLOps и ML-инфраструктурой.

Этапы интервью:

• HR Interview (Soft-skills, eng-checking, motivation, etc);
• Evrone Tech-interview;
• Project Tech-interview;
• Project Manager interview (soft-skills, culture-fit).

Почему Evrone:

• Мы занимаемся технически сложными, высоконагруженными, наукоёмкими проектами, проектами с большой бизнес логикой или большой серверной инфраструктурой. Нам доверяют: аналитику, проектирование интерфейсов и дизайн, разработку, инфраструктуру и эксплуатацию. Мы становимся технической командой проекта целиком или консультируем и расширяем возможности существующих команд наших клиентов.
• Кроме того, Evrone помогает развиваться сообществу разработчиков. Мы делаем самую большую в России конференцию по Ruby — RubyRussia, проводим технические митапы, делаем свой новостной дайджест, а также спонсируем и помогаем в проведении конференций по Go, Python, React/Vue и функциональным языкам.
• Наши инженеры выступают на ведущих конференциях России и Европы и вносят вклад в Open Source проекты, мы берем интервью у лидеров комьюнити и пишем статьи на самые горячие темы индустрии. В этом году мы ставили стенд и выступали на конференциях Highload и TeamLeadConf.
• Вся команда работает удаленно с 2008 года. Мы знаем как организовать распределенную разработку комфортно и эффективно. Есть офисы для работы и встреч в Москве и Воронеже, а также офисы продаж в Сан-Франциско и Берлине.
• Про наши последние проекты можно почитать тут: evrone.ru/technologies/golang

Что предлагаем:

• Удаленную фултайм работу и мягкий график. Достаточно синхронизировать тайм-зоны и иметь пересечения рабочего времени с командой;
• Качественный онбординг и hr-менеджмент (1:1, Grow Review). По желанию меняем проекты, не даем стагнировать. При формировании команды проекта учитываем профессиональные или личные интересы разработчиков;
• Работу в разновозрастном, разнополом и потрясающе дружном и профессиональном коллективе;
• Хорошо организованный воркфлоу, отсутствие бюрократии. Работа на доверии.
• Наши разработчики работают только над одним проектом. Без постоянных переключений между ними.

Одна из ценностей Evrone – работа с удовольствием.

Для этого мы придумали Evrone Benefits. Каждому из нас выделяется годовой бюджет, автоматически пополняемый каждый новый год вашей работы в Evrone. Его можно потратить на полезные категории трат, направленные на:

• ДМС и здоровье;
• Спорт и абонемент для фитнеса или инвентарь для спорта;
• Курсы иностранного языка;
• Техника для работы и улучшение рабочего места;
• Обучение: курсы, тренинги, мастер-классы, семинары, книги и конференции.

Бонусы и премии:

• Повышение зарплаты по мере роста компетенций (по результатам ассессмента);
• Премии за привлечение новых сотрудников и новых клиентов;
• Дополнительная премия за выступления на конференциях и митапах;
• У вас есть возможность принять участие в проведении технических интервью специалистов, которые могут стать вашими коллегами. Проведение интервью оплачивается.

Обучение и рост компетенций:

• Проводим митапы. Вы можете быть как и слушателем, так и спикером;
• У нас есть культура менторства. В повседневных задачах и планировании карьеры будет помогать наставник;
• Развивать профессиональный уровень можно с помощью системы ассессмента Evrone Challenge;
• Есть внутренняя библиотека с электронными книгами и записанными курсами;
• Работаем и дружим с западными заказчиками, есть возможность практиковать свой английский.

Возможность стать докладчиком или автором:

• Если вы хотите выступить на оффлайн конференции, мы поможем вам подготовить контент для доклада и сделаем крутые слайды. DevRel Evrone (Григорий Петров) поможет подготовиться к выступлению на конференции, окажем поддержку на самой конференции и подготовим материалы с вашим докладом.
• Если вы хотите выступить на онлайн конференции, помимо помощи по подготовке доклада и подбору конференции, мы организуем вам студийную съемку или трансляцию вашего доклада;
• У нас есть блоги на всех популярных платформах России и мира. Наши редакторы и профессиональные авторы еженедельно выпускают новые материалы;
• Если вы написали статью, мы нарисуем для нее иллюстрации и поможем вам ее оформить и опубликовать. Если у вас есть только идея - редакторы помогут сформулировать мысли, оформить пост самостоятельно и правильно опубликовать для максимального охвата.

Возможность прокачаться в Open Source:

• Если у вас есть популярные open source проекты – мы поможем с их продвижением и окажем поддержку в развитии;
• Если вы контрибьютите в популярные проекты с открытым исходным кодом, мы оплатим часы, которые вы на это потратили.
• Если вы ничего этого не делаете, но очень хочется начать – в Evrone есть менторы, которые помогут вам сделать первые шаги: подберут задачки для старта, помогут решить их и правильно оформить pr.

Отдых и развиртуализация:

Мы проводим ежегодный фестиваль Evrone Fest, на котором собирается вся наша команда, а также тематические встречи в различных городах. Поэтому, где бы вы ни находились, мы будем рады увидеться лично.