QA-инженер по данным (Data Quality)

О компании и роли

Привет! Меня зовут Виктор, я отвечаю за развитие новых направлений в компании.

Мы делаем платформу ценовой аналитики для мирового винного рынка. Система находит винные магазины по всему миру, обходит их сайты, определяет, какое вино там продаётся и по какой цене, и собирает всё в единый каталог. В базе десятки тысяч сайтов и миллионы записей, данные разбирают парсеры и ML-модели.

Ищем человека, который возьмёт на себя качество данных в базе: будет находить ошибки и пробелы, разбираться, откуда они берутся, и добиваться, чтобы их исправили.

Что предстоит делать

• Проверять данные по всей цепочке: сайт магазина, товарные ссылки, упоминания вина, карточка в каталоге, цена. На каждом шаге искать, где теряется полнота и где появляются ошибки
• Сверять полноту с внешними источниками: другими агрегаторами, поисковой выдачей, сайтами производителей
• Доводить каждую находку до причины: сколько таких записей, какое правило, алгоритм или загрузка их дали, что поменять. Дальше задачи разработке и правки в постановках
• Писать автоматические проверки, которые регулярно гоняются по продакшен-базе, и следить за метриками качества
• Проверять результаты массовых загрузок и ручной разметки
• Описывать каждую проверку в Confluence: что проверяли, на какой выборке, что нашли и что решили

Примеры того, что нужно ловить

• Одно и то же вино попало в каталог несколькими карточками, а под одной карточкой оказались два разных вина
• Страну сайта определили по телефону без международного кода, и часть французских магазинов стала американскими
• Магазин показывает одно вино на двух языковых версиях сайта, мы парсим обе, и в базе дубли
• История цен по магазину обрывается, а временная недоступность товара на недели гасит цену

Как устроена работа

Готовых тест-кейсов под базу нет, их предстоит придумать. Часть методики проверок уже описана в Confluence. Её нужно подхватить и превратить в систему: регулярные проверки, метрики, понятные отчёты.

Данные лежат в PostgreSQL и ClickHouse, доступ через SQL и Metabase. Задачи ведём в Jira, документацию в Confluence.

ИИ-инструментами пользуемся всей командой: запросы, скрипты и тесты пишем вместе с Claude. Ждём, что вы тоже так работаете и понимаете, где модели можно доверять, а где нет.

Что мы ждём от вас

• От 2 лет в проверке качества данных: тестирование данных или DWH, data quality, аналитика данных
• Понимание, что спросить у базы, чтобы проверить гипотезу, и способность заметить, что запрос считает не то
• Python для проверок: pandas, скрипты, которые запускаются по расписанию
• Опыт с живыми данными на продакшене, с реальными объёмами и реальным мусором
• Умение докопаться до причины ошибки и предложить, что поменять
• Умение коротко и ясно описать проверку: гипотеза, выборка, результат, вывод
• Самостоятельность: задачи приходят в свободной форме, что и как проверять, решаете вы

Будет сильным плюсом

• Great Expectations, dbt tests, Soda или свой фреймворк проверок данных
• Данные e-commerce: каталоги, сопоставление одинаковых товаров у разных продавцов, парсинг, мониторинг цен
• ClickHouse, Metabase
• Английский и хотя бы один из языков (французский, итальянский, немецкий) на уровне чтения сайтов
• Интерес к вину: с ним проще понять, почему два похожих вина на самом деле разные

Мы предлагаем

• Полностью удалённая работа
• Аккредитованная IT-компания
• Своя зона ответственности: проверки и метрики качества данных за вами
• Международный продукт и живые данные из десятков стран
• Небольшая команда без бюрократии

Заинтересовала вакансия?

Пришлите резюме и, если есть, пример своей проверки или отчёта о качестве данных (без чужих секретов).