Data Engineer ClickHouse

Компания bpm — эксперты в области анализа, автоматизации бизнес-процессов для среднего и крупного бизнеса. У нас есть опыт импортозамещения BPM, CRM, СЭД, ITSM, Process Mining, систем скоринга, автоматизации на базе low-code платформ и open-source технологий, внедрения ИИ и др.

Сотрудники — наш главный актив. Мы инвестируем в рост, экспертизу и вовлечённость каждого специалиста.

С 2011 года мы успешно реализовали более 100 проектов в России и СНГ. Среди наших клиентов - Росбанк, СБЕР, банк ВТБ, ДОМ.РФ, ЮниКредит Банк, FESCO, Orange Business Services и другие.

Наша команда строит высоконагруженную аналитическую инфраструктуру для одного из лидеров рынка. Мы работаем с ClickHouse на полную мощность — от проектирования эффективных схем до настройки распределенных кластеров.

Нам нужно усиление: мы открываем сразу несколько позиций разного уровня. Если вы хотите заниматься сложной OLAP-аналитикой, доводить запросы до идеальной скорости и разбираться во внутреннем устройстве MergeTree — нам по пути.

Мы рассматриваем кандидатов уровня Middle (фокус на разработку витрин и качество данных) и Senior/Lead (архитектура инфраструктуры, администрирование кластера, наставничество).

Основные задачи:

• Проектирование и разработка витрин данных — трансформация сырых данных (бинлогов, событий, транзакций) в чистые, оптимизированные витрины для BI-систем и ad-hoc аналитики.
• Выбор оптимальной модели данных (схема «звезда», плоские таблицы) в зависимости от бизнес-задач.
• Оптимизация структуры таблиц: настройка ключей сортировки (ORDER BY), партиционирования (PARTITION BY), использование Skip Indexes и TTL.
• Разработка автоматических тестов и чеков на корректность данных (контрольные суммы, проверка на «дыры», сравнение с эталоном).
• Мониторинг производительности запросов, поиск и устранение «медленных» мест.

Senior/Lead дополнительно: настройка конфигурации серверов (память, потоки, max_memory_usage), поддержка распределенного кластера (шардирование, репликация), проведение код-ревью, написание документации, обучение коллег.

Что важно для нас (ключевые компетенции):

• Коммерческий опыт работы с ClickHouse от 1 года (Middle) или от 3+ лет (Senior/Lead).
• Глубокое понимание движка MergeTree: вы не просто пишете INSERT и SELECT, а понимаете, как работают первичные индексы, что такое гранулы и как разреженный индекс влияет на скорость.
• Умение различать ORDER BY и PRIMARY KEY в ClickHouse и правильно выбирать их для конкретных бизнес-срезов.
• Опыт написания тестов для пайплайнов данных. Осознание того, что обеспечение достоверности отчетов является такой же зоной ответственности, как и производительность решений.
• Продвинутый SQL: сложные запросы с оконными функциями, JOIN (с пониманием их ограничений в ClickHouse), работа с массивами и Nested типами.
• Senior/Lead дополнительно: опыт администрирования Linux, настройки десятков инстансов ClickHouse (или работа в Managed Service), готовность выступать в роли наставника и развивать экспертизу команды.

Будет здорово, если ты имеешь или хочешь получить:

• Знание других СУБД (PostgreSQL) для понимания разницы в подходах.
• Опыт работы с Apache Kafka и инструментами streaming ingestion (ClickHouse Kafka Engine).

Что мы предлагаем:

• Офисный, гибридный или удаленный формат работы в зависимости от твоей локации и проекта.
• Работа в аккредитованной ИТ-компании.
• Программы благополучия для сотрудников: ДМС со стоматологией, сервис психологической поддержки и карьерного консультирования, материальная помощь в значимые события.
• Корпоративный университет, внутренние курсы и технические митапы, где ты можешь не только учиться, но и выступать.
• Спортивные клубы: футбол, волейбол, бег и киберспорт.
• Скидки сотрудников в сети магазинов IRG: restore:, galaxystore, Xiaomi, Мир Кубиков, Street Beat, hiker, unode50 и др.
• Скидки от партнеров на фитнес, развлечения, обучение, одежду, путешествия, технику и многое другое (платформа BestBenefits).
• А также веселая корпоративная жизнь: регулярно проводим корпоративы, проводим соревнования по квизу и киберспорту, организуем технические митапы внутри компании и многое другое. С нами интересно работать и весело отдыхать:)