Москва, Таганско-Краснопресненская линия, метро Жулебино
Метро: ЖулебиноО проекте:
Эксплуатируем аналитическую платформу на базе ClickHouse (single-node, 42 GB RAM). Данные поступают из 1С через REST API, на платформе работает внутренний дашборд на Next.js. Платформа строится сейчас, и мы хотим изначально сделать всё правильно, не тратя время на самостоятельный разбор тонкостей ClickHouse.
В команде есть свои разработчики, 1С-специалисты и айтишники. Интеграции, инфраструктура, администрирование сервера - всё это закрываем сами. От вас нужна экспертиза именно по ClickHouse: архитектура таблиц, оптимизация запросов, надежные пайплайны.
Задачи:
- Диагностика и устранение периодического memory pressure (OOM) на сервере с 42 GB RAM;
- Оптимизация тяжелых запросов: устранение полных сканов по 55M+ строк, настройка partition pruning;
- Настройка лимитов памяти, профилей пользователей и приоритетов запросов;
- Аудит таблиц движений и продаж (ReplacingMergeTree, SummingMergeTree): дубли, double-counting в Materialized Views;
- Проектирование ETL-пайплайна: staging - целевые таблицы, идемпотентность, корректная дедупликация;
- Настройка расписаний обновления агрегатов, сверки данных и алертов на аномалии.
Перспектива:
Это первый дашборд из 5-6 запланированных. Рассчитываем на долгосрочное сотрудничество: задачи будут появляться регулярно по мере роста аналитической платформы. Формат гибкий - проект, подработка, частичная занятость
Требования:
- Опыт администрирования и оптимизации ClickHouse в production от 2 лет;
- Понимание движков MergeTree, ReplacingMergeTree, SummingMergeTree и их подводных камней;
- Опыт с Materialized Views, дедупликацией (FINAL, OPTIMIZE), partition pruning;
- Оптимизация запросов: чтение планов выполнения, индексы;
- Проектирование ETL-пайплайнов (staging - target): обработка дублей, идемпотентность;
- Уверенный SQL: оконные функции, CTE, агрегации по большим объемам данных.
Будет плюсом:
- Опыт работы в условиях ограниченных ресурсов (single-node, лимиты RAM);
- Знание Next.js / TypeScript (для понимания контекста потребителя данных);
- Опыт миграции с single-node на кластер ClickHouse (на перспективу).
Условия:
Удаленная работа. Гибкий график. Формат и оплата обсуждаются индивидуально в зависимости от объема участия.
Как откликнуться:
В сопроводительном письме расскажите кратко:
1. Ваш опыт с ClickHouse: объемы данных, количество нод, типичные задачи;
2. Самый сложный кейс, который решали (memory, дедупликация, пайплайны);
3. Ожидания по формату и оплате.
Москва
до 200000 RUR
Москва
от 200000 RUR
Чудаев Илья Константинович
Москва
до 500000 RUR