Data Storage Specialist (Devops)
Data Storage Specialist (Devops)
Описание вакансии
Мы аккредитованная ИТ-компания, которая разрабатывает IT-решения по автоматизации торговых операций с разными видами активов для профессиональных участников финансового рынка.
Обязанности:
Посмотреть контакты работодателя
Обязанности:
- развитие распределенного хранилища рыночных данных (market data) на основе кластера БД Clickhouse
- оптимизация схем таблиц для лучшей производительности c учетом специфики time-series данных и колоночного (columnar) формата хранения данных
- выбор оптимальной схемы partitioning и построение оптимальных индексов с учетом требований пользователей (быстрая выборка по биржевому инструменту и интервалу времени)
- организация сбора данных из множества источников на разных серверах по всему миру
- организация регулярного резервного сохранения данных в БД clickhouse на массивы HDD
- настройка и сопровождение приложений/скриптов для загрузки данных (realtime streaming/night batching) с торговых/маркет‑серверов в центральное хранилище
- обеспечение надёжной доставки и целостности данных (повторные попытки, контроль потерь)
- контроль использования пропускной способности интернет-каналов в рамках выделенной квоты
- разработка и поддержка систем мониторинга и уведомлений на основе метрик записанных данных (объём, задержки, ошибки загрузки) - на основе python+dash или grafana
- осуществление мониторинга и поддержки системы сбора данных, восстановление после сбоев
- 3–5 лет опыта работы с высоконагруженными БД / хранилищами данных
- уверенный linux: файловые системы, I/O, мониторинг
- понимание сетей (TCP/IP vs UDP, latency, MTU, балансировка)
- bash scripting (ssh, scp, rsync, df, du, find, grep, awk, perl etc)
- отличное владение SQL (опыт с PostgreSQL / Clickhouse)
- понимание особенностей time‑series (высокая частота записей, проблемы с as of join) - практика хотя бы с одним: ClickHouse (предпочтительно) / TimescaleDB (Postgres time series extensions)
- опыт с репликацией, копированием, backup и recovery процедурами
- опыт с конфигурацией и эксплуатацией кластера БД/ClickHouse. Настройка реплик
- опыт разработки MATERIALIZED VIEW
- опыт работы с prometheus и grafana
- git (базовые механизмы git clone/git pull/git push/git merge/git rebase)
- tcpdump (при решении проблем)
- базовые знания языка C и языка python (хороший навык разработки на python - значимый плюс)
- понимание особенности часов в ОС linux (REALTIME/MONOTONIC) и протоколов синхронизации времени (NTP/PTP)
- понимание особенностей работы с timezone в OC linux
- оформление по ТК РФ
- работа в аккредитованной IT-компании
- ДМС после прохождения испытательного срока
- полностью официальное трудоустройство по ТК РФ
- работа удаленно