Инженер по надёжности / Site Reliability Engineer (SRE)

Токеон – это топовая финтех-платформа в сфере цифровых финансовых активов (ЦФА) и амбициозная ИТ-дочка банка ПСБ. Мы создаем продвинутую ИТ- и юридическую инфраструктуру на блокчейне, которая меняет привычный мир финансов. Токеон стабильно входит в топ-3 российских операторов информационных систем, помогая крупному бизнесу привлекать многомиллионные инвестиции через выпуск цифровых активов, а инвесторам – открывать доступ к высокодоходным активам.

Обязанности:

1. Управление инфраструктурой и оркестрацией:

• Администрирование и оптимизация Kubernetes-кластеров (on prem / облако vCloud);

• Управление релизами через Helm-чарты, разработка и поддержка собственных charts;

• Управление инфраструктурой как код - ansible, Terraform.

• Настройка GitLab CI/CD - пайплайны сборки, тестирования, деплоя, канареечных релизов;

• Работа с Kafka (настройка брокеров, управление топиками, мониторинг lag'ов, обеспечение высокой доступности);

• Администрирование PostgreSQL и ClickHouse (резервирование, репликация, шардирование, настройка параметров под нагрузку).

• Проектирование и поддержка отказоустойчивой архитектуры высоконагруженных систем.

• Написание скриптов и создание инструментов для исключения ручных операций (NoOps).

2. Облачная инфраструктура (vCloud) и возможный переход на on prem:

• Управление виртуальными машинами, сетями, хранилищами в среде vCloud Director (создание vApp, настройка сетевых политик, управление каталогами шаблонов);

• Мониторинг и оптимизация потребления ресурсов (CPU, RAM, Storage, Network) в облаке для минимизации стоимости;

• Выбор, развёртывание и настройка платформы виртуализации для on prem (рассматриваем OpenStack, VMware vSphere, а также российские аналоги);

3. Сетевое администрирование и безопасность:

• Управление политиками доступа на уровне Active Directory (интеграция Linux хостов с AD, аутентификация, групповые политики для серверов);

• Администрирование Windows Server 2019 и выше.

4. Мониторинг и наблюдаемость (Observability):

• Поддержка и развитие существующей системы мониторинга на базе Zabbix (шаблоны, триггеры, макросы, низкоуровневое обнаружение);

• Внедрение и сопровождение стека Prometheus (сбор метрик, Service Discovery, Alertmanager) + Loki (сбор и агрегация логов) + Grafana (дашборды, алертинг, аннотации);

• Построение единой панели мониторинга для всех сред (vCloud / on prem, Linux / Windows / K8s / БД / Kafka / Substrate).

5. Надёжность и восстановление:

• Регулярное тестирование процедур резервного восстановления - проверка целостности бэкапов, время восстановления RTO/RPO (как в облаке, так и на on prem);

• Плановое обновление ПО (ОС, контейнеры, middleware) без даунтайма для критических сервисов;

• Участие в постмортемах, внедрение предупреждающих метрик (SLO/SLI).

• Управление инцидентами: Участие в расследовании причин сбоев, проведение post-mortem анализов для исключения их повторения.

6. Импортозамещение:

• Миграция компонентов с зарубежных ОС/решений на Astra Linux и российские аналоги middleware (где это применимо);

• Адаптация существующих CI/CD-пайплайнов под работу в среде с ограничениями (закрытый репозиторий, отсутствие прямого доступа к внешним registry);

• Разработка и тестирование процедур замещения импортных СУБД, брокеров сообщений, систем мониторинга на российские аналоги;

7. Документирование и развитие:

• Ведение и актуализация базы знаний (инструкции, схемы, runbooks, политики) в формате инфраструктура-как-код;

8. Специфические задачи:

• Поддержка и сопровождение Substrate-нод (блокчейн-фреймворк) - настройка валидаторов, синхронизация, мониторинг;

• Работа в гетерогенной среде: Ubuntu, Astra Linux, Windows Server 2019 (обеспечение единообразия политик и мониторинга).

Наш технологический стек:

• Оркестрация - Kubernetes, Helm, Terraform;

• CI/CD - GitLab Ci, Harbor, Nexus;

• Брокеры сообщений - Apache Kafka;

• Базы данных - PostgreSQL, ClickHouse;

• Блокчейн-фреймворк - Substrate (Rust);

• ОС - Ubuntu 20.04/22.04 + Astra Linux + Windows Server 2019 и выше;

• Облачная среда - vCloud Director (VMware Cloud);

• Платформы виртуализации - OpenStack / VMware vSphere / российские аналоги (в планах внедрения);

• Мониторинг - Zabbix + Prometheus + Loki + Grafana;

• Языки продукта - Go (бэкенд), Dart (Flutter).

Обязательные требования (Hard Skills):

• Контейнеризация: уверенная работа с Docker и Kubernetes.

• Опыт промышленной эксплуатации Kubernetes (StatefulSets, Operators, Network Policies, RBAC) — от 2 лет;

• Хорошие знание Helm (создание, шаблонизация, управление зависимостями), ansible;

• Настройка пайплайнов GitLab CI (multistage, caching, артефакты, джобы с триггерами);

• Работа с Kafka (настройка producer/consumer, мониторинг через JMX, управление смещениями);

• Администрирование PostgreSQL (репликация, PITR, vacuum, pg_stat) и ClickHouse (оптимизация запросов, распределённые таблицы);

• Уверенное владение Linux (ядро, systemd, сетевые утилиты, iptables/nftables) — Ubuntu и Astra Linux;

• Практика сетевого администрирования (маршрутизация, балансировка, туннели) в гибридных средах;

• Интеграция Linux с Active Directory (sssd, realm, kerberos);

• Администрирование Windows Server 2019 (роли AD, DNS, DHCP, файловые службы, PowerShell для автоматизации);

• Навык написания скриптов на Bash/Python/PowerShell для автоматизации рутинных задач.

• Понимание концепций: Знание принципов SLO, SLI, SLA, умение управлять доступностью сервисов.

Требования к облачной инфраструктуре и виртуализации:

• Опыт управления инфраструктурой в vCloud Director (создание vApp, управление сетями, каталогами, оркестрация VM через API);

• Понимание принципов построения гибридных сред (облако + on prem);

• Будет преимуществом опыт поддержки платформ виртуализации:

• OpenStack (управление проектами, квотами, настройка нейтрона, работа с Cinder/Glance);

• VMware vSphere (vCenter, настройка хранилищ, сетей);

• Российские платформы на базе KVM (понимание архитектуры и специфики);

• Опыт миграции виртуальных машин между различными платформами виртуализации и облаками.

Требования к мониторингу (обязательно):

• Опыт администрирования Zabbix (написание шаблонов, настройка низкоуровневого обнаружения, интеграция с алертингом);

• Практическое внедрение стека Prometheus (экспортёры, Service Discovery, Recording Rules) + Loki (агенты Promtail/Vector, настройка хранения) + Grafana (создание сложных дашбордов, настройка алертов);

• Понимание принципов работы метрик, логов и трейсов.

Требования по импортозамещению:

• Опыт миграции сервисов с зарубежных платформ на российские аналоги (либо готовность быстро погрузиться в эту задачу);

• Умение работать в условиях закрытого периметра (офлайн-репозитории, ограниченный доступ к внешним пакетным менеджерам);

• Навык составления планов замещения и отчётности по использованию ПО.

Желательные требования (будут преимуществом):

• Опыт развёртывания и поддержки Substrate-нод (или других блокчейн-платформ);

• Опыт работы в финтехе или с системами, критичными к целостности данных;

• Понимание принципов инфраструктурного кода (Terraform, Ansible для создания образов VM);

• Знание основ Go (чтобы читать код продукта при отладке).

Soft Skills

• Способность работы в стрессовых ситуациях с учетом сжатых сроков решения проблем. • Системное мышление, умение видеть взаимосвязи между компонентами;

• Проактивность - вы не ждёте инцидента, а предвосхищаете его;

• Отличные навыки документации (понятно и структурированно).

Мы предлагаем:

- Официальное оформление с первого рабочего дня;

- Комфортный офис в центре Москвы (рядом с метро Кузнецкий мост);

- Уютная кухня: чай, кофе в открытом доступе;

- График работы 5/2 в офисе (офис или гибрид) , с 10.00 до 19.00 или с 9.00 до 18.00;

- Конкурентная заработная плата. Финальное значение обсуждаем с успешными кандидатами;

- ДМС после испытательного срока. Ты сможешь получать квалифицированную медицинскую помощь бесплатно в современных клиниках города;

- Классный коллектив и здоровая рабочая атмосфера;

- Интересные и запоминающиеся корпоративные мероприятия.