Инженер DevOps (Kafka)/Kafka Engineer

Ищем DevOps / Kafka Engineer в команду потоковых данных, которая развивает и поддерживает платформенное решение на базе Kafka и Kafka Connect. Команда отвечает за отказоустойчивость, доступность и мониторинг Kafka-инфраструктуры, а также автоматизирует управление жизненным циклом кластеров и развивает внутренние инструменты для работы с платформой.

Чем придется заниматься

• Обеспечивать отказоустойчивость, стабильность и доступность кластеров Kafka и Kafka Connect
• Развивать и поддерживать платформенное решение на базе Kafka и Kafka Connect
• Конфигурировать и сопровождать коннекторы MirrorMaker2, Debezium и другие Kafka Connect-коннекторы
• Заниматься диагностикой и дебагом Kafka, Kafka Connect и связанных инфраструктурных компонентов
• Автоматизировать развертывание, конфигурирование и масштабирование кластеров с помощью Ansible
• Развивать внутренние инструменты для автоматизации жизненного цикла Kafka-инфраструктуры
• Настраивать мониторинг, алертинг и дашборды с использованием VictoriaMetrics, Alertmanager и Grafana
• Участвовать в миграции данных между кластерами и обеспечивать ее без простоя сервисов
• Консультировать команды разработки по лучшим практикам работы с Kafka и настройке producers / consumers

• Опыт работы DevOps / Infrastructure Engineer от 5 лет, из них не менее 2-3 лет работы с Kafka в production
• Глубокое понимание архитектуры Kafka и принципов построения отказоустойчивых высоконагруженных кластеров
• Практический опыт эксплуатации Kafka Connect, MirrorMaker2 или Debezium
• Уверенные навыки администрирования Linux и диагностики инфраструктурных проблем
• Опыт автоматизации развертывания и управления инфраструктурой с использованием Ansible
• Опыт настройки мониторинга, метрик и алертинга, а также работы с VictoriaMetrics, Alertmanager и Grafana
• Самостоятельность в принятии технических решений и умение консультировать команды разработки по работе с Kafka