Разработчик ETL

Проект банка ТОП-3! Команда создает и развивает корпоративный движок потоковой обработки данных на основе Apache Flink, который используется разработчиками банка для построения приложений обработки данных в реальном времени (фрод-мониторинг, скоринг, обогащение транзакций, расчеты). Вы будете работать в команде, которая отвечает за фреймворк и платформенные возможности Flink!

Твои задачи:

• Разрабатывать и поддерживать коннекторы для интеграции Flink с корпоративными системами хранения данных (Kafka, S3-совместимые объектные хранилища, HBase, возможно Fluss) и аналитическими СУБД

• Реализовывать механизмы Stateful обработки: настраивать и оптимизировать State Backends (RocksDB, Heap), интегрировать с внешними хранилищами состояний для сценариев соединения с большими справочниками

• Разрабатывать инфраструктурные решения для повышения отказоустойчивости: реализовывать механизмы checkpointing, savepoints, автоскейлинга, восстановления после сбоев, поддерживать High Availability кластеров

• Интегрировать Flink-приложения с корпоративными системами: обеспечивать аутентификацию, работать с секрет-менеджерами, системами логирования (ELK), метриками (Prometheus/Grafana), Единым аудитом

• Настраивать и поддерживать систему мониторинга Flink-кластеров и джобов: отслеживать метрики JVM, backpressure, checkpoint durations, consumer lag, watermarks

• Разрабатывать и внедрять процессы управления жизненным циклом приложений (деплой, апгрейд, остановка, откат) через CI/CD и специализированный корпоративный портал управления сервисами

• Проводить нагрузочное тестирование, анализировать узкие места производительности, оптимизировать latency и throughput потоковых конвейеров

• Реализовывать и поддерживать Flink History Server для анализа завершенных заданий и диагностики

Что мы ждем от тебя:

• Опыт работы Data Engineer или разработчиком от 3 лет, из них не менее 2 лет в области потоковой обработки данных (Apache Flink, Kafka Streams, Spark Streaming) или Big Data
• Уверенное знание Java (или Scala) и опыт разработки production-ready приложений в распределенных системах
• Практический опыт работы с Apache Flink: понимание концепций операторов, state, checkpointing, savepoints, exactly-once семантики, роли JobManager/TaskManager
• Опыт работы с Kafka: продюсеры, консьюмеры, топологии, управление offset'ами, обработка ошибок
• Опыт работы с системами контейнеризации и оркестрации: Docker, Kubernetes (Pods, Deployments, Services, ConfigMaps, Operators)
• Знание принципов работы систем мониторинга: Prometheus, Grafana. Умение настраивать алерты и интерпретировать метрики
• Продвинутый уровень SQL, опыт оптимизации запросов и работы с технической документацией (RFC, официальная docs)
• Навыки декомпозиции сложных задач, отличные коммуникационные навыки для работы с техническими командами (разработчики, DevOps) и потребителями (data-инженеры)

Будет плюсом:

• Опыт разработки собственных коннекторов или форматов данных для Flink.
• Знание экосистемы Hadoop/Big Data: HDFS, HBase, Hive. Понимание принципов работы с объектными хранилищами (S3)
• Опыт работы с системами логирования и трассировки: ELK (Elasticsearch, Logstash, Kibana), Jaeger/Zipkin
• Понимание принципов Data Lineage и опыт интеграции с инструментами линии происхождения данных
• Опыт работы с SQL-интерфейсами Flink (Table API/SQL) и интеграцией с корпоративными BI-системами
• Знакомство с проектами Apache Paimon, Apache Iceberg, Fluss или аналогичными технологиями Lakehouse

Что мы обеспечиваем:

• Внутренние семинары, митапы, мы очень любим учиться новому
• ДМС со стоматологией для сотрудников и скидку на покупку ДМС для ближайших членов семьи
• Технику для комфортной работы
• Сессии профессионального развития персонала, результатом которой является план индивидуального развития каждого сотрудника