Что нужно делать:
- Автоматизировать тестирование компонентов Arenadata Hyperwave (ADH) и Arenadata Hyperwave Cloud (ADHC): Spark, Impala, Trino, Kyuubi, Hive, HBase, Ozone, HDFS, YARN, Airflow, Flink;
- Тестировать развёртывание и эксплуатацию платформы на bare metal, VM и в Kubernetes;
- Разрабатывать и развивать тестовые фреймворки на Python для распределённых Big Data-систем;
- Писать интеграционные и e2e-тесты на реальных кластерах: функциональность, отказоустойчивость, производительность;
- Поддерживать и развивать CI/CD-пайплайны автотестов;
- Работать с разработчиками, архитекторами и QA над качеством релизов;
- Делать код-ревью тестового кода.
Наши ожидания:
1. Python и проектирование
- Коммерческая разработка на Python от 4 лет;
- SOLID, DRY, KISS и умение применять их при проектировании тестовых фреймворков;
- Паттерны проектирования (Factory, Strategy, Builder, Resource Object) для гибких и масштабируемых решений;
- Pytest на экспертном уровне: сложные фикстуры, параметризация, плагины (pytest-xdist и другие).
2. Инфраструктура и Linux
- Linux (Core Utils, Bash): файловые системы, права, процессы, сетевые утилиты;
- Тестирование систем развёртывания и конфигурации распределённого ПО, плюсом будет Ansible, Terraform или Puppet;
- Сетевой бэкграунд: HTTP(S), TCP/IP, SSH, сертификаты.
3. CI/CD
- Настройка и поддержка CI/CD-пайплайнов (Jenkins, GitLab CI, TeamCity, GitHub Actions).
4. Kubernetes и cloud-native (будет плюсом)
- Docker и Kubernetes на уровне эксплуатации и отладки;
- Понимание развёртывания stateful и stateless Big Data-сервисов в Kubernetes;
- Тестирование Kubernetes-операторов, работа с kubectl, Helm, kind/minikube.
Будет плюсом
- Опыт работы с дистрибутивами Hadoop (Arenadata, Cloudera CDP/CDH, Hortonworks HDP, MapR);
- Практический опыт с Apache Spark, Trino, Impala, Kafka — запросы, джобы, разбор инцидентов;
- Аутентификация и авторизация в распределённых системах: Kerberos, LDAP, Ranger, TLS/mTLS.