Data Engineer

Чем предстоит заниматься:

• проектирование схемы, ETL, тестирование хранилищ данных для продуктов компании;
• настройка и оптимизация конвейеров данных (Airflow, Python, SQL, ClickHouse);
• разработка и внедрение стратегий резервного копирования;
• мониторинг системы оповещения;
• решение проблем в работе конвейеров, обеспечение качества данных;
• моделирование хранилищ данных и процессов обработки данных;

Наши ожидания от кандидата:

• навыки работы и тонкой настройки различных баз данных ( sql, clickhouse);
• понимание принципов работы Airflow и Kafka;
• понимание процесса непрерывной интеграции CI\CD;

Будет плюсом:

• понимание архитектуры и процесса обработки данных фреймворком Apache Hadoop;
• знание стандартов и best practice в области хранения данных;
• навыки работы c большим пулом различных баз данных ( mssql, oracle, postgresql, clickhouse, mongodb, greenplum, apache hive, NoSQL, S3 хранилища);
• работа с системами виртуализации/контейнеризации;