Data Engineer

О проекте

Проект реализуется для одной из крупнейших российских розничных сетей с широкой филиальной структурой и большими объемами данных. Основная задача — построение высокопроизводительных аналитических решений на базе ClickHouse: от разработки архитектуры хранилищ до настройки быстрой обработки и агрегации данных. Особое внимание уделяется оптимизации скорости выполнения запросов и эффективному использованию ресурсов.

Требования к кандидату

Обязательные навыки:

• Опыт работы с ClickHouse от 2 лет

• Знание и практическое применение различных движков хранения ClickHouse

• Оптимизация производительности: ускорение запросов, сокращение потребления памяти

• Навыки:

  • настройки сортировки и индексации;

  • применения простых и составных фильтров;

  • реализации партиционирования таблиц;

  • выполнения агрегирования и группировки данных;

  • работы со словарями (dictionaries)

Плюсом будет:

• Опыт интеграции ClickHouse с BI-системами (например, Power BI, Superset, Redash)

• Знание ETL-инструментов (Kafka, Airflow, Spark)

• Понимание принципов проектирования эффективных SQL-запросов и структур хранения

• Участие в проектах с большими объемами данных