Москва, улица Барклая, 6с25
Метро: Парк Победы
Разработка и поддержка пайплайнов данных в Apache Airflow;
Контроль стабильности и производительности ETL-процессов;
Настройка репликаций между системами (MSSQL → ClickHouse, MSSQL → PostgreSQL);
Разработка коннекторов и скриптов для переноса данных из BigQuery в ClickHouse;
Оптимизация SQL-запросов в ClickHouse и PostgreSQL (EXPLAIN, анализ планов выполнения, профилирование);
Администрирование БД (репликация, миграции, тюнинг параметров);
Настройка мониторинга пайплайнов и баз (Prometheus + Grafana).
Требования:
Опыт работы в роли Data инженера / ETL-инженера от 3 лет;
Отличное знание SQL, умение писать и оптимизировать сложные аналитические запросы;
Глубокое знание архитектуры ClickHouse и PostgreSQL;
Умение строить и поддерживать ETL/ELT-процессы с использованием Apache Airflow;
Опыт администрирования и оптимизации СУБД;
Знание Python (преобразование данных);
Внимательность к деталям;
Ответственность за результат и умение работать в команде.
Москва
до 200000 RUR