Data Engineer | Администратор DWH

Формат: проектная разовая работа с возможностью дальнейшего сопровождения на ежемесячной основе

Занятость: частичная / по проекту

Стек: ClickHouse, PostgreSQL, Airflow (SaaS-версия)

Основные задачи (в рамках проекта)

1. Стабилизация поставки данных

• Аудит и разбор текущих ошибок в поставках данных (диагностика первопричин)
• Настройка и отладка DAG'ов в Airflow (SaaS)
• Обновление Airflow до актуальной версии, коррекция конфигураций и параметров соединений
• Пересборка и выстраивание стабильного процесса поставки из источников в ClickHouse и PostgreSQL

2. Производительность и ресурсы

• Анализ и настройка сайзинга (объёмы данных, нагрузка, память)
• Оптимизация запросов, индексов и структур хранения
• Рекомендации по дальнейшему масштабированию

3. Архитектура хранилища

• Выстраивание наполнения слоёв (ODS / DDS / витрины)
• Приведение наполнения слоёв к единой логике
• Оптимизация схем на базе ClickHouse (движки, партиции, предикаты) и PostgreSQL

4. Управление доступом

• Разграничение прав доступа внутри хранилищ (ClickHouse, PostgreSQL)
• Настройка ролей и пользователей, аудит существующих прав
• Приведение модели доступа в соответствие с политикой безопасности компании

Формат работы

• Этап 1 (проект): аудит текущего состояния, согласование плана работ, выполнение задач по фиксации проблем, настройке DAG'ов, обновлению Airflow, пересборке процессов поставки и разграничению доступов — в рамках фиксированного объёма или по договорённости
• Этап 2 (по желанию): ежемесячное техническое сопровождение — поддержка стабильности поставок, контроль мониторинга, реакция на инциденты, плановые доработки

Что мы ожидаем

Обязательно:

• Опыт администрирования Яндекс Облака
• Опыт администрирования и настройки ClickHouse (профили, квоты, роли, движки таблиц, партиции)
• Уверенный PostgreSQL (роли, гранты, оптимизация запросов, индексы)
• Практический опыт работы с Airflow (желательно SaaS-версией): написание, отладка и поддержка DAG'ов, работа с соединениями и мониторингом
• Опыт обновления/миграции Airflow (создание с нуля и наполнение)
• Понимание слоёв хранилища данных и логики их наполнения
• Навыки разбора инцидентов и диагностики ошибок в поставках

Будет плюсом:

• Опыт настройки мониторинга/алертинга в Airflow
• Знакомство с инструментами ELT/ETL (dbt, Airbyte и т.п.)
• Опыт работы с ClickHouse в высоконагруженных сценариях

Что предлагаем:

• Проектная оплата по договорённости (можем обсудить по итогам брифования задачи)
• Гибкий график в рамках проекта
• Чёткое ТЗ и согласованный план работ на старте
• Возможность перейти на регулярное ежемесячное сопровождение с оплатой по подписке/поддержке
• Работа с современным стеком (ClickHouse + PostgreSQL + Airflow SaaS)