Москва, Беговая улица, 3с1
Метро: БеговаяОбязанности:
Требования:
Опыт проведения интервью с заказчиками и пользователями отчетов;
Умение переводить бизнес-задачи на язык метрик и структур данных;
Навык написания понятной документации (технические задания, описания отчетов, User Stories);
Опыт работы в распределенной команде, согласование макетов отчетов с бизнес-пользователями;
Ведение задач в Jira (активности, комментарии, чеклисты, приоритизация).
Понимание принципов нормализации и денормализации;
Умение проектировать витрины данных (Data Marts) под конкретные отчетные формы;
Знание подходов Star Schema / Snowflake Schema (будет плюсом);
Продвинутый уровень: оконные функции, CTE, подзапросы, оптимизация запросов;
Работа с PostgreSQL (индексы, партиционирование, explain analyze);
Опыт загрузки и выгрузки данных (ETL/ELT) через SQL-скрипты.
Apache Airflow:
1. Написание DAG-файлов на Python (операторы, сенсоры, таски);
2. Работа с PostgresOperator, S3Operator, PythonOperator, BranchPythonOperator;
3. Настройка зависимостей, расписаний, обработка ошибок и retry-механизмов;
4. Опыт разработки ETL-процессов для формирования витрин и отчетов.
Формирование отчетных форм в Airflow:
1. Генерация файлов отчетов (CSV, Excel, PDF, HTML) в тасках Airflow;
2. Отправка отчетов по почте, загрузка в S3, публикация во внутренние порталы.
REST API:
1. Опыт получения данных через API (requests, aiohttp);
2. Обработка JSON/XML, пагинации, авторизации (токены, Basic Auth, OAuth2).
S3 (Minio и аналоги):
1. Чтение/запись данных, работа с ключами, управление версиями объектов;
2. Загрузка отчетов в бакеты и выдача ссылок.
PostgreSQL:
1. Администрирование на уровне пользователя (создание таблиц, индексов, схем);
2. Подключение к БД из Airflow и скриптов.
Git:
1. Уверенное использование Git (ветки, merge/pull requests, rebase);
2. Опыт работы с GitLab/GitHub/Bitbucket в команде.
CI/CD (желательно):
Условия: