Проведение работ по автоматизации загрузки данных в аналитические системы (компоненты), включая разработку скриптов и алгоритмов для обработки, очистки, трансформации, обогащения и загрузки данных;
Выбор и тестирование инструментов для анализа данных;
сборка конвеера данных, развертывание компонентов на инфраструктуре, а также техническое сопровождение до сдачи в эксплуатацию;
Выработка архитектурных решений в части создания и развития аналитических систем и компонентов;
Подготовка и выполнение скриптов и SQL – запросов для баз данных;
Участие в приемочных испытаниях систем и компонентов анализа данных;
Анализ данных с применением аналитических инструментов класса BI, для обеспечения мониторинга и анализа состояния транспортной отрасли в целом, а также по отдельным ее видам (воздушный, внутренний водный, ж/д и автомобильный транспорт);
Разработка презентационного слоя и виджетов отображения аналитических данных.
Требования:
Наличие опыта по написанию скриптов баз данных и SQL – запросов;
Наличие опыта по написанию скриптов импорта данных из хранилища сырых или обработанных данных в БД (ETL/ELT);
Наличие опыта по формированию конвейера данных (pipeline) импорта данных на платформах: Apache Airflow, NiFi, Airbyte и аналоги;
Наличие опыта по формированию логических и физических моделей данных, подготовки ER-диаграмм;
Наличие опыта разработки скриптов на Python;
Знание решений баз данных (SQL и NoSQL);
Наличие опыта работы с СУБД PostgreSQL и ClickHouse;
Наличие опыта работы с инструментарием Apache Spark, JupyterLab;
Наличие опыта работы с инструментарием Hadoop, S3;
Наличие опыта использования аналитических инструментов класса BI.
Условия:
График работы 5/2;
Испытательный срок 3 месяца;
Адрес работы: Ст. м. Красные ворота. Москва, ул. Александра Лукъянова д. 7 (10 минут пешком от метро);
Достойный (рыночный) уровень белой ЗП (обсуждается на собеседовании);