Инженер данных (Data Engineer, middle)

Мы приступаем к реализации большого проекта по созданию цифровой платформы обеспечения экологической, гидрометеорологической и ледовой безопасности морских операций.

Мы ищем инженера данных, который поможет нам упорядочить и осмыслить все многообразие наших данных. А это экологические данные (например, концентрация фитопланктона в точке или на участке моря, уровень загрязнений воды, количество встреч морских млекопитающих вдоль маршрутов судов), а также гидрометеорологические и географические данные. Многие из них имеют временную и пространственную привязку, поэтому важно выстроить систему, где эти связи сохраняются и позволяют проводить комплексный анализ.

Нам нужно не только разработать оптимальную схему хранения данных (мы сейчас видим комбинацию SQL и документных баз, но будем рады идеям нашего нового коллеги), но и создать алгоритмы стандартизации и контроля качества данных.

Работать предстоит в тесной связке с профильными специалистами, которые отлично знают свои наборы данных и заинтересованы в конечном результате.

Чем предстоит заниматься:

• Проектирование, разработка и поддержка ETL/ELT процессов для наполнения централизованной базы экологических и гидрометеорологических данных.
• Консолидация данных из разнородных источников: результаты полевых работ, пространственные данные (векторные, растровые), данные реанализов и гидрометеорологических прогнозов, отчетные материалы.
• Работа с геопространственными данными (форматы SHP, GeoJSON, GeoTIFF, KML, NetCDF).
• Реализация обработчиков данных для расчета статистик, индексов, контроля качества данных, формирования отчетности.
• Интеграция с внешними геоинформационными сервисами (WMS, WFS).
• Разработка и реализация оптимальной схемы хранения данных (соотношение скорость доступа, объема хранения и стоимости), в том числе с использование нескольких типов баз данных и объектных хранилищ (S3).

• Релевантный опыт работы.
• Глубокие знания Python и библиотек для анализа данных (Pandas, NumPy) и работы с пространственными данными (GeoPandas, Rasterio).
• Опыт проектирования и оптимизации баз данных (PostgreSQL/PostGIS, Clickhouse).
• Опыт построения и поддержки ETL-пайплайнов.
• Практический опыт работы с геоинформационными технологиями и пространственными данными (желательно).
• Опыт работы с облачными платформами (в частности, Yandex Cloud) будет плюсом.

• Официальное оформление по ТК РФ.
• 40-часовая рабочая неделя с двумя выходными днями (суббота и воскресенье), график работы с 10.00 до 19.00 (по согласованию возможно изменить время начала/окончания ежедневной работы).
• Гибридный график работы и/или полностью дистанционная работа.
• Оплачиваемый отпуск 28 календарных дней, оплачиваемые больничные, ДМС со стоматологией по корпоративной программе.
• Увлеченные работой коллеги и экспертное руководство.
• Возможность развития, обучения и участия в профессиональных мероприятиях.