Data Platform Engineer / DWH DevOps (Greenplum)

Мы IT-FINANCE - команда крутых специалистов, которые разрабатывают программное обеспечение для лидогенерации и fintech компаний.

Сейчас мы находимся в поисках опытного Data Platform Engineer, который усилит нашу команду. Если ты стремишься к профессиональному развитию в среде опытных и проактивных коллег, смело осталяй свой отклик!

Обязанности:

• Эксплуатация и мониторинг DWH

• Поддержка и развитие мониторинга не только железа, но и внутренней работы Greenplum

• Анализ метрик: нагрузки запросов,очередей ресурсов блокировок, деградации производительности

• Работа с логами Greenplum (ELK): фильтрация, агрегация, выявление аномалий

• Настройка алертов (Grafana / Prometheus)

• Greenplum как DWH

• Эксплуатация GP 7.x: понимание сегментной архитектуры,распределение данных (distribution keys),skew, spill, workfile,resource queues / resource groups

• Анализ: медленных запросов, нагрузки от пользователей, проблемных витрин

• Участие в оптимизации: параметров GP, SQL запросов PXF, загрузок из S3

• Поддержка многоуровневой модели данных:
  raw / operational / business layers

  Инфраструктура и облако (Yandex Cloud)

• Работа с ВМ:CPU / RAM / Disk / Network

• Понимание специфики S3 в YC: latency, throughput, cost-awareness

• Оптимизация взаимодействия: GP ↔ S3 (PXF),Flink ↔ S3, Trino ↔ Iceberg

  Data Platform / Lakehouse

• Участие во внедрении и эксплуатации: Apache Iceberg, Trino

• Понимание: table formats (Iceberg),metadata layers, partitioning, compaction, snapshots

• Обеспечение доступности данных для:BI, аналитиков, data science

• Оркестрация и пайплайны

• Поддержка Airflow: стабильность DAG’ов, алерты по SLA, retry / backfill

• Взаимодействие с dbt: окружения (dev / prod),контроль runtime, ресурсы под трансформации​​​​​​​

Требования:

Базы данных / DWH

• Greenplum (обязательно):архитектура master / segments, понимание MPP, gp_toolkit

• PostgreSQL (как основа)

• Опыт DBA или production-support БД

Observability: Prometheus, Grafana, SQL Exporter, Работа с логами (ELK), понимание SLI / SLO / SLA

Linux и эксплуатация: Linux (production), System metrics: IO, PSI, load, Network basics, Bash / Python (скрипты автоматизации)

Облако: Yandex Cloud (или AWS/GCP — с переносом опыта),S3-compatible storage,Cost-awareness (стоимость хранения, трафика)

Желательные навыки:

• Apache Iceberg
• Trino / Presto
• Kafka (на уровне эксплуатации)
• Flink (понимание runtime)
• dbt (архитектурно)
• Terraform / Ansible
• Docker
• Понимание процесса сборки и компиляции ПО из исходных кодов
• Gitlab-CI

Что мы предлагаем:

• Достойный уровень заработной платы, включающий ежегодную индексацию;
• Льготы IT аккредитованной компании;

• Полностью удаленная работа (нам не важно в каком городе или в какой стране ты будешь находиться);

• Гибкий график, а также у нас стандартная пятидневная рабочая неделя;

• Корпоративное оборудование;

• ДМС со стоматологией и телемедициной, профессиональной психологической поддержкой и др.;

• Компенсация внешнего обучения за счет компании;

• Работа в коллективе крутых специалистов в сфере IT и FinTech, а также дружественная атмосфера без лишних формальностей