Data Engineer

TargetAI Limited 6 лет разрабатывает интеллектуальные системы видеонаблюдения и видеоаналитики. Наша платформа обрабатывает миллионы событий в реальном времени, повышая безопасность граждан и решая задачи крупного бизнеса.

Вы будете заниматься разработкой и сопровождением пайплайнов данных, интеграцией источников, эксплуатацией аналитической платформы и улучшением надежности всей data-инфраструктуры.

Чем предстоит заниматься:

• Проектировать, разрабатывать и сопровождать DAG-ы в Airflow 3.x для ETL/ELT-процессов.
• Настраивать и поддерживать пайплайны загрузки данных из API, Kafka, VM, PostgreSQL и других источников в аналитические хранилища.
• Работать с ClickHouse: проектировать таблицы, использовать движки семейства MergeTree, ReplacingMergeTree, Materialized Views и базовые подходы к оптимизации хранения и загрузки данных.
• Использовать Trino как слой аналитического доступа и выполнять SQL-запросы между различными источниками данных.
• Поддерживать и развивать BI-слой на базе Superset: подключение источников, создание и сопровождение датасетов и базовых дашбордов, backup и deployment.
• Работать с PostgreSQL на уровне интеграции, прав доступа и базовой административной настройки.
• Поддерживать Docker Compose-окружения, разбираться в оптимизации Dockerfile и YAML-конфигурациях, участвовать в деплое self-hosted сервисов.
• Диагностировать и устранять проблемы в работе пайплайнов, контейнеров и инфраструктурных интеграций.
• Работать в on-premise окружении с Linux-серверами, логами и конфигами.
• Проектировать надежные, повторяемые и идемпотентные процессы загрузки данных.

• Практический опыт работы с Airflow 3.x и понимание принципов построения надежных DAG-ов.
• Понимание базовых принципов Data Engineering: ETL/ELT, incremental load, retries, idempotency, scheduling, data quality checks.
• Базовый или уверенный уровень Python для разработки и поддержки пайплайнов.
• Опыт работы с ClickHouse: базовые концепции, движки, materialized views, коннекторы.
• Опыт эксплуатации Superset: backup metadata database, deployment, настройка источников данных, создание базовых дашбордов.
• Опыт работы с Docker Compose, Dockerfile и YAML.
• Уверенное владение Linux и работа в терминале.
• Опыт работы с on-premise инфраструктурой.
• Опыт работы с Git.

• Работали с Trino и настраивали catalog/connectors.
• Работали с Kafka: ingestion, offsets.
• Работали с PostgreSQL.
• Работали с data lake стеком: S3, Iceberg, Spark / DuckDB.
• Понимаете, как проектировать multi-source аналитическую платформу для BI и внутренних сервисов.
• Есть базовое понимание сетей L2/L3, NAT, routing, DNS.
• Имеете опыт production troubleshooting для Airflow, Superset, Trino, ClickHouse и контейнерной инфраструктуры.

• Расширенное медицинское страхование.
• Компенсация занятий спортом.
• Доступ к образовательной платформе с мини-курсами и полными программами по разным направлениям.