Data Engineer (Middle+)

ДОБРЫЙ ДЕНЬ, УВАЖАЕМЫЙ КАНДИДАТ!

На сегодняшний день мы, Команда Мечты, ищем Middle Data Engineer / Middle Strong Data Engineer.

прошу написать сопроводительное письмо, почему именно вы подходите на эту роль.

ЧЕМ ВЫ БУДЕТЕ ЗАНИМАТЬСЯ:

Архитектура и развитие платформы данных

Определять стандарты построения и поддержки ETL/ELT пайплайнов

Выбирать технологии и инструменты под задачи масштабирования и устойчивости

Участвовать в формировании roadmap развития дата-инфраструктуры

ETL и оркестрация

Разрабатывать и поддерживать надёжные ETL-процессы с использованием Apache Airflow

Оптимизировать пайплайны данных (retry, SLA, logging, alerting)

Контейнеризировать процессы и управлять деплоем через Kubernetes

Организовывать хранение и обработку данных в S3 Data Lake

Моделирование и трансформации данных

Разрабатывать и документировать модели dbt для DWH

Настраивать CI/CD для автоматического тестирования и развертывания моделей

Реализовывать принципы Data Quality (dbt tests, data contracts, Great Expectations)

Хранилище данных (DWH и NoSQL)

Проектировать и оптимизировать хранилища данных на PostgreSQL и ClickHouse

Разрабатывать агрегированные витрины и аналитические таблицы

Поддерживать прозрачность и воспроизводимость данных (data lineage, observability)

Интеграции и стриминг данных

Разрабатывать коннекторы и интеграции с внешними источниками (REST API, JSON, OAuth)

Настраивать стриминг данных через Apache Kafka

Обеспечивать надёжную доставку и трансформацию потоковых данных

Инфраструктура и автоматизация

Настраивать мониторинг и алерты (Prometheus, Grafana, ELK)

Контролировать производительность, отказоустойчивость и безопасность дата-процессов

Участие в развитии команды

Проводить code review, внедрять инженерные стандарты и best practices

Менторить менее опытных инженеров и помогать в развитии команды

Работать в тесном взаимодействии с аналитиками и Data Scientists

ЧЕГО МЫ ОТ ВАС ОЖИДАЕМ:

Опыт работы от 2 лет в роли Data Engineer
Глубокие знания SQL и опыт работы с PostgreSQL, ClickHouse
Опыт разработки и поддержки пайплайнов в Apache Airflow
Опыт работы с dbt (модели, макросы, тестирование)
Уверенные знания Python (pandas, requests, sqlalchemy)
Опыт интеграции с REST API
Знание принципов OLAP / OLTP, DWH архитектуры и ETL-дизайна
Опыт работы с Kafka, Kubernetes, S3, NoSQL
Понимание CI/CD и автоматизации инфраструктуры

Будет плюсом:

Опыт работы со стриминговыми пайплайнами (Kafka Connect, Spark Streaming, Flink)
Опыт в облачных платформах (AWS / Azure / GCP)
Навыки настройки мониторинга (Prometheus, Grafana, ELK)
Опыт работы с BI-инструментами (Superset, Metabase, Tableau)
Участие в проектировании Data Governance и Observability

ЧТО МЫ ПРЕДЛАГАЕМ:

• Конкурентоспособная заработная плата (обговаривается при собеседовании);
• Высокий уровень автономности;
• Минимум бюрократии;
• Разноплановые проекты;
• Сложные задачи и вызовы;
• Своя кухня;
• Компенсация участия в конференциях;
• Своевременная выплата З/П;
• Комфортные условия работы;
• График работы:Офисный формат (full-time, on-site), г. Астана, ул. Сарайшык 7/7.
  5/2, с 8:00 до 17:00 (обед с 12:00 до 13:00).