Дата-инженер
Дата-инженер
Описание вакансии
Обязанности:
- разработка и поддержка инфраструктуры данных, включая системы для работы с данными.
- сбор и обработка данных из внутренних и внешних источников.
- разработка процессов создания наборов данных для анализа и моделирования.
- управление хранилищем данных, обеспечение их чистоты и устранение ошибок.
- классификация, категоризация и структурирование данных.
- разработка API и маршрутизация данных.
- управление бэкэнд-контуром поддерживаемых баз данных.
- участие в проектировании, прототипировании и описании интеграционного взаимодействия между информационными системами.
- разработка и поддержка сервисов по управлению данными.
- разработка процессов хранения и передачи данных.
- высшее профессиональное (информационные системы и/или разработка программного обеспечения) образование
- стаж работы в области IT и цифровизации не менее 3 лет
- Знания и навыки:
- Python (Data processing, API)
- Data modeling: Kimball, Inmon, OBT
- Опыт работы с DBT
- Глубокие знание SQL (оптимзация запросов, window functions, cte)
- Опыт работы с ETL-процессами и инструментами
- Опыт работы с MPP базами данных (Clickhouse)
- Tech stack: Python, DBT, Apache Airflow, Apache Superset, ClickHouse, Apache Kafka, PostgreSQL, Apache Cassandra,GitLab, Docker
- Инструменты BI
- Minio S3
- Apache Spark
- Apache Kafka, Apache Flink
- Аналитическое мышление
- Креативность
- Умение работы в команде
- Трудоустройство в соответствии с ТК РК
Навыки
- Python
- SQL
- Apache Kafka