Data Engineer

О компании:
Компания Adata.kz занимается разработкой информационных сервисов.

• Проверка юридических лиц на благонадёжность и аффилированность.
• Проверка на наличие штрафов.
• Поиск и аналитика тендеров.
• Поиск вакансий и резюме.
• Аналитика по внешней экономической деятельности компаний (импортно-экспортные отношения).
• Автоматизация проверок комплаенс рисков.

Описание позиции:
Инженер данных, специализирующийся на построении эффективных пайплайнов для сбора, обработки, хранения и предоставления данных конечным пользователям.

Обязанности:
• сбор данных из различных источников и предварительная обработка
• разработка и автоматизация ETL пайплайнов
• разработка микросервисов
• проектирование архитектуры базы данных
• написание запросов и формирование выгрузок

Требования:
• уверенное владение Python
• уверенное владение SQL (желателен опыт с PostgreSQL)
• опыт работы с Git
• опыт работы с инструментами Postman/Insomnia

Будет плюсом:
• знание C#, Go
• опыт проектирования Data Warehouse, Data Lake, Data Lakehouse
• опыт работы с ElasticSearch, Data Build Tool(DBT), ClickHouse
• опыт реализации ETL пайпланов с помощью инструмента Talend DI или его аналогов
• понимание микросервисной архитектуры и опыт работы с gRPC фреймворком
• опыт работы с Linux
• понимание контейнеризации и опыт работы с Docker и K8S
• опыт работы с очередями и брокерами сообщений (RabbitMQ, Kafka)
• опыт работы с Apache Airflow
• опыт работы с Big Data и оптимизацией запросов
• опыт работы и внедрения Debezium(CDC)
• опыт проектирования потоковой(стриминговой) обработки данных с помощью Apache Spark

Условия:
• полностью офисный формат
• оформление по ТК РК
• график работы 5/2, с 09:00-18:00
• карьерный и профессиональный рост
• работа в сильной команде