Data Engineer
Data Engineer
Астана, проспект Туран, 53А
Описание вакансии
Обязанности:
Посмотреть контакты работодателя
- Разработка сервисов интеграции и управления ETL-процессами;
- Разработка и мониторинг работоспособности процессов по загрузке данных из систем-источников в слои хранилища с использованием SQL и специализированных средств разработки (разработка DAG-ов, разработка ETL-процессов);
- Разработка и поддержка инфраструктуры для обработки данных;
- Оптимизация информационных панелей (SQL-запросы);
- Разработка объектов (таблиц, процедур, функций, OLAP-кубов) баз данных для целей хранения данных, их обработки (разработка загрузчиков, витрин, механизмов обновления и агрегации данных);
- Парсинг сайтов и извлечение данных из них для последующей обработки и интеграции в хранилище данных.
- Технические навыки: Глубокие знания языков программирования, таких как Python, Scala или Java, и опыт работы с SQL и NoSQL базами данных (например, MongoDB, Cassandra).
- Знание облачных платформ, таких как AWS, Azure или Google Cloud, является большим преимуществом. Опыт парсинга веб-сайтов и извлечения данных из различных веб-источников для дальнейшей обработки и интеграции также необходим.
- Аналитическое мышление: Способность к анализу сложных задач и разработке эффективных решений для обработки и анализа данных. Важно умение мыслить критически и применять логический подход к решению проблем.
- Разработка и управление данными: Опыт работы от 3 до 5 лет в области инженерии данных, включая проектирование, построение, аналитическую обработку и хранение данных. Это включает опыт создания надежных, масштабируемых и эффективных систем обработки данных.
- ETL и интеграция данных: Значительный опыт в разработке ETL-процессов (Extract, Transform, Load) и интеграции данных из разнообразных источников в единую систему для поддержки аналитических и операционных потребностей.
- Работа с большими данными: Практический опыт работы с технологиями больших данных, такими как Hadoop, Spark, Kafka и другими, для обработки и анализа больших объемов данных в реальном времени и в пакетном режиме.
- Парсинг сайтов: Навыки парсинга веб-сайтов и извлечения данных из различных веб-источников для дальнейшей обработки и интеграции в системы хранения данных и аналитики.
- График 5/2 с 09:00 до 18:00, обеденный перерыв с 13:00 до 14:00
- Отпуск 24 календарных дня
- Работа в компании крупнейшего автопроизводителя страны, официального дистрибьютора и дилера брендов Kia, Chevrolet, JAC, JETOUR, Hongqi и Škoda. Вы станете частью команды, насчитывающей более 5000 профессионалов, которые вместе создают будущее автомобильного рынка
- Карта лояльности со скидками в лучших медицинских учреждениях, фитнес-центрах, стоматологиях и других местах для заботы о здоровье
- Материальная помощь по памятным событиям
- Доступ к корпоративной библиотеке и обучению
- Активная и насыщенная корпоративная жизнь.