Цифровые Привычки – аккредитованная IT-компания, резидент Сколково, топ-5 подрядчиков Сбера. Мы предоставляем услуги IT-консалтинга, заказной разработки, аутсорсинга IT-процессов и развиваем собственные продукты и проекты партнеров
Наша команда — это сплоченный коллектив высококвалифицированных профессионалов, способных эффективно решать самые сложные задачи. Нас более 250 человек, распределенных по разным проектам и городам.
Люди — самый ценный актив.
Наша команда экспертов объединена общими идеями, ценностями и миссией. Мы делаем свою работу лучше каждый день благодаря общим принципам, которые нами движут.
Мы заботимся о благополучии специалистов: создаем комфортные условия труда, ставим амбициозные задачи и даем возможность поменять проект, если он по каким-то причинам перестал устраивать.
Количество наших проектов растет, как растет и наша команда.
Мы ищем Data Engineer, который поможет нам строить надежные и масштабируемые дата-пайплайны, работать с DevOps-подходами в обработке данных и оптимизировать SQL-запросы. Если вам интересны работа с большими данными, ETL/ELT-инструменты и вы знаете, как эффективно взаимодействовать с Data Scientists и BI-аналитиками, мы будем рады видеть вас в нашей команде!
Обязанности:
Разрабатывать и оптимизировать ETL/ELT-пайплайны с использованием современных инструментов
Работать с Hadoop, Data Warehouse и Data Lake, понимать их различия и применять в зависимости от задач
Применять DevOps-подходы для автоматизации и управления процессами обработки данных
Работать с Apache Spark и Airflow, обеспечивать их стабильное развертывание в продакшене
Сбор данных с помощью SQL (преимущественно из БД Oracle, PostgreSQL), настраивание процессов, сбор из разных источников данных и проведение первичной обработки
Оптимизировать SQL-запросы, управлять транзакционными и аналитическими нагрузками
Взаимодействовать с Data Scientists и BI-аналитиками, участвовать в code review data-проектов
Опыт работы с ETL/ELT-инструментами и построением дата-пайплайнов
Знание Hadoop, Data Warehouse, Data Lake
Опыт в DevOps-практиках, знание инструментов для Data Engineering
Умение работать с Apache Spark и Airflow
Глубокое понимание SQL, оптимизации запросов, различий между NoSQL и реляционными БД
Навыки взаимодействия с Data Scientists и BI-аналитиками
Условия:
Москва
до 350000 RUR