Data Engineer (в офис, Москва)

КОМПАНИЯ «АЙ-ТЕКО» - ведущий российский системный интегратор и поставщик информационных технологий для корпоративных заказчиков. Активно действует на рынке IT России с 1997 года, входит в ТОП-400 крупнейших российских компаний, ТОП-10 крупнейших IT-компаний России.

В связи с активным развитием проектов в компании открыта вакансия Data Engineer ОФИС В МСК

ФОРМАТ РАБОТЫ: ОФИС, МСК

Стек технологий: SQL, Hadoop, Spark, Hive

Основные обязанности:

• - Построение логических и/или физических моделей данных;
• - Опыт построения таблиц с версионированием данных (бизнес/техническая история , ескд2);
• - Знание etl процессов;
• - Проектирование алгоритмов загрузки (инит/архив, инкремент, выделение дельты изменений);
• - SQL - уверенные знания ;
• - Опыт работы с инструментарием Hadoop (Spark, Hive, HDFS, YARN);
• - разработка java дистрибутива etl процесса;
• - Работа с БД с использованием Spark java framework;
• - настройка параметров spark фреймворка (оптимизация Spark контекста);
• - Работа с датафреймами и датасетами;
• - Оптимизация плана запросов.
• - опыт со scala будет преимуществом

МЫ ПРЕДЛАГАЕМ:

• Работу в стабильной компании, "белую" заработную плату;
• Оформление в соответствии с ТК РФ с первого дня работы;
• Расширенный социальный пакет: ДМС (включая стоматологию), корпоративные скидки на посещение фитнес-клубов, футбольная и волейбольная секции;
• Профессиональное обучение и развитие;
• Яркая и насыщенная корпоративная жизнь;
• Снабжаем всей необходимой современной техникой: мощный ноут привезут прямо в день оформления.

ФОРМАТ РАБОТЫ: ОФИС, МСК