Data Engineer

Компания «АЙ-ТЕКО» — ведущий российский системный интегратор и поставщик информационных технологий для корпоративных заказчиков. Активно действует на рынке IT России с 1997 года, входит в ТОП-400 крупнейших российских компаний, ТОП-10 крупнейших IT-компаний России.

Офис в Москве

Требования:

• - Построение логических и/или физических моделей данных;
• - Опыт построения таблиц с версионированием данных (бизнес/техническая история , ескд2);
• - Знание etl процессов;
• - Проектирование алгоритмов загрузки (инит/архив, инкремент, выделение дельты изменений);
• - SQL - уверенные знания ;
• - Опыт работы с инструментарием Hadoop (Spark, Hive, HDFS, YARN);
• - разработка java дистрибутива etl процесса;
• - Работа с БД с использованием Spark java framework;
• - настройка параметров spark фреймворка (оптимизация Spark контекста);
• - Работа с датафреймами и датасетами;
• - Оптимизация плана запросов.
• - опыт со scala будет преимуществом

Стек технологий: SQL, Hadoop, Spark, Hive,

МЫ ПРЕДЛАГАЕМ:

• Работа в аккредитованной ИТ-компании;
• Оформление в соответствии с ТК РФ с первого дня работы;
• ДМС с первого дня работы (включая стоматологию);
• Корпоративный спорт: скидки на посещение фитнес-клубов, футбольная и волейбольная секции, собственный йога класс;
• Работа в команде, использующей гибкий подход к разработке
• Работа в развивающемся IT-проекте с командой специалистов высокого уровня, возможность развития и обмена опытом.