Москва, Поклонная улица
Метро: МинскаяКОМПАНИЯ «АЙ-ТЕКО» - ведущий российский системный интегратор и поставщик информационных технологий для корпоративных заказчиков. Активно действует на рынке IT России с 1997 года, входит в ТОП-400 крупнейших российских компаний, ТОП-10 крупнейших IT-компаний России.
В связи с активным развитием проектов в компании открыта вакансия Data Engineer/Data аналитика.
ОТ КАНДИДАТА МЫ ОЖИДАЕМ:
- Построение логических и/или физических моделей данных;
- Опыт построения таблиц с версионированием данных (бизнес/техническая история , ескд2);
- Знание etl процессов;
- Проектирование алгоритмов загрузки (инит/архив, инкремент, выделение дельты изменений);
- SQL - уверенные знания ;
- Опыт работы с инструментарием Hadoop (Spark, Hive, HDFS, YARN);
- разработка java дистрибутива etl процесса;
- Работа с БД с использованием Spark java framework;
- настройка параметров spark фреймворка (оптимизация Spark контекста);
- Работа с датафреймами и датасетами;
- Оптимизация плана запросов.
- опыт со scala будет преимуществом
Стек технологий: SQL, Hadoop, Spark, Hive
Будет преимуществом:
• опыт работы с Hadoop, знания архитектуры
• знание Hive, Java, Python, Spark опыт работы в Agile
• знание и умение работы с wiki-системой Confluence, трекинговыми системами (Jira, Redmine и т.д.)
• знание банковской предметной области
• курсы системного мышления.
Приветствуется наличие сертификатов, подтверждающих перечисленные выше экспертизы.
Условия: