Data Engineer

КОМПАНИЯ «АЙ-ТЕКО» — ведущий российский системный интегратор и поставщик информационных технологий для корпоративных заказчиков. Активно действует на рынке IT России с 1997 года, входит в ТОП-400 крупнейших российских компаний, ТОП-10 крупнейших IT-компаний России.

Офис 5\2 в Москве

Ищем Data Engineer’ов для участия в одном из трёх проектов (финтех). Все проекты связаны с разработкой решений в области хранения, обработки и трансформации данных, но имеют разные технологические фокусы и бизнес-контекст. В зависимости от опыта и интересов мы подберём наиболее подходящий проект.

Проекты

Проект 1 — Big Data / Hadoop

Проект нацелен на работу с большими объёмами данных в распределённой среде. Основной фокус — разработка и оптимизация data pipeline'ов с использованием Hadoop-стека и сопутствующих технологий.

• Технологии: HDFS, Hive, Spark SQL, YARN, MapReduce, Tez, Kafka

• Задачи: разработка ETL/ELT, интеграция с внешними системами, оптимизация производительности, построение моделей хранения данных

• Языки: Python, SQL

Проект 2 — Аналитика + Разработка (50/50)

Смешанная роль: 50% времени — аналитика, 50% — техническая реализация. Требует взаимодействия с бизнес-заказчиком и создания проектной документации.

• Задачи: анализ требований, согласование с архитекторами, построение моделей данных, проектирование витрин, документация (S2T, логика трансформаций)

• Технологии: SQL, BI-инструменты, модели версионирования данных (SCD, ЕСКД2)

Проект 3 — ETL на Java / Spark

Фокус на разработке высокопроизводительных ETL-процессов с использованием Java и Spark. Проект требует глубокой технической экспертизы.

• Задачи: проектирование и реализация ETL, оптимизация Spark-процессов, настройка Spark-контекста, работа с датафреймами и датасетами

• Языки: Java (обязательно), SQL, Scala (будет плюсом)

• Технологии: Spark, Hive, Hadoop

Общие требования:

• Опыт работы в роли Data Engineer от 3 лет

• Уверенное знание SQL, включая оконные функции, анализ планов выполнения запросов, оптимизация

• Понимание принципов нормализации, построения витрин, хранилищ, моделей данных (звезды, снежинки, SCD)

• Знание ETL/ELT-процессов и архитектурных подходов (Kimball, Inmon, Data Vault, Lambda, Kappa)

• Опыт работы с реляционными базами данных (PostgreSQL предпочтительно, а также Oracle, MySQL)

• Опыт работы с big data-технологиями (Spark, Hadoop, Kafka и др.)

• Владение Python (для проектов 1 и 2) и Java (для проекта 3)

• Навыки взаимодействия с заказчиком (для проекта 2)

• Опыт работы в командах по Agile/Scrum, использование Jira и Confluence

• Работу в стабильной, надежной компании;

• Полностью «белую» заработную плату и оформление по ТК РФ с первого рабочего дня;

• Расширенный социальный пакет:

  • ДМС (включая стоматологию),

  • Корпоративные скидки на фитнес,

  • Внутренние спортивные секции (футбол, волейбол);

• Возможности для профессионального развития: обучение, внутренние и внешние курсы;

• Активную корпоративную культуру: мероприятия, клубы по интересам и многое другое;

• Современную технику: мощный ноутбук выдается в первый рабочий день — ничего не нужно ждать;

• Формат работы: офис в Москве.

Будем рады видеть вас в команде!