Data Engineer (Middle)

Мечтай о большем с Napoleon IT

Мы — не просто IT-компания, а место, в котором искусственный интеллект объединяется с человеческим.
Мы — это более 250 сотрудников, 3 офиса в России, 3 разных направления развития: заказная разработка, outstaffing, собственные продукты.

Помимо уже существующих продуктов и решений на основе AI, мы активно развиваем разработку с использованием технологий LLM и Generative AI. Мы строим мультиагентные системы и платформенные решения для брендов, ритейла и маркетплейсов.

Мы ищем Data Engineer, который будет работать на внешних проектах наших клиентов (формат аутстаффинга), включая проекты в банковском и финансовом секторе с высокими требованиями к надежности, безопасности и обработке больших объемов данных.

Обязанности:

• Разработка ETL на Apache Spark (Java стек);

• Разработка ETL-пайплайнов (Apache Spark, HDFS (parquets), Hive, Greenplum, ClickHouse);

• Разработка витрин данных в Greenplum и ClickHouse;

• Оркестрация ETL-процессов;

• Оптимизация ETL-процессов (батчинг, ретраи, SLA-контроль);

• Взаимодействие с BI-разработчиками и DevOps для своевременной доставки данных в Superset;

Требования:

• Стек технологий: HDFS, Greenplum, Clickhouse, Apache Spark, Apache Airflow, Python, Qlik Sense, Apache Superset, PL/Pg SQL, OpenShift, Bitbucket, Jira & Confluence, Docker, Kubernetes, Kibana, Grafana
• Обязательное наличие опыта разработки, можно не владеть java, но иметь опыт со Spark (мы готов обучить Java, но важно, чтобы был опыт с pyspark);

• Опыт работы с Apache Spark от 1 года;

• Опыт работы с СУБД (Greenplum, ClickHouse, PostgreSQL) от 2 лет;

• Опыт работы с Hadoop (HDFS, Hive);

• Опыт проектирования и разработки потоков данных, алгоритмов загрузки и обработки данных;

• Опыт оптимизации ETL-пайплайнов и SQL кода;

• Продвинутые знания SQL;

• Понимание принципов работы распределенных систем;

• Готовность осваивать Java для использования Spark.

Будет плюсом:

• Опыт разработки на Java;
• Опыт работы в проектах, связанных с миграцией данных или BI-платформ;
• Опыт работы в банковской сфере, понимание бизнес домена;
• Опыт работы в крупных проектах с высокими требованиями к надежности.

Условия:

• Формат работы: гибрид в Москве на Вавилова, на старте 3 дня и более в офисе, далее опционально;
• Гибкие варианты сотрудничества;
• Индивидуальный план развития с возможностью освоения новых технологий;
• Компенсацию расходов на покупку профессиональной литературы;
• Доступ к курсам нашей объединенной IT-школы GIGASCHOOL.