Senior Data Engineer

На наш долгосрочный, активно развивающийся зарубежный проект (ведущая компания в области маркетинга результативности) требуется Senior Data Engineer.

Основные требования:

- Высшее образование (информационные технологии, компьютерные науки);

- От 8 лет профессионального опыта в разработке программного обеспечения, преимущественно в области инженерии данных (в т.ч. обработки больших данных);

- От 3 лет опыта разработки и внедрения систем на базе Scala, знание Python и хотя бы одного другого языка высокого уровня (например, Java, C++, C#);

- Опыт построения и оптимизации масштабных конвейеров данных с использованием Databricks и Spark;

- Опыт разработки и развертывания решений по обработке данных на крупных облачных платформах (AWS, GCP или Azure);

- Опыт работы с ИИ, LLMs, агентами и/или генеративным ИИ как в продуктовых приложениях, так и для повышения производительности разработки;

- Опыт работы с SOA, распределенными системами или технологиями больших данных;

- Английский — B2 и выше, РАЗГОВОРНЫЙ (на уровне свободного рабочего общения, команда — англоязычная).

Дополнительные навыки (желательные):

- Опыт работы в рекламной индустрии;

- Опыт визуализации и аналитики больших данных с использованием OLAP-инструментов;

- Знание инструментов и фреймворков для работы с большими данными, таких как MLFlow, dbt, Kafka и Airflow;

- Опыт работы с форматами больших данных, такими как Parquet, Delta Lake или Iceberg.

Основные задачи специалиста:

- Проектировать, разрабатывать и поддерживать высокомасштабируемые конвейеры данных, ETL-процессы и модели данных с использованием Python, Spark и других технологий обработки больших данных в облачной среде (AWS/GCP);

- Руководить интеграцией ИИ и LLM в наши продукты данных, совместно с учеными-данными внедрять модели машинного обучения и автоматические рабочие процессы эффективно и этично;

- Продвигать и использовать инструменты разработки на базе ИИ (например, GitHub Copilot) для повышения продуктивности, улучшения качества кода и ускорения поставки решений;

- Вносить вклад в постоянное улучшение и поддержку нашей модели идентификации, оптимизируя процессы разрешения идентификаторов для обеспечения точности и масштабируемости;

- Руководить межкомандными инициативами по внедрению новых бизнес-функций и возможностей, обеспечивая соответствие технических решений бизнес-целям;

- Тесно сотрудничать с менеджерами продуктов, учеными-данными и бизнес-стейкхолдерами в рамках гибкой методологии для создания качественных данных и управления межфункциональными зависимостями;

- Реализовать и обеспечить соблюдение стандартов проверки, мониторинга данных и управления данными для безопасности, согласованности и качества;

- Формировать культуру обучения, инноваций и улучшения через обзоры кода, технические презентации и совместное решение проблем;

- Создавать и оптимизировать системы отчетности и аналитики для агрегации и анализа больших объемов данных с целью получения ценных инсайтов.

Вас ждёт:

• заработная плата: от 5000 $;
• возможность работать удалённо из любой точки мира!

С удовольствием рассмотрим кандидатов из всех стран!

Ждём тебя в нашей команде!