Mediascope – исследовательская компания, которая работает на стыке медиа и IТ. Мы анализируем аудиторию телевидения, интернета, радио и прессы, поставляем данные и создаем уникальные аналитические продукты, которыми пользуются российские медиа, рекламные агентства и компании-рекламодатели.
Наша задача – создавать и поддерживать индустриальные стандарты работы с данными на рынке медиа и рекламы, а также развивать медиаисследования в России.
Стек технологий, с которым работаем:
CI: GitLab CI
BigData: arflow, zeppelin, jupiterhub, hadoop, spark/pyspark/spark-sql
Чем предстоит заниматься:
Мониторинг и анализ ключевых показателей\метрик\статистик функционирования платформы больших данных
Обработка и вывод изменений (релизов) в продуктивную среду
Разработка, развитие и поддержка автоматизированных решений мониторинга процесса производства данных, проверки качества данных (data quality) и др.
Поддержка и развитие политик хранения данных в различных хранилищах
Участие в обеспечении бесперебойности ежедневного производства данных
Участие в проработке архитектурных решений, code review и пр.
Что для этого потребуется:
Уверенное знание SQL (диалект любой, но у нас преимущественно postgres и spark)
Хороший Python (придётся писать скрипты и разбираться в чужих)
Опыт работы в linux-консоли (желательно понимание и опыт в bash-скриптах)
Понимание принципов работы с Git
Понимание и опыт использования API (HTTP) будет преимуществом
Внимательность, умение сосредоточиться и найти лишний пробел:)
Коммуникабельность, готовность общаться с коллегами для поиска оптимальных решений
Инициативность, как продолжение желания максимально упростить и автоматизировать рутинные операции
Высшее образование (направление ИТ, математика и т.д.).
Будет плюсом:
Опыт автоматизации регулярных процессов с помощью сервисов\скриптов
Опыт работы или знание эко-системы Hadoop и оркестратора процессов обработки данных Airflow;
Опыт работы в направлении управления данными (data governance);
Опыт обработки больших датасетов и\или работы в условиях ограниченных ресурсов;
Опыт работы или активное взаимодействие с командами мониторинга/эксплуатации/поддержки;
Опыт работы с реляционными Базами Данных;
Мы предоставим комфортные условия для работы:
Наши преимущества: