Международная продуктовая IT компания, которая занимается разработкой и поддержкой высоконагруженных проектов для крупных компаний, основная часть которых представляет собой развлекательные онлайн-сервисы, в поисках Data-engineer.
Основными задачами будут:
Поддержка и развитие хранилищ данных и ETL процессов;
Поддержка инфраструктуры и инструментов для разработки и запуска ETL процессов;
Мониторинг работоспособности инфраструктуры и сервисов, оптимизация производительности;
Анализ технических проблем и участие в их решении.
Какой опыт, знания и качества нужны:
Опыт в администрировании и построении ETL процессов от 3 лет;
Отличные знания SQL, умение писать сложные, оптимизированные запросы;
Опыт работы с MySQL и Clickhouse;
Отличные знания и опыт работы с NoSQL базами (MongoDB);
Опыт проектирования и внедрения процессов Data Quality;
Опыт мониторинга ETL-процессов;
Опыт работы с Apache Airflow или аналогами
Проектирование, внедрение и развитие CDC-процессов
Большой практический опыт работы с Clickhouse
Понимание архитектуры Clickhouse, знание движков таблиц
Оптимизация запросов под миллиарды строк
Будет бонусом:
Опыт работы с Google Analytics;
Опыт работы с PowerBI или аналогами;