Команда занимается сбором качественных данных, которые принципиально важны для обучения передовых моделей ИИ.
Обязанности
- разрабатывать механизмы загрузки из новых источников данных
- оптимизировать хранение выгруженных данных и механизмы их проверки и перекладки
- реализовывать новые инструменты для эффективного управления выгрузками
- разрабатывать инфраструктурные решения для максимизации скорости и эффективности выгрузок
- реализовывать механизмы интеллектуальной выгрузки для увеличения скорости и качества выгружаемых данных
- много работать с различными облачными решениями
Требования
- разработка на Python более 6 лет
- хорошие знания асинхронной и мультипоточной разработки
- знания работы сетевых протоколов, отличия TCP/UDP/ICMP и других, знания принципов работы HTTP/HTTPS, DNS, FTP, SFTP, S3
- понимание концепций API (REST, gRPC, GraphQL), работы с прокси и маршрутизациями запросов в глобальных сетях
- понимание работы с сетевыми пауками и обходчиками ссылок
- опыт работы с selenium или аналогами, с реляционными и нереляционными БД
- умение работы с консольными утилитами wget/curl/ping/telnet
- навыки troubleshooting и знакомство с инструментами tcpdump, strace, netstat и другими
Условия
- комфортный современный офис рядом с м. Кутузовская
- гибридный формат работы
- ежегодный пересмотр зарплаты, годовая премия
- корпоративный спортзал и зоны отдыха
- система обучения для профессионального и карьерного развития
- расширенный полис ДМС с первого дня работы и страхование для семьи
- программа ипотеки для сотрудников
- бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
- вознаграждение за рекомендацию друзей в команду Сбера.