Автор Лю Живэй, Сунь Цзиньбо, Артур

Планирование | Лу Дунсюэ

Dragon Tour of China, облачная виртуальная реальность, которая идеально сочетает в себе древние храмовые ярмарки с современными технологиями, недавно стала интернет-проектом регистрации знаменитостей на Новогоднюю храмовую ярмарку в Храме Земли в Пекине. Как этот захватывающий опыт, созданный совместно Музеем цифровой культуры и искусства Янбо и командой облачных игр Volcano Engine, реализуется с помощью технической магии? Давайте вместе приоткроем эту загадочную завесу.

Архитектура системы

Этот проектиз Техническая архитектура в основном состоит из сервераОблачный рендеринг、Интеллектуальное планирование、Оперативный мониторинг、Медиа-сервисы и другие возможности созданы, существует многоканальный параллелизм.、Сверхнизкая задержка、опытоптимизация、Оперативный были улучшены мониторинг и другие крупные космические технические проблемы; клиентское оборудование принимается; Pico 4E, беспроводное решение принимает уровень предприятия AC + АП, план операции предоставлен Pico Корпоративные службы обеспечивают поддержку.

Оптимизация ядра

Сценарий Wi-Fi, 24-канальная одновременная реализация

24-сторонний параллелизм зависит от планирования Wi-Fi на стороне клиента и глубокой оптимизации AC и AP.

Разумное планирование групп точек доступа через AC обеспечивает стабильность сетевых подключений. В то же время каждая группа точек доступа равномерно распределяет терминалы для обеспечения балансировки нагрузки и достижения 24 одновременных каналов. В то же время она взаимодействует с оптимизацией встроенного программного обеспечения точек доступа для достижения более низкого уровня. -конечная производительность.

Сквозная низкая задержка

Сквозная оптимизация задержки достигается за счет части RTC серверного облачного механизма потоковой передачи.

Cloud VR использует алгоритм интеллектуального управления перегрузкой Volcano Engine VICC (VICC) — это адаптивный алгоритм управления перегрузкой, предназначенный для устранения различий в использовании полосы пропускания и задержке различных аудио- и видеоприложений в различных сетевых средах по всему миру. . Он сочетает в себе преимущества традиционных алгоритмов контроля перегрузки (таких как GCC и BBR) и может выполнять адаптивные настройки в соответствии с различными условиями сети, бизнес-предпочтениями и характеристиками скорости кода, включая адаптивную скорость реагирования на перегрузку, адаптивную амплитуду обнаружения полосы пропускания, автоматическую адаптируемую потерю пакетов. стратегия обнаружения, адаптивная защита от дрожания и адаптивное заполнение. Благодаря этим адаптивным настройкам алгоритм VICC может улучшить использование полосы пропускания в различных сложных слабых сетях и в то же время попытаться улучшить стабильность полосы пропускания при соблюдении различных задержек, предоставляя пользователям лучшее качество звука и видео.

Преимущества VICC заключаются в следующем:

1. Отображение различных основных параметров состояния сети

Одним из важных показателей для оценки текущего состояния сети являются статистические параметры состояния сети, а точные базовые параметры состояния сети являются ключевым моментом для повышения точности оценки пропускной способности и ее использования. Алгоритм VICC предоставляет множество основных параметров состояния сети. Некоторые основные статистические параметры состояния сети следующие:

1. адаптивный контроль перегрузок

Алгоритм VICC сочетает в себе преимущества традиционных алгоритмов контроля перегрузки и может быть адаптивно настроен в соответствии с различными условиями сети, бизнес-предпочтениями и характеристиками скорости кодирования, включая адаптивную скорость реагирования на перегрузку, адаптивную защиту от помех, адаптивное обнаружение потери пакетов, адаптивную амплитуду обнаружения полосы пропускания. , адаптивное устранение заторов и т. д.

1. Сильная способность против джиттера

Чем более чувствительна реакция на перегрузку, а это означает, что в сценариях дрожания сети можно легко ошибиться, что приводит к снижению помехозащищенности алгоритма. VICC использует алгоритм муравьиного гнезда для борьбы с джиттером и беспорядком в сети, измеряет проникновение сети по скорости принимаемого кода и скорости передаваемого кода, а также объединяет наблюдение тенденций изменения параметров задержки и корреляций для улучшения адаптивных возможностей защиты от помех.

Оптимизация частоты кадров

Реализация оптимизации частоты кадров зависит от архитектурного проектирования и реализации кода в облачном движке VR.

Движок Cloud VR, независимо разработанный Volcano Engine, включает в себя моделирование оборудования (моделирование шлема и контроллера), моделирование управления, сбор аудио, сбор изображений, структуру кодирования, структуру передачи и другие функции. Архитектура выглядит следующим образом.

Следующие два изображения показывают сравнение основной реализации, представленной на рынке, и реализации движка Volcano. Видно, что последняя занимает меньше времени в одном кадре и имеет более высокую частоту кадров. Ключ заключается в следующих моментах. :

• Более высокая загрузка ЦП достигается за счет изучения каждой реализации API и разумного распределения различной логики обработки функций, что увеличивает количество циклов двигателя в единицу времени.
• выше GPU Использование, проведение рендеринга функции внутренней неблокирующей обработки, так что GPU Это достигается за счет постоянного заполнения очереди команд инструкциями. insight Подобное программное обеспечение может это подтвердить.
• Бесшовное многопоточное сотрудничество: каждая 1 миллисекунда увеличения многопоточного взаимодействия ЦП означает потерю частоты кадров, особенно в сценариях с высокой частотой кадров VR, на 1 миллисекунду приходится большая часть времени обработки одного кадра, чем в обычных приложениях. и каждого API. Время вызова реализации определяется vrserver SteamVR, поэтому, чтобы сократить время, занимаемое одним кадром, необходимо уменьшить задержку выходного кадра. Здесь мы распределяем обработку блокировки по другим потокам, чтобы добиться более быстрого получения статуса кадра. изменить сообщения после получения Encode сразу после прибытия.
• выше vsync Точность, самоанализ vsync разделяет рендеринг и сбор, чтобы оба могли Перекрыть, сделать GPU существуют рендеринги бесшовной связи между приобретениями, достигая сокращения общего времени на кадр

Улучшено качество рендеринга

Качество рендеринга улучшено за счет интеграции движка Volcano в клиент и разработки собственного алгоритма сверхразрешения.

Измените дизайн и внедрите технологию проецирования на основе области просмотра, преобразуйте плоскую проекцию в сферическую, уменьшите искажения изображения на краях объектива и добейтесь равномерной плотности пикселей. В то же время благодаря интеллектуальному алгоритму прогнозирования положения на конечной стороне, когда задержка в сети колеблется, частота явления черного края эффективно снижается. В то же время, чтобы повысить четкость, перед рендерингом клиента на экране он использует собственный алгоритм сверхразрешения изображения для сверхразрешения от 3K до 4K для улучшения качества изображения и глубины цвета. реализовано на стороне графического процессора с использованием OpenCL, что отнимает много времени для одного кадра. Влияние невелико.

Оптимизация проекции

Обработка оптимизации проекции выполняется в облачном движке VR и облачном движке потоковой передачи, включая улучшение разрешения рендеринга и преобразование проекции.

Общие прогнозы CMP,CMP Характеристики плотности пикселей изображения плотные внутри и разреженные снаружи, что приводит к потере деталей в середине изображения, в то время как детали по краям остаются нетронутыми, что противоречит визуальным характеристикам человеческого глаза. Решение. эта проблема, если EAC обработка для более равномерной плотности пикселей, что может повысить целостность деталей в середине изображения, в облаке VR При инициализации механизма он сначала увеличивает разрешение рендеринга, а затем выполняет преобразование проекции визуализированного изображения после завершения сбора данных. Конкретные принципы см. в разделе . https://blog.google/products/google-ar-vr/bringing-pixels-front-and-center-vr-video/。

Другие функции

Мониторинг работы QoS в режиме реального времени

Большой космический проект облачной виртуальной реальности — это автономный проект. Мониторинг клиентов в режиме реального времени — это проблема, которая больше всего беспокоит операторов. Технология мультиплексирования клиентов и сжатия пакетов данных может достичь клиента без увеличения QPS. -время передачи по восходящей линии связи с оборудованием, частотой кадров, скоростью передачи данных, задержкой, потерей пакетов, мощностью и другой информацией, так что конец мониторинга операции может обеспечить мониторинг на миллисекундном уровне и отслеживать задержку одного видеокадра на каждом этапе передачи.

Аппаратное решение

Удобные и простые в использовании возможности большого пространства

В дополнение к технологическому решению облачного рендеринга VR в реальном времени, предоставляемому облачной игрой Volcano Engine, описанной выше, незаменимой частью также является функция большого пространства, предоставляемая PICO Business.

PICO Business включает в себя аппаратное обеспечение корпоративного уровня, операционную систему корпоративного уровня, программную платформу корпоративного уровня, услуги корпоративного уровня и т. д., предоставляя корпоративным пользователям комплексные и зрелые решения XR и лучшие практики, помогая пользователям повысить эффективность бизнеса и снизить затраты на развертывание и пороговые значения, решить технические проблемы, с которыми сталкивается бизнес, и создать новую ценность. С помощью PICO Business разработчики могут быстро внедрять комплексные решения для культурного туризма, обучения, медицинского обслуживания, маркетинга, офлайн-развлечений и других сценариев.

Большие помещения — важный продукт PICO Business. Функция большого пространства реализуется посредством SLAM-картографии, то есть определенное устройство используется для визуального позиционирования SLAM для сканирования пространства. Устройство делает фотографии через камеру, извлекает из фотографий особенности (например, край стола). и записывает трехмерные координаты объектов (система координат, в которой расположены эти трехмерные координаты, является системой координат карты), и такая информация в конечном итоге сохраняется на карте. После включения устройства оно извлечет объекты в пространстве. Алгоритм сопоставит вновь извлеченные объекты с объектами на карте. Если сопоставление окажется успешным, будет использован алгоритм pnp (этот алгоритм использует координаты пикселей). объекты на карте, трехмерные координаты объекта, пиксельные координаты объекта на текущем устройстве) можно использовать для расчета положения устройства в системе координат карты, что реализует использование системы координат карты . Для этого решения требуется только оборудование, монтируемое на голове, и оно не зависит от внешних базовых станций. Оно легко развертывается и недорого стоит. Кроме того, данные карты можно синхронизировать с другими устройствами. Несколько устройств VR используют одну и ту же карту SLAM, то есть одну и ту же систему координат карты, что обеспечивает совместное использование и совместную работу с несколькими устройствами в большом пространстве. очень удобно.

Ссылка на технические детали https://business.picoxr.com/cn/doc/Enterprise-Settings-LBE-v1.3#4ab364ef

Резюме и перспективы

Volcano Engine всегда настаивал на постоянных инновациях в области аудио, видео и искусственного интеллекта. В будущем облачные игры Volcano Engine продолжат углубляться в технологические исследования и разработки, опираясь на высокопроизводительные вычислительные мощности и решения передачи с малой задержкой, чтобы обеспечить надежную поддержку различных интерактивных сценариев, позволяя большему количеству пользователей наслаждаться плавным изображением в высоком разрешении. аудио и видео, обеспечиваемые облачными технологиями. В будущем, с постепенным внедрением стандарта OpenXR, облачная XR станет следующей технической целью с большей оптимизацией производительности и расширением функций.