Реальные примеры применения XR и технологии, лежащие в их основе (на примере Varjo)

Существуют различные методы создания опыта смешанной реальности с помощью Varjo XR-3. Первый метод называется смешанной реальности с маскировкой. При разработке для Varjo XR-3 вы можете использовать любой виртуальный объект в вашей сцене (плоскость, куб или сложную сетку), чтобы действовать как "окно" в реальный мир. Это особенно полезно, если вы хотите ввести элементы реального мира, такие как инструменты или устройства управления, в виртуальную среду через одно или несколько "окон".

Практический пример такого использования - это тренажеры полетов, где вы хотите отобразить виртуальный сценарий полета за пределами кабины, но показать пользователю кабину и физические элементы управления.

Второй метод создания смешанного реального опыта с использованием Varjo XR-3 - это хромакей. Хромакей, также известный как "зеленый экран" или "синий экран", - это техника, используемая для наложения одного изображения или видео поверх другого, удаляя определенный цвет, обычно зеленый или синий, с заднего плана верхнего слоя. Это позволяет заменить фон другим изображением или видео, создавая иллюзию того, что объект на верхнем слое находится в другом месте или окружении.

Хромакей позволяет достичь очень высокой точности заслонения виртуальных объектов реальными объектами. Наилучшим применением для хромакей являются ситуации, где важно, чтобы пользователь точно видел реальные объекты. На практике это означает случаи, когда пользователю необходимо видеть ручной инструмент, других реальных людей или объекты, которые не находятся в смешанной реальности, но наложены на виртуальный сценарий.

Поскольку Varjo XR-3 (а также Focal Edition) - это гарнитура смешанной реальности с передачей видеосигнала, также возможно настраивать видеопоток с различными видами "фильтров" без задержек в реальном времени. Это позволяет использовать такие сценарии, как симуляция ночного видения или различных медицинских состояний, влияющих на зрение человека. Эти настройки могут быть чрезвычайно полезны для обучения и медицинских исследований.

Изображение ночного видения может быть очень полезным для обучения военных пилотов в ночных операциях. Как и в других случаях использования симуляции полетов смешанной реальности, это позволяет им практиковаться перед выполнением миссии, прежде чем сесть в настоящий самолет, и получить более реалистичное представление о том, как полет ночью отличается от условий днем.

Varjo XR-3 обладает способностью использовать видеопоток с передачей изображения, чтобы создавать условия освещения и отражения, соответствующие тем, что имеются в вашем текущем реальном мире. Это чрезвычайно полезно при совмещении виртуального контента с реальным миром, делая сцену более естественной и реалистичной.

Реальные отражения полезны для любого сценария, где целью является максимально углубить погружение и реализм. Один из практических применений - это сценарии проектирования, такие как автомобильное или интерьерное проектирование, где цифровые объекты должны максимально точно соответствовать своим реальным аналогам. Например, использование реальных отражений может дать дизайнеру гораздо лучшее представление о том, как будут вести себя отражающие материалы в реальном мире.

Отслеживание рук помогает вам работать в виртуальной и смешанной реальности и взаимодействовать с ними без отдельных контроллеров. С отслеживанием рук вы используете свои руки для управления виртуальной средой так же, как вы взаимодействуете с физическим миром. Вы можете нажимать кнопки, перемещать объекты, оперировать виртуальными инструментами, держа в руках виртуальные хирургические инструменты и многое другое.

Приложения смешанной реальности с использованием отслеживания рук могут легко комбинировать использование как физических, так и виртуальных объектов. Например, пилот-стажер может использовать физические элементы управления симулятора кабины, взаимодействуя при этом с цифровыми приборами, которых нет в физической кабине.

Отслеживание глаз позволяет записывать и изучать движения глаз в приложениях виртуальной и смешанной реальности. Гарнитуры Varjo оснащены самым быстрым и точным интегрированным отслеживанием глаз с частотой 200 Гц, способным захватывать даже самые мельчайшие движения глаз с поражающей точностью.

Отслеживание глаз широко используется в различных исследовательских и обучающих приложениях, потому что оно позволяет максимально точно видеть, куда смотрит пользователь гарнитуры.

Например, MVRsimulation использует его при обучении пилотов-симуляторов, чтобы показать исследователю высокоточное визуальное представление того, куда смотрит обучаемый. Благодаря такой информации пилоты могут научиться правильным поведенческим моделям намного быстрее, без угадываний.

Цель фовеированного рендеринга - предоставить пользователям наилучшее качество изображения в областях, на которые они действительно смотрят, используя минимальное количество вычислительных ресурсов. Это техника рендеринга, которая использует интегрированный в гарнитуру отслеживатель глаз для снижения качества изображения контента, воспроизводимого в периферийном зрении пользователя.

Использование фовеированного рендеринга выгодно, потому что снижение качества изображения в периферийном зрении пользователя улучшает производительность системы, поскольку требуется рендерить приближенно на 30-50% меньше пикселей. Использование этой техники имеет смысл, потому что человек видит с наивысшим разрешением только в центре поля зрения. Рендеринг в полном разрешении в периферийном зрении фактически является избыточным, поскольку глаз не видит полной детализации.

Знаете ли вы, что уже сейчас можно запускать несколько приложений Varjo одновременно? Изображение, которое видит пользователь, может быть создано с использованием более чем одного приложения. Эти приложения могут быть созданы с использованием разных движков или генераторов изображений.

Например, вы можете использовать определенный генератор изображений (IG) для отображения местности, одновременно используя приложение Unity или Unreal для воспроизведения виртуальных частей кабины, добавить возможность отслеживания рук или реализовать выбор миссии.

Мультиприложение также можно использовать для второго приложения без визуализации на гарнитуре. Например, второе приложение может иметь доступ к данным отслеживания глаз, в то время как первое приложение используется для визуализации.