Как работает отслеживание положения виртуальной реальности

Кроме широкого поля зрения, гарнитуры виртуальной реальности отличаются от обычных 3D-дисплеев тем, что они отслеживаются. Гарнитуры виртуальной реальности для ПК, консолей и даже некоторые автономные гарнитуры обладают позиционным отслеживанием, позволяя вам наклоняться, уклоняться и даже перемещаться внутри виртуальной реальности.

На ПК и консолях, а теперь и в высококачественных автономных гарнитурах, используется шестиступенчатое позиционное отслеживание (6DoF). Оно позволяет пользователю действительно перемещаться внутри виртуальной среды. Если объем отслеживания достаточен, вы можете даже перемещаться по всей комнате внутри виртуальной реальности.

Когда контроллеры также поддерживают 6DoF, вы можете взаимодействовать с виртуальными объектами непосредственно с помощью рук, перемещая их через виртуальное пространство путем движения рук в реальном мире.

Вопреки распространенному мнению, описанные ниже оптические системы являются только "корректирующими" системами. Основным общим методом отслеживания всех этих систем является микроскопический электромеханический акселерометр. Эти акселерометры обычно работают на частоте 1000 Гц.

Вот как это работает: акселерометры не считывают положение, и даже скорость - они считывают (как и подразумевает их название) ускорение. Как вы можете помнить из курса математического анализа, можно взять интеграл ускорения по времени и получить скорость. И если взять интегралы от значений скорости по времени, то получится положение (или, по крайней мере, смещение от первоначального положения).

Использование этого метода для определения изменения положения называется дед-реконингом. В общих чертах это именно то, как каждая гарнитура виртуальной реальности и контроллер отслеживают себя.

Так почему вообще нужны какие-то дополнительные методы? Потому что акселерометры не идеальны и предоставляют шумные данные. Интегрирование этих данных дважды означает, что даже малейшая ошибка увеличивается, и эта ошибка накапливается. На практике это означает, что позиционное отслеживание на основе акселерометров рассеивается до бесконечности буквально в течение нескольких секунд.

Цель систем отслеживания виртуальной реальности - исправить этот дрейф, предоставив опорные точки. Каждая система отслеживания делает это по-своему, но цель остается прежней.

При разработке Rift, Oculus столкнулась со сложностями предоставления такого же качества отслеживания, как у систем стоимостью несколько тысяч долларов, наподобие OptiTrack, но для более бюджетного аппарата.

Каждое отслеживаемое устройство имеет предопределенное "созвездие" инфракрасных светодиодов, скрытых под внешним пластиком, которые можно увидеть на изображении выше. ИК-свет невидим для глаз человека.

Датчики, по сути, являются камерами с фильтрами, которые видят только ИК-свет, отправляют кадры на ПК пользователя через USB-кабель со скоростью 60 Гц. ПК обрабатывает каждый кадр, определяя положение каждого ИК-светодиода и, следовательно, относительное положение каждого объекта.

Программное обеспечение легко определяет, какие светодиоды оно видит, потому что оно знает форму "созвездия", оно помнит, где объект находился в предыдущем кадре, и оно знает его направление ускорения (из акселерометра) и его вращение (из гироскопа). Каждый ИК-светодиод также мигает с определенной частотой, чтобы идентифицировать себя. Эти инновации дали Constellation (Созвездью) преимущество над прошлыми системами отслеживания, основанными на маркерах.

Для поддержки быстрого движения гарнитура Rift и контроллеры Touch связываются с беспроводным чипом в датчике каждый разпри излучении светодиодов. Это позволяет затвору камеры срабатывать точно в то же время, что и светодиоды, и позволяет сделать экспозицию (выдержку) максимально короткой.

Система отслеживания Constellation больше не используется для отслеживания положения гарнитуры для Rift S или Oculus Quest, но она используется на камерах гарнитуры для отслеживания контроллеров.

PlayStation VR также использует камеры, но в отличие от Rift отслеживание PSVR работает в видимом спектре света.

Планка камеры PlayStation 4 содержит две камеры, расположенные на определенном расстоянии друг от друга. Камера подключена к PlayStation, которая использует данные изображения для отслеживания синих полос света на гарнитуре и светящихся орбит на контроллерах.

Система "Lighthouse" Valve SteamVR наиболее уникальна на рынке. В отличие от всех остальных систем, она не использует камеры вообще, и ПК не обрабатывает никаких данных. Система "Lighthouse" была с самого начала разработана для обеспечения позиционного отслеживания в комнатном масштабе без необходимости подключать датчики к ПК пользователя.

Базовые станции ("Lighthouse") размещаются в противоположных верхних углах комнаты. Они не связаны с ПК и не являются датчиками. Они излучают широкоугольные лазерные лучи ИК-диапазона по всей комнате. Это делается по одной оси за раз, то есть слева направо, затем сверху вниз, повторяясь. Перед каждым сканированием они излучают мощную вспышку ИК-света.

Каждое отслеживаемое устройство содержит массив ИК-фотодиодов, подключенных к микросхеме. Эта микросхема измеряет время между моментом вспышки ИК-света и попаданием лазерного скана для каждой оси. Из этого можно определить его положение в комнате.

Уникальная ценность "Lighthouse" заключается в том, что в теории это довольно простой дизайн. Здесь не требуются сложные алгоритмы компьютерного зрения или считывание данных с камер, только время между лазерными сканами.

После выпуска гарнитур Oculus Rift и HTC Vive многие компании в сфере виртуальной реальности начали понимать, что необходимость установки датчиков или базовых станций в комнате отпугивает многих потенциальных покупателей.

Многие новые и предстоящие гарнитуры используют встроенные камеры, которые сами выполняют "внутреннее" отслеживание с использованием алгоритмов компьютерного зрения. Конкретный тип алгоритма называется "Одновременное определение местоположения и картографирование" (SLAM).

Алгоритмы SLAM работают, выявляя уникальные статические элементы в комнате. Путем сравнения вращения и ускорения от акселерометра и гироскопа с тем, как эти элементы предположительно перемещаются, можно определить положение гарнитуры.

Несколько компаний выпустили или планируют выпустить гарнитуры с использованием SLAM:

• Microsoft: Все гарнитуры Windows MR

• Google: Lenovo Mirage Solo

• HTC: Vive Focus

• Facebook: Oculus Quest и Oculus Rift S

• Google называет свой алгоритм отслеживания "WorldSense", а Facebook называет его "Oculus Insight".

Для отслеживания контроллеров эти системы работают аналогично системе Constellation - либо с видимым светом, либо с инфракрасным светом. Камеры на гарнитуре отслеживают светодиоды под пластиком на контроллерах.