Apple Vision Pro сможет увеличивать, описывать, находить и читать любые объекты в поле зрения

Apple Vision Pro получит возможность увеличивать изображение в режиме passthrough (сквозного видео), а также описывать, находить и читать всё, что находится в поле зрения — с помощью встроенного ИИ.

Эти функции предназначены для людей с нарушениями зрения и появятся в обновлении visionOS позже в этом году.

В прошлом году Apple представила аналогичные функции за месяц до анонса visionOS 2 на WWDC24, так что, вероятно, новые возможности будут показаны как часть visionOS 3 на WWDC25 в следующем месяце.

Функция увеличения изображения будет обновлением для уже существующей функции доступности Zoom, которая сейчас увеличивает только виртуальный контент. С обновлением она сможет увеличивать и изображение реального мира.

Возможности описания, поиска и чтения объектов в поле зрения будут расширением функции VoiceOver (экранный диктор). Новая функция получит название Live Recognition — она будет использовать машинное обучение прямо на устройстве для «описания окружения, поиска объектов, чтения документов и многого другого».

Apple также анонсировала новый API, который позволит разработчикам приложений доступности в одобренных программах использовать камеру passthrough для «живой помощи от человека к человеку при визуальной интерпретации».

В то время как гарнитуры Meta Quest на базе Horizon OS уже позволяют приложениям получать доступ к passthrough при согласии пользователя (и Android XR от Google будет поддерживать это с момента запуска), visionOS по-прежнему разрешает доступ к passthrough только для корпоративных приложений, не предназначенных для широкой публики. Причём для этого требуется специальная лицензия от Apple.