Приложение Meta для изучения языков на Quest объединяет смешанную реальность и ИИ

Meta выпустила приложение с открытым исходным кодом для Quest 3, предназначенное для изучения языков, которое сочетает смешанную реальность с режимом сквозного обзора (passthrough) и ИИ-распознаванием объектов.

Приложение под названием Spatial Lingo: Language Practice призвано не только помогать пользователям практиковать английский или испанский язык, используя предметы в собственной комнате, но и предоставлять разработчикам основу для создания собственных приложений.

Meta называет Spatial Lingo «передовым демонстрационным приложением», которое должно превращать окружающее пространство в интерактивный класс благодаря возможности накладывать переведённые слова на реальные объекты. Для этого используются ИИ и API камер сквозного обзора Quest (Passthrough Camera API).

ИИ в приложении не ограничивается лишь распознаванием объектов для расширения словарного запаса — в нём также есть трёхмерный виртуальный компаньон, который будет сопровождать пользователя. По словам Meta, он будет подбадривать и давать обратную связь во время практики речи.

Кроме того, приложение слушает вашу речь, оценивает ответы и помогает осваивать произношение в реальном времени, сообщает Meta.

Spatial Lingo также является проектом с открытым исходным кодом, что позволяет разработчикам использовать его код, вносить вклад в развитие или создавать собственные новые приложения на базе Unity.

Разработчики, желающие использовать Spatial Lingo, могут найти его на GitHub. Приложение также доступно бесплатно в магазине Horizon Store для Quest 3 и 3S.

Большинство приложений для изучения языков стремятся прежде всего повысить вовлечённость пользователей или соответствовать ожиданиям учащихся, а не тому, что действительно необходимо: часам и часам целенаправленного мультимедийного потребления в сочетании с практикой общения с носителями языка.

Spatial Lingo, впрочем, и не обещает свободного владения языком. Это в первую очередь демонстрационное приложение с довольно интересными «строительными блоками», а уже во вторую — удобная точка входа для знакомства с базовыми существительными на английском или испанском. Кроме того, оно может быть полезно для начинающих, которые хотят не только видеть слово, которое пытаются запомнить, но и получать обратную связь по его произношению. Это небольшая, но симпатичная идея, из которой кто-то, возможно, сможет сделать нечто более масштабное и ещё более интересное.

При этом обучение языку на самом высоком уровне качества почти неизбежно должно включать общение с носителем языка (или ИИ, неотличимым от носителя), который не просто указывает на кошку и говорит «el gato», но использует это слово в полноценных предложениях. Так можно прочувствовать синтаксис и ритм языка — вещи, которые сложно преподавать напрямую и которые обычно усваиваются естественным образом в процессе овладения языком.