Почему ученые погружаются в виртуальный мир

Программное обеспечение и гарнитуры виртуальной реальности все чаще используются исследователями для создания более глубоких коллабораций или удаленной работы.

В виртуальной лаборатории Стивена Хилтона студенты, использующие виртуальную реальность, представлены в виде аватаров роботов; здесь три пользователя работают вместе, чтобы научиться пользоваться 3D-принтером.

Посещение лаборатории Стивена Хилтона - это практический опыт. Здесь не требуется никаких пропусков, квалификаций или лабораторных халатов; гости могут бродить вокруг и шарить в оборудовании, даже проливать химикаты на пол, если им это нравится, без каких-либо последствий. Более того, он это поощряет. "Наука должна быть интерактивной. Нужно иметь возможность устраивать беспорядок, совершать ошибки", - говорит Хилтон, передавая 3D-фигуру, которую он только что нацарапал в воздухе.

Лаборатория Хилтона - цифровая, в ней можно работать через гарнитуры виртуальной реальности (VR), так что создаваемый хаос носит доброкачественный характер. Но обстановка повторяет пространство и дизайн реальной лаборатории, которой он руководит на фармацевтическом факультете Университетского колледжа Лондона, где его группа занимается исследованиями в области синтетической химии, в том числе открытием лекарств, хотя и с более яркими цветами и некоторыми сверхъестественными дополнениями.

Концепция виртуальной реальности существует с 1960-х годов, но все сохраняющиеся представления об этой технологии как о причуде - игрушке с неуклюжей графикой - давно устарели. В последние пару лет, ускоренные пандемией COVID-19 и отчасти благодаря снижению стоимости гарнитур, все больше исследователей изучают потенциальные возможности и преимущества использования расширенной реальности (XR) в своей работе - включая VR, дополненную реальность (AR) и технологии смешанной реальности.

Такие бренды, как Oculus Rift и Microsoft HoloLens, сделали VR популярным благодаря играм; теперь Хилтон и другие исследователи используют те же инструменты для мониторинга экспериментов, сотрудничества с международными партнерами по исследованиям и проведения иммерсивных учебных программ для студентов и коллег.

Хилтон использует гарнитуру Oculus Quest 2 (сейчас продается как Meta Quest 2), поскольку она относительно недорогая (около 35 тысяч рублей за базовую версию) и позволяет использовать несколько гарнитур одновременно. Программное обеспечение также работает на ПК, что позволяет взаимодействовать как с ПК-гарнитурой, так и по принципу ПК-ПК или гарнитура-гарнитура. Его виртуальная лаборатория была создана с помощью программы трехмерного проектирования Unreal Engine от американского разработчика Epic Games. Для одиночных пользователей она работает на локальном сервере, а для многопользовательских программ и программ голосовой связи переключается на облачный сервер.

Во время пандемии сотрудники лаборатории Хилтона столкнулись с проблемой проведения продуктивных встреч с партнерами по исследованиям в Германии и США, используя только видеосвязь. "В то время существующие коммерческие программы были дорогими - от 20 до 70 тысяч фунтов стерлингов - и не подходили для наших нужд, поэтому нам пришлось начинать с нуля", - объясняет Хилтон. Теперь в его виртуальной лаборатории есть зал заседаний на 20 мест, а в реальной лаборатории то же самое пространство представляет собой скромный складской шкаф.

Три ассистента с искусственным интеллектом помогают исследователям ориентироваться в виртуальной лаборатории химика Стивена Хилтона, которая соответствует его реальной лаборатории.

В настоящее время он использует VR-среду в основном для обучения студентов, которые могут практиковаться в проведении экспериментов или выполнять задания, доступные как через ноутбук, так и через VR-гарнитуры дома и в кампусе. Три ИИ-ассистента - мультяшные человекоподобные фигуры в натуральную величину, которые отвечают на вопросы пользователей, когда те обращаются к ним, - находятся под рукой, чтобы предложить поддержку. У каждого помощника есть своя роль и предыстория, и он опирается на запрограммированную базу знаний, а также на модель искусственного интеллекта ChatGPT, чтобы вести пользователей по виртуальному пространству и отвечать на вопросы о безопасности, инвентаре и запасах. Частные клиенты, среди которых есть компании и исследовательские институты, должны вносить плату, что позволяет получить средства для будущих лабораторных проектов. Но команда Хилтона также использует VR-среду для просветительской работы, принимая у себя группы учащихся средних школ и коллег из многих стран.

По его словам, это помогает сделать науку более доступной: если раньше Хилтон и его команда могли одновременно руководить лишь несколькими студентами-химиками и членами лаборатории, то теперь неограниченное количество учеников могут практиковаться в экспериментах, оценке безопасности и других сценах дома или в партнерских учреждениях в других странах. Это также означает, что Хилтон тратит меньше времени на повторение инструкций или объяснение студентам, где найти оборудование, что позволяет ему сосредоточиться на других проектах, включая расширение программы исследований VR.

"Совсем недавно мы создали инструмент, позволяющий виртуальным помощникам говорить на десяти иностранных языках", - говорит он. "База знаний переводится в режиме реального времени, то есть я могу ответить на вопрос студента прямо на английском, а он услышит ответ на своем родном языке. Мы видим большие возможности для этого во многих странах".

Одним из самых простых способов сделать виртуальное обучение более доступным может быть полный отказ от разговорных языков. "XR открывает возможность использовать жесты и язык тела - показывать, а не рассказывать - без необходимости хорошо знать язык", - говорит Коос де Бир, консультант по XR-решениям и исследователь из Университета Претории в Южной Африке.

Де Бир начал использовать учебные инструменты на базе XR для студентов университета в 2010 году. С тех пор как он начал работать с факультетом горного дела университета в 2018 году, он использует эти инструменты для того, чтобы студенты могли "посещать" шахты, туннели и другие потенциально опасные места удаленно, через виртуальный класс. В последние годы его работа расширилась, и VR-программы стали применяться в инженерной сфере и в здравоохранении, особенно в бедных районах сельской местности Южной Африки.

Аватары, используемые для представления пользователей VR, "не обязательно должны выглядеть или говорить определенным образом", - говорит де Бир. Их можно просто изобразить в виде роботов, например, без указания расы или пола - хотя человеческие предубеждения создают проблемы при разработке фигур. (Пока, по словам Хилтона, в его программе используются аватары роботов с мужественными, мускулистыми торсами, например).

VR также помогает студентам-медикам получить доступ к возможностям обучения на более ранних этапах обучения. Симран Шарма, клиницист по акушерству и гинекологии в Университете Кардиффа и Университетской больнице Уэльса в Кардиффе (Великобритания), в начале своей медицинской карьеры испытывала недостаток знакомства с реальной практикой. "Впервые я столкнулась с пациентом с сепсисом, будучи квалифицированным врачом, - а это обычный сценарий для многих серьезных и редких заболеваний", - говорит она.

Использование медицинских манекенов для обучения студентов диагностике и лечению сепсиса считается золотым стандартом обучения, объясняет она, но пандемия сделала очное обучение затруднительным. "Кроме того, это очень дорого и требует больших ресурсов, если принять во внимание стоимость манекенов - около 40 000 фунтов стерлингов, время преподавателя и тот факт, что занятия проводятся только в специализированных центрах. А если вы случайно пропустите день тренировки из-за болезни, то вам не повезло", - добавляет она.

Шарма вдохновилась идеей изменить ситуацию в 2019 году после того, как стала свидетелем опасного заболевания беременных людей сепсисом во время родов. Будучи научным сотрудником Кардиффского университета, она помогла разработать учебный инструмент VR для распознавания сепсиса в рамках проекта Project Sepsis, британского исследовательского сотрудничества в области медицины и науки. Ее VR-проект работает, показывая студентам серию симуляций, демонстрирующих различия между симптомами сепсиса и похожими состояниями. В отличие от виртуальной лаборатории Хилтона, населенной аватарами, Шарма предпочла снимать актеров, разыгрывающих реалистичные медицинские сцены, которые студенты могут наблюдать и взаимодействовать с ними с помощью VR-гарнитур и телефонов. Затем студенты проходят проверку знаний, полученных во время опыта, с помощью экранных тестов с несколькими вариантами ответов.

"Виртуальная реальность предлагает повторяемый, стандартизированный метод клинического обучения, который не зависит от качества преподавателя. Он основан на фактических данных и является мощным инструментом в здравоохранении, и его использование растет во всем мире", - говорит Шарма.

Помимо потенциала VR для обучения и образования, многие ученые, использующие эту технологию, надеются, что в один прекрасный день она сделает их практическую работу более эффективной.

В 2020 году химик Ли Кронин и его коллеги из Университета Глазго (Великобритания) разработали программу виртуальной реальности, которая позволяет ему удаленно управлять роботами в своей лаборатории. Кронин и его исследовательская группа используют так называемый "химкомпьютер" - серию роботов, которые можно запрограммировать на автоматический синтез органических молекул, - в рамках своих поисков новых молекул и создания искусственных форм жизни. Такая автоматизация делает химические эксперименты более безопасными, поскольку сводит к минимуму необходимость работы человека с химическими веществами, и гораздо более быстрыми, поскольку роботы работают 24 часа в сутки 7 дней в неделю.

Технология виртуальной реальности позволяет Кронину перемещать компоненты и давать указания роботам, где бы он ни находился. "Это также позволяет нам сокращать время", - объясняет он. "Я могу держать телефонную трубку, а в одной руке у меня виртуальная коническая колба. Если я делаю движение наливания, робот понимает, что это перемещение жидкости из руки "а" в руку "б", и может включить насос и клапан". Он еще не полностью развернут, но операционная система уже есть", - добавляет он. "Это очень похоже на то, как работает авиасимулятор".

Он считает, что VR, используемая таким образом, может сыграть важную роль во многих других потенциально опасных научных сценариях, в том числе при выводе из эксплуатации ядерных объектов и исследованиях по обезвреживанию бомб. Кроме того, есть и преимущества в плане производительности: "Нам нужно изобретать больше молекул, если мы хотим решить большие общественные проблемы, например, найти новые лекарства для борьбы с болезнями. Но химическое пространство очень сложно исследовать", - объясняет он. В клинике [в качестве лекарств] одобрено всего около 2800 малых молекул - чтобы добраться до них, мы должны перепробовать уже несколько миллиардов молекул". Лекарства от рака существуют, но у нас физически нет возможности самостоятельно пройти через каждую химическую реакцию".

По словам Кронина, его компания Chemify, расположенная в Глазго, привлекла более 33 миллионов фунтов стерлингов от международных инвесторов, которые поддержали его план по автоматизации проектирования новых молекул для ускорения разработки лекарств.

Способность визуализировать себя в альтернативной реальности вдохновляет на новые направления исследований. Нейробиолог Олаф Бланке руководит лабораторией когнитивной нейронауки в Швейцарском федеральном технологическом институте в Лозанне (EPFL). После многих лет исследований в области протезирования и когнитивной терапии для людей с ампутацией конечностей он считает, что технологии VR революционизируют научное понимание человеческого мозга и восприятия собственного тела.

"VR - это, по сути, очень умное зеркало", - говорит он. "Нам, взрослым, очень легко решить, что, когда мы чистим зубы, мы не те, кого мы видим в зеркале, - это отражение. Но когда у вас есть аватар, вы можете играть с разными перспективами. Это позволяет нам задавать новые вопросы о визуальном "я" и самосознании".

Не исключено, что технология VR однажды заменит или, по крайней мере, улучшит традиционные методы изучения памяти и травм, говорит он. "Раньше такие вещи, как эпизодическая память, проверялись в лабораторных условиях, когда участников просили запомнить список слов, что имело очевидные ограничения. С помощью VR мы можем воссоздать живописную 3D-среду и проверить память, используя дополнительные данные" - например, отслеживание движений глаз, частоты сердечных сокращений и других жизненных показателей.

Он также экспериментировал с VR для изучения внетелесных переживаний - феномена, который, по оценкам, испытывают 10 % населения планеты, и причины которого до конца не понятны.

Бланке надеется, что углубление понимания в этой области приведет к появлению новых и более эффективных форм лечения людей с неврологическими расстройствами. Однако технологические ограничения все еще существуют. Гарнитуры виртуальной реальности могут через некоторое время стать тяжелыми и вызывать у пользователей тошноту. А набрать достаточное количество программистов всегда проблематично, говорит он. "Было бы здорово иметь больше программного обеспечения, которое легко адаптировалось бы и для непрограммистов. Но ученые составляют очень малую часть рынка, и я не думаю, что ситуация изменится в ближайшее время".

Разработка программ виртуальной реальности - дело непростое. Когда Хилтон планировал свою собственную виртуальную лабораторию - проект, начатый в 2000 году, но подстегнутый пандемией в 2020-м, - он говорит, что был "немного легкомысленным от высокомерия". Он добавляет: "Разработав собственное программное обеспечение для 3D-печати и программное обеспечение для цифрового потока на ПК, мы подумали, что сможем легко создать и собственное программное обеспечение для VR. Однако это оказалось сложнее, чем мы предполагали". Потребовалось много лет, чтобы довести программное обеспечение Хилтона до качества, которым он гордится, при этом ему очень помогли его аспиранты и их навыки автоматизированного 3D-проектирования (CAD).

"У нас в лаборатории работает около десяти человек с разным образованием - биомедицинским, фармацевтическим, химическим, но без компьютерных наук, - и мы обучаем всех с нуля. Сначала в CAD-проектировании реального оборудования, затем в программировании искусственного интеллекта, а потом в CAD для VR. Все [члены лаборатории] проводят занятия с пользователями, чтобы потом они привыкли к VR-обучению других", - говорит Хилтон. Но не у каждой лаборатории есть такое время и ресурсы.

По большей части, кажется, что наиболее широкое практическое применение VR в науке и исследованиях будет в качестве инструмента для обучения. Существуют очевидные возможности для просветительской работы, расширения масштабов курсов и повышения доступности. Но это не серебряная пуля: барьеры для доступа остаются, несмотря на относительно низкую стоимость гарнитур.

Такие программы зависят от наличия быстрого подключения к Интернету, чего нет во многих регионах. По данным Организации Объединенных Наций, в 2021 году без интернета оставались 2,9 миллиарда человек. В Южной Африке, например, даже крупные города испытывают трудности с подключением из-за отключения электроэнергии, а в сельской местности доступ к интернету вообще невозможен. Для Де Бирса это означает, что все программы, которые он помогает разрабатывать, рассчитаны на работу с данными мобильных телефонов и не зависят от широкополосного интернета. Но даже это может быть проблематично, говорит он. "Нам часто приходится заранее планировать подключение к собственным источникам связи, - говорит он, - например, с помощью спутников, хотя доступ к спутниковому интернету с низкой задержкой, разработанному аэрокосмической компанией Space X под названием Starlink, облегчил эту задачу".

Отсутствие понимания технологий VR также остается фундаментальным барьером на пути к их более широкому внедрению. Как объясняет Шарма: "Для многих профессоров, которым мы демонстрировали наш продукт, VR казался совершенно странным и неестественным. Но для 20 с небольшим студентов-медиков, с которыми мы работаем, это действительно не проблема".

Чтобы культурный сдвиг ускорился, университеты и другие учебные центры могут взять на себя активную роль. "Большая часть нашей работы заключается в том, чтобы познакомить людей с технологией - приучить их к ней, потому что нет сомнений, что в какой-то момент им придется работать с ней", - объясняет де Бирс. С этой целью его команда в Университете Претории создала "игрушечный ящик XR: уникальное место, куда студенты и сотрудники могут зайти и поиграть с технологией. Это инструмент для ознакомления", - объясняет он.

Является ли VR поводом для ученых играть с игрушками в лаборатории? "Конечно", - признает Кронин. "Но это и нечто большее. Люди всегда использовали инструменты для совершения новых открытий, и это просто следующий инструмент в коробке. Я не думаю, что это отменяет человеческие знания. Но он, безусловно, изменит характер работы и, надеюсь, приведет к более совершенному способу работы".