Представьте на минуту, что любые расстояния для вас потеряли свою непреодолимость, любые желания получили моментальное исполнение, а все красоты мира стали доступны по простому нажатию кнопки или двух. Куда бы мы ни сунулись, на нас накладываются ограничения: ноют икры от долгой ходьбы, появляется боязнь высоты, не хватает денег на билет в любую точку мира, а диван обладает мощнейшим гравитационным полем. Да, если бы мы жили в ефремовской утопии или были чрезвычайно богаты, жизнь была бы проще, но на достижение этого ушло бы много лет. К счастью, у всемогущества есть рецепт попроще: виртуальная реальность.
Идее виртуальной реальности уже много лет, но только в последние несколько лет мир подобрался настолько близко к этой границе, что вот-вот - и можно будет пощупать. Сам термин «виртуальная реальность» вошёл в употребление только в 1985 году, тридцать лет назад. Первая техническая реализация устройства, которое, по плану разработчика Айвена Сазерленда, должно было погружать людей в вымышленный мир, увидела свет в 1968 году. Из-за огромных размеров и побочных эффектов его назвали «Дамокловым мечом», и на этом идея себя исчерпала. Впрочем, некогда и Билл Гейтс считал, что 640 килобайт должно быть достаточно для каждого.
Именно период до 2000 года отложился в головах людей как «история развития виртуальной реальности». Потому-то сегодня шлемом и виртуальными тренажёрами никого не удивить, и потому-то скептики пожимают плечами и говорят, что «всё это уже было». В воздухе витает неуловимое ощущение того, что виртуальная реальность давно с нами и никуда не уходила. Хвала богам, что есть в этом мире любители разбивать шаблоны.
Герой нашего времени моложе многих из нас. В пятнадцать лет Палмер Лаки стал обладателем самой большой в мире коллекции гарнитур с дисплеями, носимых на голове, благодаря своему хобби. В шестнадцать - собрал первый рабочий прототип в своем гараже. В августе 2012 года кампания, запущенная на Kickstarter, уже поднимает 250 000 долларов всего за несколько часов. В марте 2014 года Oculus VR за 2 миллиарда долларов покупает гигант Facebook. Сегодня 21-летний основатель компании стал чуть ли не иконой подрастающего поколения геймеров, а также одним из главных евангелистов «второй волны» виртуальной реальности. В чём секрет успеха?
Сегодня 21-летний основатель Oculus VR стал чуть ли не иконой подрастающего поколения геймеров, а также одним из главных евангелистов «второй волны» виртуальной реальности
Как работает Oculus Rift
Очки, шлем или гарнитура виртуальной реальности Oculus Rift устроена крайне просто. Версию Oculus Rift DK 2 (комплект для разработчиков) разбирали специалисты портала iFixit и нашли там, в общих чертах, такие детали.
Гораздо интереснее то, как работает это устройство и что в нём такого волшебного, чего не удавалось сделать предыдущие 50 лет. Процесс проникновения в виртуальную реальность происходит весьма просто. Вы надеваете на голову шлем, садитесь поудобнее, подключаетесь к внешнему источнику развлечений (компьютеру, конечно) и погружаетесь. Сейчас это можно опробовать только при наличии одного из комплектов для разработчиков, но Oculus активно готовит всех, от производителей игр до обычных пользователей, к началу продаж. Открытая платформа для разработчиков - один из плюсов Oculus. На старте сразу будет во что поиграть.
На деле же Oculus решила и продолжает решать основные проблемы, с которыми сталкивалась виртуальная реальность все предыдущие годы.
- В 90-х простенькая гарнитура, во многом благодаря дисплеям и системам отслеживания движений, стоила порядка 15 тысяч долларов. Относительно мощную графическую систему можно было приобрести за 50 тысяч долларов. Разумеется, системы виртуальной реальности доставались только самым богатым учреждениям - научным лабораториям и военным для подготовки. Сегодня благодаря невероятному развитию технологий дисплеи стали стоить сущие копейки.
- В начале 90-х Virtuality Group выпустила мощные гарнитуры виртуальной реальности с невероятным на то время разрешением - 276x372. Последняя версия Oculus Rift может похвастать разрешением 960х1080, а к её стоимости мы ещё вернемся.
- Команде Палмера Лаки удалось решить проблемы, связанные с качеством восприятия виртуальной реальности. Решены проблемы укачивания (пользователей постоянно тошнило) из-за размытия движений и недостаточного количества кадров в секунду, а также задержки обновления картинки. Теперь тестеры проводят сутки с гарнитурой на голове и чувствуют себя вымотанными, но счастливыми.
- Колоссальное падение стоимости процессоров и общее удешевление и миниатюризация сопутствующих технологий (тех же акселерометра и гироскопа) привели к тому, что Oculus Rift можно будет взять в десятки и даже сотни раз дешевле, чем самую лучшую систему виртуальной реальности ещё десять лет назад.
Повышение качества изображения, отслеживание движений пользователя за счёт внешней камеры, а также, что самое важное, увеличение угла обзора до 110 градусов -всё это стало секретом успеха. Стереоскопический трёхмерный обзор в гарнитуре дарит полноценное периферическое зрение и эффект погружения так, будто вы смотрите на окружающий мир своими родными зенками.
Параллельно с Oculus и другие компании начинают постепенно выходить на рынок виртуальной реальности. Sony (далеко не пионер в области игр) анонсировала свою гарнитуру Morpheus; Samsung (при поддержке инженеров Oculus) представила свой шлем виртуальной реальности Gear VR, в котором в качестве основного дисплея выступает Galaxy Note 4. Никто не удивится, если следующий год станет годом гарнитур виртуальной реальности, которые посыпятся отовсюду так же, как некогда посыпались смартфоны.
Oculus Rift стала одной из десяти лучших технологий года , лучшего вуза в мире.
ПОЛ МЛИНЕК
соучредитель Sixense, руководитель отдела разработок в MakeVR
«Ребята в Oculus всё сделали правильно. В 90-х годах компании, делающие головные дисплеи, только оправдывались и говорили: «Нет, на самом деле нужно только вот это маленькое окошко вдалеке, но у него будет большое разрешение». Oculus практически провёл линию на песке, сделав это 110-градусное поле зрения. Как только я его надел… я был очень рад, потому что наконец-то ощутил полное погружение, как никогда прежде».
проект компании Sony по созданию собственного шлема виртуальной реальности для консоли PlayStation 4
Неизбежное будущее виртуальной реальности
В сторону технические детали, давайте лучше поговорим о том, к чему всё это идет. Кому нужна виртуальная реальность? Зачем вообще отгораживаться от мира за выпуклыми линзами? Ответ один на все: это действительно круто.
Как ни крути, виртуальная реальность придёт к нам быстрее, чем мы ожидали, и тренд обещает выстрелить мощнее, чем вышеупомянутые кинотеатры в 3D, санкции или новый iPhone. Геймеры, вооружившись недорогими гарнитурами, обретут второе дыхание и на многие годы пропадут в виртуальной реальности. Люди попроще получат шанс испытать себя гонщиком «Формулы-1», пилотом-истребителя или капитаном «Энтерпрайза». Особые перспективы обещает применение виртуальной реальности в медицине и на поле боя. Обо всём подробнее и понемногу.
Игры
Если говорить об играх, то виртуальная реальность для них - настоящая революция. Теснее общение игрока с вымышленным миром может быть, только если он сам вымышлен. Никакой дистанции от монитора до глаз, стопроцентное погружение и полное отождествление себя с главным героем.
Half-Life 2 c беговой дорожкой Omni
Есть и проблемы - например, сложность соревновательных игр с использованием всенаправленной беговой дорожки Omni от Virtuix в паре с человеком с хорошей физической подготовкой. К вящему сожалению лентяев, если виртуальная реальность интегрируется с реальной, придётся качать мышцы.
глава отдела разработчиков The Creative Assembly
О реакции людей на игру Alien: Isolation в гарнитуре Oculus Rift: «На самом деле, весьма интересно наблюдать за людьми и за их попытками вести себя вполне естественно. Но потом Чужой подходит ближе, и вы видите физическую реакцию их тел. Они напрягаются. Когда же Чужой нападает на них, они физически откидываются в своих креслах».
Симуляторы и архитектура
Виртуальные тренажеры для подготовки будущих пилотов и операторов АЭС существуют уже давно. Но с развитием Oculus Rift и сопутствующих гарнитуре устройств каждый может испытать себя в роли птицы, например. Лётный симулятор для всего тела Birdly, разработанный Максом Райнером, швейцарским художником, буквально превращает людей в птиц. Можно летать над городами, ощущая ветер из вентилятора, который треплет виртуальное оперение. Нет ничего сложного в том, чтобы переместиться из тела птицы в кабину истребителя. Да, авиа- и другие симуляторы давно привлекают геймеров, но, поверьте, в виртуальной реальности всё совсем по-другому.
Другим крайне полезным применением очков виртуальной реальности в будущем станет проектирование и архитектура, наряду с виртуальными экскурсиями и посещениями музеев. Надев очки, человек сможет почувствовать себя в роли творца, даром что ресурсы для его творений будут практически неисчерпаемы - виртуальны. В плане таких применений виртуальной реальности возможности практически безграничны.
Является одним из выдающихся спикеров игровой индустрии. Его компания выпустила популярную VR-игру I Expect You To Die, а сам Шелл активно поддерживает развитие виртуальной и дополненной реальности. Однако к надеждам на быстрый рост и он относится крайне скептически.
В начале месяца Шелл выступил на конференции Augmented World Expo в Калифорнии и поделился своими опасениями насчет будущего виртуальной и дополненной реальности.
Будущее VR за тактильными ощущениями
Во время своего выступления Шелл заявил, что к 2025 году рынок вырастет с $7,5 миллиарда до $22,5 миллиарда. Несмотря на такой оптимистичный прогноз, Шелл считает, что другие ожидания совершенно не оправдают себя. Например, по его словам, к 2025 году доля VR составит не более 5-15% всей игровой индустрии.
Аналитики компании Digi-Capital предсказывают, что к 2020 году стоимость рынка VR составит $30 миллиардов, а AR - $90 миллиардов. Шелл считает, что это «крайне неверный прогноз». Шелл подчеркивает, что рынок будет развиваться очень медленно. А значит стартапам стоит учесть, что суровые времена затянутся сильнее, чем планировалось.
Шелл предсказывает особую популярность контроллеров для виртуальной реальности вроде Touch или тех, что используются для шлема HTC Vive. По словам Шелла, такие контроллеры вызывают у пользователей чувство тактильного взаимодействия и потому показывают себя гораздо лучше, чем системы, отслеживающие движения руками.
Для AR нужны новые технологии
Шелл считает, что к 2025 году доля прибыли составит 15% от дохода рынка VR, то есть примерно $1,1-$3,3 миллиарда. Рынок дополненной реальности по-прежнему будет небольшим, и его ждут трудности.
По словам Шелла, пройдет еще много лет, прежде чем технологии разовьются настолько, чтобы создать очки дополненной реальности, которые бы не отличались от обычных очков. Пока что все новые AR-устройства будут «громоздкими», а все очки дополненной реальности будут «выглядеть глупо». Во время выступления Шелл вспомнил о . Внешний вид первых очков дополненной реальности от Google слишком бросался в глаза - в углу каждой линзы находилась крупная камера, да и сами очки выглядели громоздкими. Никто не хочет надевать на себя устройство, которое придает глупый вид. Шелл считает, что очки дополненной реальности будут выглядеть глупо до тех пор, пока спустя несколько поколений не произойдет существенный прорыв в технологиях.
« был огромной ошибкой, - сказал Шелл. - Мне кажется, это один из самых крупных технологических провалов за последние десять лет. Никому не понравился этот проект. Сам по себе продукт был хорош, и им было легко пользоваться. Но его использование вызывало дискомфорт в обществе - и это-то его и погубило».
Похожую проблему Шелл отметил и у очков HoloLens от Microsoft - их линзы слишком темные, из-за чего не видны глаза владельца очков. Microsoft пыталась сделать очки, которые бы выглядели более приемлемо в обществе, но у нее это не получилось, считает Шелл, ведь в таких очках нельзя было установить зрительный контакт с другими людьми.
«Многие очки [дополненной реальности] выглядят слишком нелепо, чтобы постоянно их носить, - сказал Шелл. - Нам нужно решить эту проблему».
Кроме того, когда люди видят очки со встроенной камерой, они чувствуют, что за ними кто-то наблюдает и это их пугает.
«Маленькая черная точка на очках (камера) представляет собой огромную проблему, - добавил Шелл. - Довольно неприятно осознавать, что за тобой кто-то следит».
Среди прочих проблем AR Шелл отметил то, что очки дополненной реальности ограничивают поле зрения владельца. Виртуальная реальность дает эффект погружения, а дополненная показывает лишь небольшой отрезок мира. Конечно, можно использовать голограммы, но для них нужны более крупные экраны и соответствующее оборудование, а значит стоимость AR-устройств только увеличится. Поэтому Шелл считает, что нужно как-то уменьшить голографические экраны, вот только пока никто не знает, как это сделать.
Наконец, сейчас нет никакого революционного приложения дополненной реальности. Возможно, приложение, которое создает воображаемого друга в дополненной реальности, будет отличным подарком для детей, но взрослым нужно нечто большее, считает Шелл. Вот только пока даже он не знает, какое AR-приложение может действительно перевернуть мир.
Шелл смотрит на будущее VR- и AR-технологий трезвым взглядом и считает, что разработчики должны не завышать надежд, но и не опускать руки.
«Мы создаем «глаза» будущего поколения, - сказал Шелл. - Поэтому я призываю всех объединиться, чтобы сделать лучшие глаза, которые только видел этот мир».
Выступление главного научного сотрудника Oculus Майкла Абраша (Michael Abrash) на конференции Connect стало доброй традицией с непременно интересным наполнением. Он помогает взглянуть на виртуальную реальность в перспективе. В этот раз - на Connect 3 - Абраш сделал несколько смелых и конкретных прогнозов о состоянии отрасли в ближайшие пять лет.
Во-первых, в краткосрочной перспективе наиболее важно улучшать визуальные качества виртуальной реальности. Современные шлемы высокого класса, такие как и , предлагают 100 градусов поля обзора и разрешение 1080×1200, что эквивалентно примерно 15 пикселям на градус. Человек от природы обладает полем зрения примерно в 220 градусов - около 120 пикселей на градус. Абраш утверждает, что дисплеи и оптика далеки от достижения этой цели (забудьте о 4K или 8K, это больше 24K на глаз). По его словам, через пять лет мы можем надеяться на удвоение количества пикселей на градус - до 30 - с расширением поля зрения до 140 градусов при разрешении около 4000×4000 на каждый глаз. Кроме того фиксированная глубина фокуса должна смениться регулируемой. Сейчас сделать такие шлемы невозможно, но в перспективе нескольких лет задача представляется Абрашу решаемой.
Рендеринг картинки в разрешении 4000×4000 на каждый глаз при скорости 90 кадров в секунду находится за пределами возможностей самых мощных бытовых компьютеров. Для достижения таких показателей важной технологией является фовеальный рендеринг («foveated rendering», от лат. fovea centralis - центральная ямка), который в июле 2016 года наглядно .
Фовеальный рендеринг - это метод, при котором только небольшая часть изображения в центре поля зрения пользователя отрисовывается в полном качестве, а остальное размывается по мере приближения к периферии. Одной из особенностей нашего зрительного аппарата является лучшее распознавание деталей в центре и ухудшение детализации при улучшении распознавания движения по краям поля зрения. Таким образом фовеальный рендеринг пользуется естественной особенностью зрения для уменьшения затрат ресурсов на отрисовку той части картинки, которой высокая детализация всё равно не нужна. Есть лишь одно «но»: для использования данного метода нужны системы окулографии (слежения за направлением взгляда человека) такой точности, которой от современных устройств добиться не удалось. Но впереди целых пять лет.
Затем Абраш на некоторое время перешёл от графики к звуку. Функция персонализированной передачи звука в зависимости от положения головы (head-related transfer functions - HRTF) улучшит его реалистичность. Текущее решение для трёхмерного звука генерирует HRTF в реальном времени на основе трекинга головы, но оно создано усреднённым для всех пользователей сразу. Функция HRTF должна варьироваться в зависимости от размеров туловища и головы, формы ушей - это выведет качество звука на новый уровень. Абраш не стал вдаваться в способ достижения такой персонализации, для которой обычно требуется тест в безэховой камере, но заметил, что в следующие пять лет будет представлен способ «лёгкой и быстрой» домашней настройки. Также он ждёт значительного прогресса в моделировании отражения, дифракции и интерференции.
Что касается контроллеров, Абраш уверен в способности устройств, подобных , оставаться в строю в «ближайшие 40 лет». За это время, без сомнений, улучшатся их эргономика, точность и функциональность, но суть не изменится, как много лет не менялась суть компьютерной мыши. Особенно интересно в этом контексте мнение Абраша о трекинге рук без контроллеров или перчаток (как у ): в течение пяти лет они могут стать ещё одним стандартом отрасли наряду с контроллерами. Вероятно, здесь можно провести параллель с сенсорными экранами, которые идеальны для планшетов или смартфонов, и физическими кнопками, которые незаменимы в играх и работе на ПК. В разных ситуациях удобным окажется одно из решений.
Вместе с улучшениями по части изображения, трекинга и передачи данных нас ждёт облегчение гарнитур, которые сегодня трудно долго носить во многом из-за веса. В частности, это будет достигнуто лучшим распределением веса комплектующих по корпусам. Также ожидается более гибкая корректировка линз в зависимости от особенностей зрения пользователя - возможно, произрастающая из технологии смены глубины фокуса.
Наконец, шлемы станут беспроводными, но для этого в течение пяти лет придётся поработать, с одной стороны, над беспроводной передачей данных, а с другой, над фовеальным рендерингом.
Далее Абраш коснулся темы добавления элементов реального мира в виртуальный, называемого им «дополненная виртуальная реальность». Шлемы будущего смогут сканировать пространство и переносить вещи из физического окружения пользователя в ВР-приложения. Также актуальной может стать «телепортация» пользователя в снимаемые в реальном времени места. По сути, это смешанная реальность, успехами в разработке которой регулярно делятся . Абраш уточняет: шлемы дополненной виртуальной реальности будут очень отличаться от шлемов дополненной реальности, поскольку позволяют не только накладывать графику, но и контролировать каждый пиксель в смешанной сцене. Чем-то подобным занимается .
Прогресс в виртуальной телепортации, трекинге тела, головы и рук обеспечит значительные улучшения в создании ВР-аватаров. Но реалистичное отображение человеческого тела в реальном времени представляется Абрашу одной из наиболее сложных задач, поскольку мы, не замечая этого, очень внимательны к экспрессии и языку тела. Прорыв в реалистичной передаче окружения, совместных пространствах в течение пяти лет возможен, но на создание аватара, способного передать собеседнику ощущение реального человека, могут уйти десятилетия.
В конце выступления главный исследователь переключился на «рабочее пространство мечты», о котором говорил и в прошлом году. В виртуальном окружении можно создать любую атмосферу, добавить неограниченное количество интерактивных досок, мониторов и совершенно любых других объектов. Осталось добавить людей, и перед нами мощный многопользовательский инструмент. Но до этого придётся провести все улучшения, о которых шла речь в презентации - изображения, ввода, звука, рендеринга, передачи данных и так далее. Виртуальная реальность должна стать настолько комфортной, чтобы заменить опосредованные технологии: мониторы, мыши, клавиатуры, оцифровку человека, массу программных решений.
Полное выступление Майкла Абраша:
Видеозаписи всех сессий для разработчиков с Oculus Connect 3 доступны в нашем .
Не пропускайте важнейшие новости о дополненной, смешанной и виртуальной реальности - подписывайтесь на Голографику в
Технологический предприниматель и публицист Шон Ронкен (Shaun Roncken) написал статью о том, как виртуальная реальность изменит наше восприятие технологий, пространства и общения с другими людьми. Мы выбрали самые интересные тезисы.
Как мы взаимодействуем с технологиями
На экранах ноутбуков и смартфонов мы привыкли видеть то, что называется графическим интерфейсом пользователя (Graphical User Interface). Ещё в 80-е годы его популяризовали такие компании, как Xerox, Apple и Microsoft.
Сначала взаимодействие с компьютером представляло собой сложный процесс, требующий специальных навыков, и заключалось в ручном наборе команд на зловещем чёрном экране.
Со временем Стив Джобс, Билл Гейтс и другие инноваторы сделали интерфейс простым и интуитивным. На смену набираемых инструкций пришли символические значки, которые можно было активировать и перемещать с помощью курсора мыши. Теперь всё это само собой разумеющиеся вещи, но в своё время они были прорывными.
Сегодня графические интерфейсы стали почти естественным продолжением нас самих.
Браузеры предугадывают слова, которые мы пишем. А мобильные устройства позволяют всячески взаимодействовать с элементами с помощью нажатий и жестов. После 30–35 лет существования персональных компьютеров мы пришли к моменту, когда гаджеты может освоить каждый, включая вашу бабушку.
Но едва мы успели постичь одну технологическую эру, как ей на смену уже идёт другая. И привычные для современных разработчиков и пользователей интерфейсы тем и другим придётся полностью пересмотреть.
VR уже меняет наше восприятие пространства. Что дальше?
Возьмём для примера простейший в использовании видеосервис Netflix . Чтобы включить сериал, достаточно зайти на сайт, пробежаться по каталогу и кликнуть на нужное видео. Но как изменится этот процесс, если интерфейс не будет размещаться в плоскости экрана? Внезапно возникает множество нюансов, которые следует учесть.
Прежде всего, меняется восприятие пространства. Как пользователи мы даже не задумывались о подобных вещах раньше, но виртуальная реальность - это совершенно новый опыт. Представьте, что надеваете очки, включаете Netflix и обнаруживаете себя в деревянном доме. Вы сидите на красном диване рядом с огромным 60-дюймовым экраном и начинаете осознавать весь потенциал VR. После этого физический телевизор больше не кажется такой необходимостью, как раньше.
Вы погружаетесь в новое пространство ещё до перехода к основным функциям программы. Уже только этот факт может вызвать ряд вопросов к Netflix и множеству других хорошо нам знакомых цифровых платформ. Подумайте о Google, YouTube, Facebook.
Как в будущем мы будем управлять элементами меню, которые сейчас представлены в 2D-формате?
Можно понять, какие новые способы управления нам предстоит освоить. То, что раньше работало по принципу «укажи и кликни», теперь отличается в зависимости от конкретного устройства. Некоторые шлемы отображают перед глазами цель, которой можно управлять движениями головы, вместо курсора мыши. В этом случае, чтобы выделить фрагмент текста, иконку или прочий объект, мы нажимаем по кнопке на шлеме.
Кроме того, можно задействовать специальные перчатки, позволяющие выбирать пункты меню и манипулировать другими элементами виртуального пространства. И, наконец, спустя долгие годы голосовое управление выходит на передний план.
Как мы будем взаимодействовать друг с другом в виртуальном пространстве
Несмотря на растущий страх перед изоляцией, многие эксперты обнадёживают верой в то, что VR на самом деле сделает нас ближе друг к другу. Выступая на конференции Talks, виртуальный дизайнер и VR-пионер Крис Милк (Chris Milk) назвал виртуальную реальность машиной сопереживаний. Ведь эта технология способна переносить нас в окружение других людей и даёт возможность разделять их личный опыт.
Представьте, что с помощью виртуальной реальности вы оказались на отдалённом пляже. Там, где сейчас проводят время ваши друзья. Все их эмоции теперь перед вами. Вместо того чтобы представлять чужой опыт по словесному описанию, вы можете погружаться в него сами.
Эти социальные и пространственные инновации не просто изменят жизни отдельных людей, они окажут огромное влияние на технологические компании.
Несложно догадаться, что конторы вроде Spotify уже начинают думать о том, как озвучить наши виртуальные миры. К примеру, микс с воздушной меланхолической музыкой подойдёт для закатов на пляже. Другой вариант - динамический плейлист, который синхронизируется с эмоциями большинства посетителей общественного пространства.
Влияние компаний распространится и на другие аспекты виртуальных миров. Сейчас Google предлагает варианты поиска на основе истории запросов. Например, мы можем увидеть пространства, стилизованные в духе любимых фильмов, взятых из истории просмотров Netflix.
В будущем посещаемые нами места в VR тоже будут подстраиваться под наши индивидуальные предпочтения.
Facebook делает первые шаги в сторону виртуальной реальности. Марк Цукерберг уже обсуждал возможность этой технологии сохранять дорогие нам моменты, будь то дни рождения или предложения руки и сердца. Мы сможем приглашать друзей и родственников разделить эти события с нами. И в будущем Facebook может стать машиной времени, которая позволит погружаться в виртуальные воспоминания.
Конечно, нам понадобилось несколько поколений, чтобы реализовать менее впечатляющие возможности персональных компьютеров, в частности, интерфейсов. И чтобы поднять их на ожидаемый уровень, потребуется ещё не один год.
Почему будущее дистанционного общения не за VR-системами, а за смешанной реальностью? Своим видением коммуникационных систем будущего поделился AR-эксперт Марк Биллингхерст.
Летом 1995 мне повезло поучаствовать в удивительном событии, которые изменило мою жизнь навсегда. Я надел шлем виртуальной реальности в университете Вашингтона и переместился из Сиэтла в маленькую чайную комнату в Японии. Я мог поговорить с другими людьми в комнате, повернуться к ним своим виртуальным лицом и помахать им своей виртуальной рукой. Это был проект Greenspace, и это было первым опытом создания общего виртуального мира.
В то время оборудование стоило больше миллиона долларов, а счет за связь превысил десятки тысяч долларов. Двадцать лет спустя проведение VR-конференций становится все более распространенным. Совместные виртуальный пространства разрабатывают High Fidelity , Sansar и Facebook . Altspace VR регулярно пользуются более 30 тысяч людей в месяц, а совместные VR-приложения, вроде Rec Room и Big Screen , набирают популярность.
Одно из самых больших преимуществ VR-конференций заключается в том, что они позволяют людям использовать некоторые коммуникационные сигналы, которые они используют при личном общении. Они могут не только разговаривать друг с другом – у них есть виртуальные тела, которые позволяют им поворачиваться друг к другу, пожимать руки и использовать широкий ряд невербальных жестов. В конце концов, они могут взаимодействовать с виртуальной средой вокруг них, показывая на объекты или играя в игры вместе. В Rec Room пользователи могут играть в теннис, а в Facebook Spaces создавать совместные 3D-эскизы. Всё это позволяет достигнуть большей степени социального присутствия, чем в традиционной аудио- или видеоконференции.
Совместная смешанная реальность – это следующий телефон?
У VR-конференций большой потенциал, и компании инвестируют десятки миллионов долларов в создание соответствующих платформ. Но конференции в смешанной реальности (MR) могут иметь даже большее влияние из-за своей связи с реальным миром.
Смешанная реальность определяется как технология, которая смешивает реальный и виртуальный миры. VR отделяет людей от реального мира, а MR пытается расширить взаимодействия реального мира или добавить элементы окружающего мира в среду VR.
Преимущества использования смешанной реальности для удаленного взаимодействия:
- люди могут получать помощь в выполнении задач реального мира от удаленных пользователей;
- виртуальные люди будут помещены в реальное пространство;
- поддержка перехода от совместного AR к VR;
- использование MR-изображений для расширения сигналов удаленной коммуникации;
- предоставление пользователям возможности делиться своей точкой зрения и видеть всё взглядом другого человека;
- налаживание связи между пространством задачи и пространством общения;
- поддержка естественных пространственных сигналов для удаленной коммуникации.
Возможно, самое большое преимущество MR-конференций – это их фокус на совместном взгляде на рабочее пространство. Для многих задач реального мира, например, удаленного техобслуживания, гораздо важнее увидеть то, над чем работает человек, а не его лицо. Эту возможность можно применить во множестве областей, от удаленного ассистирования до медицинской поддержки в операционной или совместных игр.
Первые системы MR-коллаборации
Почти двадцать лет назад я помогал разрабатывать одну из первых MR-систем. Это было приложение для AR-конференций, которое помещало виртуальные аватары людей в реальную среду пользователей. Они могли переворачивать карточки с именами, и эти люди появлялись перед ними. Всё это происходило при помощи шлема виртуальной реальности. Главным преимуществом системы было то, что она переместила конференции с экрана компьютера в реальный мир. Мы обнаружили, что видеоаватар собеседника в реальной среде обеспечивал большую степень социального присутствия, чем его изображение на экране компьютера.
AR-конференция 1998 года
Я особенно запомнил одно исследование, в котором мы сравнивали AR-конференции с видеоконференциями на компьютере. Один человек, использующий систему видеоконференции, сильно приближался к монитору, предполагая, что так собеседник услышит его лучше. Но когда он использовал AR-систему, он сразу отодвинулся назад, давая собеседнику личное пространство, как и в реальном разговоре. Это подсознательное действие показало, насколько социальное присутствие повышается при использовании AR-приложения.
Примерно в то же время мы показали возможность использования пространственных сигналов при разработке WearCom. Она представляла собой носимую AR-систему, которая позволяла виртуальным людям появляться вокруг человека, который использовал небольшой компьютер и носил на голове экран. В этом случае мы применяли пространственную ориентацию аудио для того, чтобы голоса людей шли от их виртуальных аватаров. Мы обнаружили, что, как и в личном разговоре в большой толпе людей, люди легко могли разделить речь разных людей, даже когда они говорили практически одновременно.
Хотя это исследование было многообещающим, проблема заключалась в том, что видеоаватары людей были плоскими прямоугольниками. Если вы смотрели на них с другой стороны, они исчезали, что точно не происходит с трехмерными людьми. Эта проблема была решена пару лет спустя с помощью 3D Live System, где мы использовали несколько камер для записи людей. Это создавало иллюзию, что настоящий человек стоит в вашем реальном пространстве. Виртуальную копию человека можно было показывать в VR и в AR-среде. Это позволило пользователям использовать движения и жесты, как и в разговоре лицом к лицу.
3D Live, 2002 год
Термин “смешанная реальность” описывает пространство от технологий интерфейса реального мира до полностью виртуальной среды. Многие системы коллаборации существуют в конкретных точках этого пространства, например, общение лицом к лицу в реальном мире или конференции в виртуальном пространстве. MR-конференции предоставляют людям возможность перемещаться по MR-пространству. Например, проект MagicBook – это интерфейс, который поддерживал общение лицом к лицу, AR или VR-вид, а также смесь этих видов. Используя эту систему, люди могли читать книгу и смотреть на страницы через дисплей, при этом на экране появлялся AR-контент. Когда пользователь видел интересную AR-сцену, он мог переключиться на полноценный VR-опыт. В этой VR-сцене один из людей мог видеть собеседника из реального мира как гигантскую голову, парящую в небе. Так MagicBook поддерживал бесшовные переходы между реальным миром, AR и VR.
Эти прототипы показали, что технологию MR можно использовать для встраивания виртуальных собеседников в реальную среду пользователя. В отличие от VR-конференций, MR-интерфейс расширяет общение в реальном мире и позволяет пользователям получать помощь с любыми заданиями.
Текущее состояние MR-конференций
Развитие нового поколения AR и VR-дисплеев привело к созданию новых MR-систем. Microsoft представил MR-версию Skype при помощи своего шлема HoloLens. Пользователь может поместить окно Skype в любое место в пространстве и увидеть видео от собеседника. В то же время камера HoloLens может передавать видео удаленному пользователю, и они могут увидеть окружение собеседника и добавить в него AR-аннотации для помощи с выполнением задач. Удаленный пользователь при этом видит окружающую действительность глазами пользователя HoloLens.
Как и приложения для AR-конференций двадцатилетней давности, Skype для HoloLens помещает видео в виртуальный прямоугольник. Проект Microsoft Holoportation решает эту проблему, используя камеру глубины для записи и трансляции трехмерной виртуальной модели удаленного пользователя в реальный мир. В сочетании с HoloLens локальный пользователь может видеть копию удаленного пользователя в реальном мире.
В этой области существует также большое количество начинающих стартапов. Mimesys позиционируют себя как первую голографическую платформу для общения, которая может записывать образ людей и помещать их вместе в виртуальное пространство. Holoportal DoubleMe предоставляет облегченную версию Holoportation для общения. Обе компании фокусируются на сборе данных о людях, а Envisage AR захватывает окружение пользователя и делится им с удаленными собеседниками. В следующие несколько лет мы увидим намного больше активности в этой сфере.
Эти системы показывают, что опыт MR-конференций можно создать на существующих AR и VR-коммерческих платформах.
Что дальше?
Существует ряд разработок, который продолжит совершенствовать MR-конференции и позволит людям общаться эффективнее, чем раньше. В частности, сейчас существует три важных тренда:
- Естественное общение: С ростом скорости связи становится возможно расширить опыт коммуникации (не только аудиосигналы, но и жесты), что приведет к более естественному общению.
- Запись опыта: Развивается технология, которая позволит людям захватывать свое окружение и опыт, то есть происходит переход от фотографии к записи трехмерных сцен.
- Скрытое понимание: Компьютеры начнут больше понимать о пользователях и их окружении. Это позволит им понимать скрытое поведение, например, направление взгляда человека.
Все эти тренды объединяются в направление, которое стремится к созданию систем, позволяющих нам делиться тем, что мы видим, слышим и чувствуем. В отличие от традиционных инструментов общения, эмпатические системы созданы, чтобы позволить вам более глубоко понимать точку зрения собеседника, видеть его глазами, слышать то, что слышат он.
Примером такого типа взаимодействия являются наши Empathy Glasses. Это AR-дисплей, который может распознавать выражение лица и отслеживать направление взгляда. Удаленный собеседник видит не только окружающую обстановку, но и выражение лица и информацию о направлении взгляда человека в очках. Это одна из первых систем, которая делится информацией о направлении взгляда, и это только начало изучения эмпатической технологии удаленного общения.
Прощай, телефон…
Через двадцать лет использование мобильного телефона для общения с друзьями будет таким же устаревшим способом, как использование стационарного телефона сейчас. К тому времени технология смешанной реальности позволит людям видеть виртуальные копии своих друзей в реальном мире, а также видеть мир глазами друзей и помогать им в выполнении реальных задач.
Сегодняшние VR и AR-системы показывают лишь часть того, что возможно со смешанной реальностью. MR-системы могут делиться большим количеством коммуникационных сигналов и позволяют людям общаться так, как было невозможно до этого. При следующем звонке представьте, что вы можете видеть, слышать и чувствовать то, что видят, слышат и чувствуют ваши друзья.
