Устройства виртуальной реальности (VR) и дополненной реальности (AR) переживают очередной пик интереса широкой публики, толчком к которому послужило объявление нового поколения устройств, таких как шлемов Oculus Rift, для запуска которых была организована кампания по сбору денег на KickStarter в 2012 году. Уже к 2018 году число пользователей VR-устройств пройдет отметку в 150 млн, прогнозируют эксперты британской консалтинговой фирмы KZero Worldswide. К 2021 году этот показатель превысит 257 млн, считают аналитики PwC. Создатели сервисов в сфере AR/VR осваивают все новые способы создавать эффект присутствия в виртуальной реальности (вроде перчаток, способных воспроизводить тактильные ощущения, или систем, меняющих температуру или воспроизводящих запахи).

Это позволяет технологиям AR/VR выйти за пределы рынка видеоигр: сервисы для погружения в виртуальную реальность позволят организовать более эффективное обучение, проводить более зрелищные трансляции мероприятий, а в будущем смогут создать среду для общения виртуальных аватаров. Какие технологии могут оцифровать реальный мир в виртуальный и насколько совершенны алгоритмы для построения трехмерных компьютерных моделей объектов? Об этом в рамках проекта «Банк знаний», созданного вместе с Корпоративным университетом Сбербанка и посвященного современным технологиям, рассказывает кандидат физико-математических наук и заведующий лабораторией компьютерной графики и мультимедиа факультета ВМК МГУ имени М. В. Ломоносова Антон Конушин.

— Как быстро развивались системы виртуальной реальности и как можно оценить их сегодняшний потенциал?

— Технологии виртуальной реальности, как и многие другие технологии, имели и имеют циклический характер развития: появляется устройство, оно вызывает огромный интерес, потом интерес спадает. Первые системы виртуальной реальности появились еще в конце 1960-х годов. Их разработал со своими студентами американский профессор Айвен Сазерленд, ранее, в 1963 году, создавший первый графический редактор для редактирования изображений на компьютере. Качество графики на тот момент было крайне примитивным: речь шла о каркасных моделях — отдельных точках объекта, связанных прямыми линиями. Изображение виртуальной комнаты синтезировалось отдельно для правого и левого глаза и с помощью специальных очков показывалось пользователю. В этой первой системе пользователь уже мог ходить по комнате, крутить головой и видеть, как он перемещается среди нарисованных предметов в нарисованной комнате. Эта технология похожа на 3D-кино со стереочками. Но в 3D-кино положение наблюдателя определяется заранее, и весь стереофильм снимается заранее, а в виртуальной реальности картинку приходится делать налету.

Первые пользовательские устройства виртуальной реальности были выпущены на широкий рынок в 1995 году. Это был шлем VFX-1 для персональных компьютеров и игровая система виртуальной реальности Virtual Boy от Nintendо. Но из-за низкого разрешения и общего низкого качества картинки популярности они не сыскали.

Рекомендуем по этой теме:
1642
Культурное наследие в 4D-моделях

За два последующих десятилетия вычислительные мощности, разрешение и качество дисплеев, стоимость и качество датчиков позиционирования, акселерометров и цифровых камер существенно выросли. Теперь самый простой смартфон мощнее компьютеров середины 1990-х, а в его дисплее пикселей на порядок больше, чем в дисплеях VFX или Virtual Boy.

— От чего зависит то, насколько естественным оказывается VR-сеанс?

— Сегодня, говоря о качестве VR-погружения, в первую очередь говорят о качестве 3D-изображения и комфорте пользователя. Они, в свою очередь, определяются качеством дисплея (VR с картонными очками для смартфонов и шлем Oculus Rift — «две большие разницы») и позиционного трекинга.

Во-первых, многое зависит от того, какое разрешение обеспечивают VR-очки или VR-шлем. Почти у всех сегодняшних дисплеев пиксели пока хорошо заметны. Не хватает плотности пикселей на матрице дисплея и мощности компьютеров по созданию 3D-изображений высокого разрешения на лету. Во-вторых, устройства по-разному ограничивают поле зрения. Большинство VR-шлемов все еще оставляют ощущение заглядывания в трубу или попытки посмотреть по сторонам, когда на голове огромный капюшон куртки-аляски. У человека же очень развито периферическое зрение, черные рамки вокруг изображения нас раздражают. Еще один важный аспект — синхронизация VR-изображения с поворотами головы. Здесь ключевым является показатель motion-to-photon latency (или end-to-end latency) — показатель задержки между поворотом головы и последним фотоном картинки, нарисованной для изменившегося положения головы. Сегодня удалось добиться задержки в менее чем 20 миллисекунд, и это уже обеспечивает сильный эффект присутствия. Следующий шаг — отслеживание движений зрачков, в соответствии с которыми тоже в идеале картинка должна меняться. Отслеживание положений глаз в массовые VR-устройства только приходит. Получается, что недостаточное разрешение, ограниченное поле зрения и отсутствие регистрации движений зрачков — все это приводит к тому, что сейчас, надевая шлем виртуальной реальности, мы чувствуем, что картинка недостаточно естественная. Мы не можем себя обмануть: нас не покидает ощущение, что перед нами искусственная картинка. Да, это все-таки не монитор, но естественности нет.

Фундаментальной проблемой остается невозможность свободного перемещения в виртуальной реальности. В фантастических фильмах мы видим применение VR-гаджетов так: человек надел шлем и идет по улице. Как все работает сейчас? Человек сидит на диване у себя дома, идет по улице только его игровой персонаж. Когда пользователь двигается в виртуальной реальности, а в реальной реальности остается неподвижным, вестибулярный аппарат не выдерживает — человека укачивает. Есть платформы для симуляции перемещений вроде Virtuix Omni, есть системы для Full Body VR, отслеживающие движения всего тела. Так или иначе, из-за проводов пространство для движения человека в реальности обычно сильно ограничено: он может встать с дивана, ходить по комнате, но так же, как виртуальный персонаж, он не сможет. Поэтому придумали «телепортацию» персонажа внутри виртуальной реальности: аватар перелетает с места на место, из точки в точку. И еще одно принципиальное ограничение связано с взаимодействием с виртуальной средой. Джойстики, сенсорные перчатки обещают стать первым поколением устройств для управления VR-средой. Но все же пока этого недостаточно.

— Как эффект погружения VR-систем связан с тем, насколько качественные 3D-модели можно создавать?

— К созданию 3D-контента для VR-систем сегодня есть два подхода. Первый интересует прежде всего ученых, которые стремятся автоматизировать создание VR-картинок и изучают то, как алгоритмы компьютерного зрения могут помочь перенести реальные объекты в виртуальную среду. Второй подход работает в реальной жизни. Он сводится к тому, что компания нанимает армию художников, которые готовят модели для 3D-контента вручную — по фотографиям реальных объектов или эскизам вымышленных. На практике это пока куда дешевле и проще.

— В чем принципиальные ограничения для подготовки VR-контента с использованием компьютерного зрения?

— Построение трехмерных компьютерных моделей реальных объектов для VR-систем и предполагает, что предмет снимают с разных сторон камерами (или сканируют лазерными лучами), затем обрабатывают результаты и получают полигональную модель. Пока качество таких моделей слишком варьируется от предмета к предмету и зачастую оставляет желать лучшего. Одним из первых подходов к 3D-реконструкции стало создание облака точек предмета из множества его фотографий.

В процессе реконструкции (то есть превращения облака точек в 3D-модель) возникают две главные проблемы. Во-первых, всегда есть ошибки в измерениях координат точек. Глаз человека легко идентифицирует эти ошибки, потому что мы хорошо представляем себе, как, вообще говоря, выглядят окружающие нас объекты. Например, мы понимаем, что большинство из них с ровными контурами, с прямыми линиями. Для машинного зрения же это совершенно неочевидно. Поэтому если мы, например, будем сканировать комнату с домашней обстановкой, то компьютер будет часто ошибаться при построении карты глубины. Человек сразу заметит: стена кривая, диван с неестественной выемкой. А для компьютера то, что он промахнулся, будет совершенно неочевидно.

Во-вторых, алгоритмы 3D-реконструкции пока развиваются отдельно от систем интеллектуального анализа изображений. Компьютер не будет видеть отдельных предметов в интерьере, он будет видеть точки граней полигональной сетки (обычно это вершины треугольников). Поэтому системы зрения, возможно, будут видеть доску, стену и диван как одну сплошную поверхность, все предметы будут как бы встроены в стену. Это человек, осматриваясь вокруг, одновременно анализирует информацию и отдает себе отчет (пусть он осмысляет это неосознанно), что стена продолжается и за диваном, и за доской. Системы зрения, задействующие одновременно и традиционные алгоритмы реконструкции, и алгоритмы для распознавания изображений, пока только развиваются. Но определенно за такими новыми методами, опирающимися на машинное обучение, будущее. Проблема в том, что все они пока опираются на ограниченные наборы данных, использующиеся в основном в академической среде. Прежде чем эти алгоритмы можно будет применять в реальной жизни для самых разных задач, пройдет еще довольно много времени. К тому же у разных исследовательских групп разные наборы данных. Остается проблема агрегации всех их и, соответственно, всех предметов изображений, собранных для тренировок, в единую базу.

— В последние годы говорят о прорыве в точности распознавания изображений благодаря нейросетям. С распознаванием предметов в реальной обстановке сложнее?

 — Распознавать именно облака точек с помощью нейросетей — это более трудная задача, чем распознавать, скажем, кошек на картинках в интернете. Исходные данные для классификации объектов изображений для нейросетей — двухмерные матрицы. В случае 3D-реконструкции исходные данные — это набор точек, которые изначально друг с другом никак не связаны и находятся друг от друга на произвольном расстоянии. Как обработать и упаковать эти разрозненные данные, чтобы эффективно показать их нейросети? Это открытый вопрос, к которому исследователи только подступаются.

 — То есть пока перейти от описания объекта как множества точек к описанию его как объекта не получается?

 — Это сегодня один из главных вызовов. При этом желательно, чтобы объект описывался через параметры, на которые опирается и зрительное восприятие человека. Например, когда мы описываем диван, мы говорим: «длина», «ширина», «высота», «глубина сидения», «наклон спинки» и так далее. Все, что есть у компьютера, — множество точек. То есть в конечном счете нужно, чтобы алгоритмы помогли составить модель с интуитивно понятными параметрами.

Связанная с этим задача — использовать информацию об объекте как о едином целом, а не как о множестве точек для сопоставления с другими объектами того же класса. Это, во-первых, поможет исправить ошибки в реконструкции. Во-вторых, мы получим качественные описания объектов. Комната перестает быть набором абстрактных геометрических фигур, она станет набором предметов, которые может описать, например, дизайнер интерьеров. В-третьих, мы сможем получить дополнительные знания об устройстве предмета. И это открывает возможность манипулировать объектами, получившими виртуальный облик. Поясню на примере. Такими исследованиями занимается, скажем, Алексей Эфрос, ученый российского происхождения в США. Разработанные его группой алгоритмы позволяют выделить на картинке, например, стул, найти максимально похожий на него в библиотеке изображений и подогнать найденную модель под нужный вам предмет. Так как у вас есть стул из коллекции стульев и реальный стул на фотографии, то можно дорисовать заднюю часть спинки реального стула, которую не было видно на фотографии. И тут у вас появляется возможность повернуть стул на 3D-реконструкции комнаты на 180 градусов. Можно редактировать виртуальную реальность, и это уже следующий уровень задач.

Когда мы научимся разделять сцену на отдельные объекты и работать с ними, мы сможем очень эффективно бороться со многими ошибками при построении моделей. Алгоритмы могут помочь отделять свойства, присущие объектам изначально, от свойств, приобретенных ими из-за попадания в ту или иную обстановку (скажем, из-за освещения в комнате). Пока же на практике получается так, что если мы хотим сделать настолько качественную модель, чтобы человеку на нее было приятно смотреть, то вместо того, чтобы применять все мудреные алгоритмы, проще нанять нескольких дизайнеров, и они построят модель — были бы у заказчика время и деньги. У художников тоже модель получится не полностью повторяющая реальный объект, но в целом очень похожая.

Рекомендуем по этой теме:
9248
Главы | Кому нужна математика?

 — Что принципиально ограничивает сегодня быстрое развитие алгоритмов 3D-реконструкции?

 — Нужна интеграция баз данных изображений и моделей, а затем следует выстроить процесс их накопления. Если у нас есть, скажем, большая коллекция 3D-моделей стульев и диванов, этого все равно недостаточно, чтобы мы могли сделать 3D-модель любого помещения. Нам нужно для каждого предмета выбрать соответствующую 3D-модель из библиотеки, а затем убедиться, что имеющихся данных достаточно, чтобы обработать новый объект. Представим, что дизайнер придумал новый вариант стула, он есть в единственном экземпляре и его нужно представить в виде 3D-модели. Как поведут себя алгоритмы, которые сопоставляют имеющиеся модели стульев с уникальной моделью нового стула? Непонятно. Можно ли сделать 3D-реконструкцию полностью автоматически или потребуется доработка со стороны художника, вручную? Возможно, во многих случаях мы уже сейчас могли бы обойтись без дизайнера (все равно все этапы моделирования и проектирования новых объектов уже идут в цифровой среде), если бы была возможность экспортировать модель нового предмета в единую, мировую базу данных. Но такой возможности пока нет. И это чисто организационные и технические проблемы, а не научные.

 — А каковы сдерживающие факторы именно с точки зрения технологий?

 — Здесь принципиальных тупиков куда меньше, чем именно экосистемных. Технологии компьютерного зрения развиваются очень давно. Сейчас мы видим, что они становятся дешевыми и массовыми, а качество распознавания и реконструкции растет. Хороший пример — сенсоры для захвата жестов: они рассчитывают время пролета света от камеры и обратно, когда свет отразится от предмета. Долгое время не удавалось сделать эти камеры дешевыми, но с высоким уровнем разрешения. Microsoft скупила всех производителей ToF-камер, когда они снимали изображения разрешением 320×240 пикселей с частотой в 10–15 кадров в секунду, что оказалось недостаточно для распознавания жестов в видеоиграх. Поэтому для создания камеры Kinect Microsoft пришлось лицензировать технологию у компании PrimeSense, работающую на основе структурной ИК-подсветки, которая обеспечила разрешение 640×480 пикселей с частотой 60 кадров в секунду.

Microsoft потребовалось еще несколько лет, чтобы представить вторую версию Kinect, основанную на доработанных технологиях ToF-камер, которые смогли превзойти уровень первой версии Kinect. Подобную эволюцию прошли самые разные типы камер и сенсоров. И сегодня в устройствах для 3D-съемки, для захвата жестов используются одновременно технологии разного типа — в зависимости от того, какие задачи нужно решить. Технологии лазерного сканирования позволяют сделать очень точные 3D-модели. Технологии пассивной съемки и фотограмметрии (когда несколько фотокамер снимают пассивный объект одновременно с разных ракурсов) позволяют создавать достаточно детальные 3D-модели, причем куда дешевле, чем с помощью лазеров. В качестве поддерживающих данных используются данные, например, с самых разных сенсоров. Все ждут, что и дальше разрешение камер будет расти, а их размер — уменьшаться. Прогнозы есть и о том, что сенсоры будут становиться, с одной стороны, миниатюрнее, с другой — чувствительнее. Эти тренды сильно связаны с проникновением 3D-съемки с мобильных устройств. Планшеты и смартфоны с технологией 3D-сканирования уже выходят на рынок (один из самых известных проектов — Google Tango). Правда, тут есть другая проблема: процессинг слишком сложный и требует слишком много энергии. Когда мы нагружаем процессор смартфона обработкой 3D-моделей, то он за час разряжается до нуля.

— Инвестиции IT-корпораций помогли технологиям для 3D-сканирования сделать рывок?

— Вложения крупных игроков помогли эволюции и камер, и алгоритмов, но рубеж не был взят. Около десяти лет назад темы, связанные с трехмерной реконструкцией по изображениям, были очень популярными. Хотя алгоритмы позволяли строить только достаточно грубые трехмерные модели по фотографиям, разработчики были полны энтузиазма, появлялись краудсорсинговые проекты. Например, пользователи могли скачать сотни тысяч фотографий Колизея (их навалом от туристов, они выложены в интернете), запустить специальную программу и собрать модель Колизея. Google запустила Google Earth, Microsoft — Microsoft Earth, они были призваны сделать 3D-модели мест для виртуальных путешествий по всему миру. Подобные сервисы были действительно модными.

Но тут возникли две проблемы. Во-первых, оказалось, что от 3D-моделей туристических достопримечательностей, отрисованных художниками, захватывает дух, а от собранных автоматически — нет. Мы ведь привыкли к потрясающей графике в компьютерных играх и ждали графики сопоставимого уровня. До сих пор по-настоящему впечатляющие 3D-модели популярных мест можно сделать, только докрутив модель, составленную софтом, проделав работу вручную. А этот последний шаг в краудсорсинговых проектах никто брать на себя не хочет. Сегодня такие проекты — большие базы 3D-моделей, но недостаточно красивых для использования в сервисах. Во-вторых, крупные компании так и не придумали моделей монетизации для таких проектов. В карты пытались добавлять рекламу мест или мероприятий, но это не слишком сработало. И постепенно проекты по созданию трехмерных моделей городов на основе технологий 3D-реконструкции заглохли.

Исключением оказались, пожалуй, китайские компании. Но для этой страны, как ни для какой другой, оказалось оправданным заменить софт человеческим трудом. Вместо того чтобы использовать алгоритмы компьютерного зрения и дорабатывать модели силами дизайнеров, китайцам уж точно оказалось легче посадить тысячу человек и поручить им с нелицензионной копией ПО для 3D-моделирования по имеющимся фотографиям делать трехмерные модели. Поэтому все, что связано с алгоритмами компьютерного зрения, в крупных компаниях стало постепенно уходить на второй план. Скажем, Google когда-то купила разработчиков SketchUp — простого графического 3D-редактора, с которым можно смоделировать, например, интерьер квартиры. SketchUp использовался в Google Earth: задумка была в том, что пользователи будут сами создавать модели и добавлять их на 3D- карты. Как мы видим, сколько бы мы ни говорили о Web 2.0 и user-generated content, проекты вроде Google Earth не пошли, и Google в конечном счете продала SketchUp. Это отличный пример того, что автоматические методы 3D-реконструкции не достигли того качества, которое бы помогло нам смоделировать в виртуальных моделях все то, что нас окружает. Совершенствование алгоритмов и доработка моделей — это достаточно муторный процесс, которым корпорации стали заниматься постольку поскольку. Возможно, в какой-то момент алгоритмы достигнут того уровня качества, который позволит крупным компаниям увидеть в них источник будущей огромной прибыли, возможность расширения аудитории, и мы увидим новую волну интереса к ним. Но пока такого не происходит.

— То есть создание контента для VR/AR-систем сейчас практически не автоматизировано?

— Все, что генерируется автоматически, нужно слишком долго править, чтобы получить уровень качества графики, который устроит пользователя. Поэтому все сводится только к шаблонам моделей. Например, каждый, кто играл в компьютерные игры, представляет, что есть универсальный аватар, который меняет способности твоего солдата, когда пользователь двигает ползунок, задает параметры. Создатели VR-контента пока делают то же самое. Чем сложнее модель предмета, чем больше деталей, тем больше приходится уходить от универсальной модели, тем больше нужно рисовать вручную. Запрос на автоматизацию процедур отрисовки контента есть, но пока из-за дефицита данных в условиях огромного разнообразия предметов и нужных для них моделей понять, как к нему подступиться, тяжело. Поэтому VR-контент — это все еще долго и дорого.

— Как меняется качество VR-контента при его воспроизведении в шлеме или очках? Качество идеально прорисованной модели может ухудшаться?

— Если взять качественную трехмерную модель для десктопного шутера, для мощного современного компьютера, сопоставить ее с качественной трехмерной моделью для VR-игры и показать ее в шлеме виртуальной реальности, то мы действительно увидим, что VR-картинка проигрывает в качестве. Для десктопной версии всегда точка обзора с идеально подобранного ракурса, с идеальным освещением. В VR-игре всегда есть углы, заглянув за которые обнаруживаешь какие-то неидеальности. Дальше — вопрос качества позиционирования человека в VR-устройстве и в быстродействии системы в воспроизведении новой картинки, для нового положения головы человека и новой точки фокуса его глаз. Еще дальше — вопрос отклика всей VR-системы на действия пользователя: как он ходит, как он двигает всеми частями тела. Здесь все еще не решена проблема: человек нажимает кнопку на пульте, а персонаж идет вперед. Это портит все ощущение погружения.

— Для производства 3D-контента и качественного показа сложнее создавать виртуальную реальность или дополненную?

— С точки зрения работы систем дополненная реальность проще. Человек взаимодействует в основном с реальной реальностью. Все, что нужно уметь системе, — определять с достаточной точностью положение человека в пространстве относительно реальных предметов. Для виртуальной реальности позиционирование человека сложнее: он находится полностью в произвольном (виртуальном) пространстве. С точки зрения начинки устройства, наоборот, дополненная реальность сложнее, чем виртуальная. Очки дополненной реальности (например, Microsoft HoloLens), если они должны тянуть генерирование большого числа виртуальных элементов, сталкиваются с проблемами мощности, энергопотребления, они пока достаточно массивные. Дополненная реальность на мобильных устройствах (внезапный спрос на которую показала популярность PockemonGo) все же, скорее, уступит место специализированным AR-гаджетам.

— Большинство применений AR/VR-технологий используют вау-эффект, что во многом связывают с их проникновением в первую очередь в сферу видеоигр и развлечений. Каковы перспективы использования технологий AR/VR, помимо этих индустрий?

— Действительно, сегодня появляется все больше сценариев использования VR/AR-девайсов для конкретных, полезных практических применений, призванных помочь повысить продуктивность профессионалов в разных областях. Например, очки Google Glass пришли на производства. Сборщик нового уникального оборудования — двигателя для тракторов — сталкивается с тем, что новый образец под запрос конкретного клиента — это уникальный новый набор деталей, новый порядок сборки. Раньше процесс происходил так: оператор бегал между ноутбуком, где показана схема двигателя (номер детали, ее описание), и стапелем, где стоит будущий трактор. AR-очки позволяют работникам не отходить от линий производства. Google Glass может сканировать детали, с которыми мастер работает в данный момент, выводить информацию о нужных деталях и при необходимости показывать весь чертеж — с фотографиями, инструкциями и так далее.

Другой пример — врачебный осмотр. Обычно врач вначале осматривает пациента, потом садится за компьютер, чтобы записать наблюдения. С AR-очками врачи могут просто наговаривать заметки о наблюдениях, а заполнить нужные поля в официальных формах карточек может и помощник. Это очень экономит время докторов. Для США, где зарплаты врачей очень высоки, такие решения особенно актуальны. В принципе проникновение новых технологий и предполагает, что мы скучную и монотонную работу передаем специалистам с более низкой квалификацией, а в перспективе доверяем полностью программам и роботам.

Рекомендуем по этой теме:
29770
Что смотреть: «Матрица» Вачовски

Перспективными применениями в индустриях оказывается все, что связано с роботами телеприсутствия. В VR-очках можно наблюдать за картинкой, которую передает робот, отправившийся в те или иные места, недоступные для человека (например, в атомный реактор), или следить за изображениями с дрона.

В целом у меня есть ощущение, что многие идеи использования VR/AR пока напоминают технологии ради технологий, а не попытки добиться снижения издержек или ощутимой пользы от наглядной визуализации. В фантастических фильмах мы видим: человек сидит в отпуске на берегу моря, он надевает VR-очки и оказывается на рабочем месте. Насколько это действительно повышает продуктивность фрилансеров? Насколько действительно удобно сидеть в VR/AR-очках на пляже? Это большой вопрос.

Большие надежды в отношении VR были в контексте проектирования, когда инженер может рассматривать 3D-модель в виртуальной реальности и манипулировать ею. Но для меня это еще один пример неочевидных преимуществ в переходе к VR от сегодняшних инструментов визуализации. Обсуждение разных перспектив применения VR напоминает то, как несколько лет назад все пророчили: начитка текста заменит клавиатуру. Сегодня ясно, что, если это произойдет, большие офисные пространства или общественный транспорт превратятся в места, где все бубнят. Поэтому сервисы распознавания голоса заняли свое место, но и набор с клавиатуры никуда не делся. Думаю, то же самое произойдет с инструментами визуализации: где-то останутся 3D-экраны, где-то действительно их заменят AR/VR-системы. Сейчас нам предстоит идентифицировать те сферы применений, где AR/VR-технологии дают большие преимущества (устраняют невозможность физического присутствия в том или ином месте, где можно побывать виртуально, дают снижение издержек, обеспечивают высокий уровень вовлечения пользователя и так далее), а где инвестиции в них не будут оправданы.

— VR-технологии находят применение в симуляторах, с которых начались первые эксперименты в этой области в середине XX века?

— Тренировочные VR-симуляторы действительно появляются, но для серьезных тренировочных полигонов нужна качественная обработка движений человека, а с точным позиционированием, как мы обсуждали, пока проблемы. Поэтому ищут промежуточные варианты. Например, делают модель кабины самолета, чтобы пилот мог вручную нажимать кнопки, дергать за ручки и так далее, но сидит он в VR-шлеме, который показывает ему симуляцию полета. То, что нет качественного тактильного взаимодействия с VR-миром, сдерживает многие возможные применения симуляторов. Например, симуляторы для хирургических операций появляются, но все еще не могут заменить старые добрые методы подготовки студентов-медиков. Эксперименты с тактильными или осязательными ощущениями в VR есть. Например, несколько команд разрабатывают перчатки с вибродатчиками, но какие именно технологии позволят пользователям VR/AR-систем ощущать вес и сопротивление объектов — вопрос открытый. Возможно, получится совместить экзоскелеты и движущиеся платформы для эффекта максимального погружения. Но это будут очень дорогие системы. Пока их первые образцы создаются в закрытых американских лабораториях, где работают небольшие группы ученых.