Реинжиниринг человеко-машинного интерфейса виртуального окружения с трекингом направления взгляда

Проект осуществляется в рамках гранта РФФИ 15-07-01848

Проект направлен на исследование степени погружения оператора в пространство виртуального окружения. Мотивация проекта инициирована большим интересом к измерению состояния полного погружения, в котором человек чувствует себя полностью отрезанным от реальности и погруженным в мир модели. Обычно степень погружения определяется с помощью опросников, что ограничивает объективность результатов. В данном проекте проводилась работа по повышению качества и реалистичности объектов сцены, учитывая точное положение и направление взгляда оператора, а с другой стороны использовались данные систем трекинга для анализа степени погружения в предполо- жении, что внимание оператора тем более фокусируется на объектах, с которыми он работает, чем выше его степень погружения.

 Первый этап (январь-декабрь 2015) включал расширение действующего комплекса виртуального окружения. Была проведена теоретическая и практическая  работа. Теоретическая часть включала разработку оптико-геометрической модели виртуального поста визуализации в соответствии с особенностями и характеристиками системы трекинга головы и направления взгляда испытателя, и архитектура системы, включающая ряд модулей (приема данных от систем трекинга, рендеринга динамической сцены, многозвенного бинокулярного интерфейса, трекинга положения испытателя, его головы и направления взгляда на виртуальную сцену). В ходе выполнения практического этапа были разработаны модули, реализующий уточненную оптико-геометрическую модель виртуального поста визуализации, создан экспериментальный стенд для моделирования системы трекинга, а также проведены комплексные испытания системы идентификации состояния звеньев поста визуализации на основе данных системы.

 Второй этап (январь-декабрь 2016) был посвящен анализу методов погружения, разработке экспериментов для проведения измерений и расширению экспериментального стенда. Теоретическая часть включала разработку подхода к анализу, базирующемуся на использовании как объективных (физиологические измерения, анализ поведения и производительности) так и субъективных (опросники) данных. Путем комбинации таких данных можно составить временной профиль погруженности на протяжении всей работы с приложением. Были проработаны методы анализа такого профиля, позволяющие выделить тенденции, циклы, а также определить связь изменений профиля с действиями и наблюдениями пользователя. В качестве источника данных для анализа поведения были рассмотрены системы слежения за направлением взгляда, положением лица, головы и тела пользователя в пространстве виртуального окружения, а также запись всех взаимодействий пользователя с приложением.

На третьем этапе (январь-декабрь 2017) были проведены измерения состояния погруженности на базе двух приложений: горнролыжного симулятора в котором дейтсвия осуществляются от первого лица, и тестового приложения, не являющегося приложением виртуального окржунения, в котором требовалось производить простые арифметические операции. Был сформулирован ряд вопросов: «Наблюдается ли повышение производительности в состоянии полного погружения?», «Как меняется концентрация внимания в разных приложениях и со временем?», «Как меняется чувство времени?», «Какие факторы способствуют возникновению состояния погружения?» и т.д. Анализ проводился с помощью опросников, кроме того были проанализированы действия пользователей в приложениях и данные от системы трекинга глаз. Результаты продемонстрировали, что субъективное чувство погружения скорее возникает в симуляторе, при этом дополнительное ограничение на время, отведенное на выполнение задания, способствует возникновению этого чувства. Количество фиксаций глаз в единицу времени при этом несколько уменьшается со временем, что свидетельствует о том, что внимание становится более сфокусированным, однако количество действий пользователя в среднем не изменяется. Возникновение состояния погружения положительно сказывается на времени выполнения задачи в приложении, однако выполнение любых других действий (параллельно или во время коротких пауз) затрудняется. Качество визаулизации не является определяющим для возникновения чувства погружения – однако, оно не должно быть ниже определенного уровня. Кроме того, на этом этапе был заложен фундамент для дальнейшей работы, которая может быть связана с интеграцией с биологическими датчиками, такими как пульсометр, датчики фотоплетизмограммы, электрокожного ответа, температуры кожи. Такие датчики могут быть интегрированы с перчатками виртуальной реальности, их данные могут помочь ответить на дальнейшие исследовательские вопросы: «Как чувство погруженности связано с чувством стресса?», «Можно ли модулировать чувство погруженности в реальном времени, адаптивно меняя сложность выполнения задач, информационный поток и дополнительные ограничения/цели?». Ответы на эти вопросы могли бы помочь создать приложения и игры будущего, чутко реагирующие на эмоциональное состояние пользователя, позволяющие держать высокую производительность в течение длительного времени и иметь глубокое чувство удовлетворенности от выполненных задач, при этом без появления каких-либо негативных последствий (тревожности, негативных эмоций и т.д.).


Comments