Исследование и разработка системы человеко-машинного взаимодействия для виртуального окружения на основе группы экранов и датчиков глубины

Данный проект направлен на развитие технологий виртуального окружения (ВО), методов и алгоритмов визуализации и человеко-машинного взаимодействия и их приложений для решения широкого
класса сложных задач фундаментальной науки, решаемых с помощью человеко-машинных комплексов. Ранее нашим коллективом при поддержке Российского Фонда фундаментальных исследований
был создан серийный образец системы ВО, который был успешно применён для выполнения ряда проектов в фундаментальной науке, промышленности и образовании. Кроме того по конкурсу РФФИ
научных проектов, выполняемых ведущими молодежными коллективами была разработана универсальная система оптического захвата движений.

Целью данного проекта является исследование технологий ВО и создание комплекса на их основе, реализующего человеко-машинный интерфейс с возможностью проведения экспериментальных измерений 
степени восприятия виртуального пространства и точности позиционирования и манипуляций.
Особое внимание уделяется системе визуализации сверхвысокого разрешения и естественному интерфейсу на основе захвата моторики рук.

Актуальность реинжиниринга технологий ВО обусловлена новыми вызовами современности. Постоянно растущая сложность физических явлений, изучаемых в научных и инженерных дисциплинах,
требует разработки новых подходов и мощной технoлогии для обработки и анализа больших массивов сложных данных. Постоянно растущая сложность создаваемых машин и механизмов, зданий и
сооружений, транспортных систем и технологических процессов, также требуют новых подходов при проектировании и создании прототипов. Постоянно растущая сложность управляемых человеком
 машин и механизмов, объектов и процессов требуют новых методов и средств для обучения персонала. Текущий момент характеризуется катастрофическим ростом информации, которое необходимо 
обрабатывать для поддержания прогресса в развитии современной цивилизации. Объём данных растет быстрее, чем производительность компьютеров, которая, следуя закону Мура, удваивается каждые
полтора года. Развитие систем визуализации по разрешающей способности в разы отстает от производительности процессоров. Для создания экрана высокой разрешающей способности используется
компоновка группы проекторов или мониторов. Характерным примером составного экрана ультравысокой разрешающей способности служит установка ВО в университете Stony Brooks, NY, USA ,
4 стены которой вмещают 416 LCD-мониторов. В разрешении 2560х1440 пикселей на каждом мониторе общая разрешающая способность установки превышает 1.5 Гигапикселей и является мировым
рекордсменом.

Из всего многообразия инструментов ВО в данном проекте мы акцентируем внимание на двух основных: (1) улучшение естественного интерфейса для манипулирования виртуальными объектами; (2)
повышения качества отображения виртуальных сцен за счет повышения разрешающей способности средств отображения и учета трекинга взгляда. Эти инструменты являются ключевыми для ВО,
судя по определению: технология ВО определяется как «интерактивная графика в реальном времени с трёхмерными моделями, когда комбинируется специализированная технология отображения,
погружающая пользователя в мир модели, с прямым манипулированием объектами в пространстве модели». Оригинальным подходом к реализации функций захвата движения является использовании
комбинации групп датчиков глубины, в том же мобильных – размещенных непосредственно на операторе. Для повышения разрешающей способности системы визуализации предлагается использовать
группу жидкокристаллических мониторов, объединенных в единый панорамный экран.
Предлагаемые нами методы исследования в России и на Тайване ранее не проводились. Этот проект ставит своей целью разработку совершенно новых методов визуализации в виртуальном окружении
на качественно новом уровне высокого разрешения и учета динамических сцен, использующих надежный математический фундамент, испытанные инженерные решения и новейшие инструменты такие, как камеры RGB-D.

система Виртуального Окружения CAVE-2

Рис. 1 система Виртуального Окружения CAVE-2


Работа над проектом подразумевает три этапа, каждый из которых планируется реализовать в течение одного года:
- 2017 год.
На первом этапе будет реализованы три системы оптического трекинга: общего положения и крупной моторики оператора, мелкой моторики со стационарной позиции, мелкой моторики с позиции оператора. Это подразумевает выбор инструментов для получения информации об исследуемом пространстве (RGB-камеры или устройства, строящие карты глубины), создание единой структуры данных для трекинга каждого типа, разработку и реализацию алгоритмов распознавания образов для получения структурированных данных, описывающих положение отслеживаемого объекта в~пространстве, из карты глубины или визуальных данных.
- 2018 год. 
На втором этапе будет проведено исследование границ применимости каждой из разработанных систем. Точность различных подходов к трекингу определяется, в основном, допустимым расстоянием, величиной и обзором объектов, которые требуется распознать. В силу своей специфики, ни одна из разработанных на первом этапе систем не будет применима для точного трекинга состояния оператора, включающее и общее положение в пространстве, и мелкую моторику. На~этом этапе важно сравнить все системы, сформулировать и выяснить условия, при которых две или три из них одновременно работают с достаточным для применения качеством. Также будут выработаны подходы к использованию данных двух или более систем трекинга для получения более точной информации.
- 2019 год.
На основе проведённого на втором этапе исследования будет разработан и реализован алгоритм комплексного учёта данных всех трёх систем трекинга. Разработанный алгоритм позволит получать точные данные и об общем положении оператора в пространстве, и о его жестах, связанных к с мелкой моторикой, так и с крупной. Таким образом будет реализована возможность получения полной информации о состоянии оператора. Также будет разработана комплексная система жестов, каждый из которых может быть связан с событием и использован для управления состоянием виртуальной сцены. По направлению (2) на завершающем этапе планируется запуск полномасшабной экспериментальный установки CAVE2 -- гибридного 2D \& 3D виртуального пространства для моделирования и визуального анализа с эффектом погружения.


Comments