北京時(shí)間05月12日消息，中國觸摸屏網(wǎng)訊，
近日，北京航空航天大學(xué) 王瓊?cè)A 教授團(tuán)隊(duì)開發(fā)出一套 懸浮真 3D 顯示實(shí)時(shí)交互系統(tǒng)，展現(xiàn)出了該種 3D 顯示與交互系統(tǒng)的雛形。該系統(tǒng)能夠動(dòng)態(tài)地顯示裸眼3D圖像，在 3D 片源分辨率為 4K 下實(shí)現(xiàn) 30 幀/秒的 實(shí)時(shí)、準(zhǔn)確的手勢(shì)交互，并且支持通過預(yù)設(shè)的 多種手勢(shì)實(shí)現(xiàn)多手對(duì)多物體的獨(dú)立交互。
該成果以“ 基于 Leap Motion 手勢(shì)識(shí)別的懸浮真 3D 顯示實(shí)時(shí)交互系統(tǒng)”為題發(fā)表于《 液晶與顯示》（ESCI、Scopus收錄，中文核心期刊）2022 年第 5 期。
1. 懸浮真3D顯示實(shí)時(shí)交互系統(tǒng)構(gòu)成
該系統(tǒng)主要分為顯示模塊和交互模塊，并通過計(jì)算機(jī)進(jìn)行銜接和數(shù)據(jù)處理。
圖2：系統(tǒng)結(jié)構(gòu)（圖源：液晶與顯示, 2022, 37(5): 658. Fig. 6）
顯示模塊基于集成成像 3D 顯示，這一技術(shù)可追溯到 1908 年 Lippmann G. 提出的集成攝影術(shù)。集成成像 3D 顯示利用光路可逆原理，使用透鏡陣列將光線在特定的空間點(diǎn)先匯聚再發(fā)散，如同光本就是從匯聚點(diǎn)發(fā)出的一樣，從而模擬真實(shí)物體表面發(fā)光或反射光的情況，因此被認(rèn)為是一種裸眼真 3D 顯示。
在此基礎(chǔ)上研究人員應(yīng)用了懸浮器件—— 二面角反射鏡陣列。從一個(gè)點(diǎn)光源出發(fā)出的光經(jīng)過每個(gè)二面角反射鏡單元后，被反射 2 次匯聚成懸浮于空中的像。因此集成成像 3D 顯示的 3D 圖像將被投射出整個(gè)系統(tǒng)之外，帶來更強(qiáng)的視覺沖擊，也為更自由的交互提供便利。
圖3：懸浮真 3D 顯示原理（圖源：液晶與顯示, 2022, 37(5): 655. Fig. 2）
圖4：二面角反射鏡單元（圖源：液晶與顯示, 2022, 37(5):655. Fig. 3）
交互模塊通過體感控制器 Leap Motion 采集手勢(shì)數(shù)據(jù)。Leap Motion 是一款基于雙目計(jì)算機(jī)視覺的體感控制器，它通過頂部的透明窗口拍攝圖片，提取用戶手的關(guān)節(jié)特征，進(jìn)而反映整個(gè)手的手勢(shì)和姿態(tài)。Leap Motion 采集到的數(shù)據(jù)將被送入計(jì)算機(jī)處理，把用戶手勢(shì)反映的信息轉(zhuǎn)化為控制 3D 片源變化的指令，實(shí)現(xiàn) 3D 片源隨著手勢(shì)動(dòng)態(tài)變化，也就能結(jié)合顯示模塊實(shí)現(xiàn) 3D 圖像隨著手勢(shì)動(dòng)態(tài)變化。
圖5：Leap Motion 以及參考坐標(biāo)系（圖源：Leap Motion 官網(wǎng)）
2. 準(zhǔn)確手勢(shì)交互的實(shí)現(xiàn)方法
由于 Leap Motion 的參考坐標(biāo)系和 3D 圖像的參考坐標(biāo)系原本不存在關(guān)聯(lián)，因此懸浮于用戶身體左側(cè)的物體可能與位于用戶身體右側(cè)的手產(chǎn)生交互，這就自然而然帶來違和感和交互的不便利性。
為解決此問題，研究人員通過標(biāo)定以及矩陣變換的方法，將 Leap Motion 的坐標(biāo)映射到 3D 圖像的參考坐標(biāo)系；相當(dāng)于在 3D 圖像所在的虛擬空間生成了一個(gè)虛擬手來控制 3D 圖像的變化，而這一虛擬手由于現(xiàn)實(shí)中用戶的手處在相同的空間位置，達(dá)到了虛擬和現(xiàn)實(shí)的統(tǒng)一。
3. 多手對(duì)多物體的獨(dú)立交互
目前國內(nèi)外進(jìn)行了一些懸浮真 3D 顯示手勢(shì)交互技術(shù)研究，但多數(shù)僅考慮單個(gè) 3D 物體的交互或 3D 場(chǎng)景的整體交互，未考慮復(fù)雜 3D 場(chǎng)景中多個(gè) 3D 物體的獨(dú)立交互。那么如何理解獨(dú)立交互呢？想象一下我們?nèi)粘Ｉ钪杏玫降膫�(gè)人電腦，我們新建兩個(gè)窗口，只拖動(dòng)位于上層的窗口，這一交互操作不會(huì)對(duì)位于下層的窗口產(chǎn)生影響，反之亦然，那么我們認(rèn)為這兩個(gè)窗口對(duì)象都是可以獨(dú)立交互的。
圖6：2D 顯示鼠標(biāo)交互
在 2D 顯示下的鼠標(biāo)交互，由于兩窗口重疊的區(qū)域窗口會(huì)發(fā)生遮擋，我們能夠交互到的只有上層的窗口；而且鼠標(biāo)只能單點(diǎn)交互，不能同時(shí)拖動(dòng)兩個(gè)窗口，因此獨(dú)立交互較容易實(shí)現(xiàn)。而在 3D 顯示、手勢(shì)交互的系統(tǒng)中，1 和 2 兩個(gè) 3D 物體一旦發(fā)生重合，重合區(qū)域既屬于物體 1 又屬于物體 2。因此有時(shí)用戶只需要對(duì) 1 進(jìn)行交互的時(shí)候不小心穿過了 2，就會(huì)導(dǎo)致 2 也被交互了，我們稱這種現(xiàn)象為 交互串?dāng)_。當(dāng)系統(tǒng)由單手交互擴(kuò)展到多手交互，每只手都需要進(jìn)行不同的交互，因此在 3D 物體互不干擾的前提下，還需要能實(shí)現(xiàn)不同物體同時(shí)響應(yīng)對(duì)應(yīng)手的交互。
為此研究人員提出一種交互通道機(jī)制。每個(gè) 3D 物體都有一個(gè)通道用于連接一只虛擬手。成功連接的 3D 物體與手建立其交互關(guān)系，它的交互通道就被這只手的數(shù)據(jù)占用了，那么其他手將無法占據(jù)這一交互通道，其他的 3D 物體將不會(huì)再容許這只手占用交互通道，使得成功連接的 3D 物體與手成為獨(dú)立的交互組合，直到手主動(dòng)放棄交互。
圖7：多物體交互的通道機(jī)制（圖源：液晶與顯示, 2022, 37(5): 657. Fig.5）
利用交互通道機(jī)制，可以有效減少多手對(duì)多物體之間的交互串?dāng)_，實(shí)現(xiàn)獨(dú)立交互；當(dāng)然在特定的手勢(shì)下也可以讓 3D 場(chǎng)景全局或局部的幾個(gè)物體按照同一交互方式進(jìn)行交互。交互通道機(jī)制使交互的設(shè)計(jì)與實(shí)現(xiàn)更加靈活，更加有助于激發(fā)用戶的創(chuàng)造性。
4. 懸浮真 3D 顯示實(shí)時(shí)交互系統(tǒng)的應(yīng)用前景
懸浮真 3D 顯示與手勢(shì)交互結(jié)合，符合現(xiàn)實(shí)世界中人與真實(shí)物體交互的自然觀感，因此可以將現(xiàn)實(shí)世界和虛擬世界重疊甚至混淆，實(shí)現(xiàn)亦虛亦實(shí)的信息交流；其應(yīng)用于 影音娛樂、會(huì)議辦公、文化展覽等場(chǎng)景，為元宇宙發(fā)展提供一種可能的方向。另一方面，該系統(tǒng)的交互操作可避免不必要的接觸，特別有利于減少疾病傳播風(fēng)險(xiǎn)，在新冠疫情背景下具有潛在的便利性和安全性優(yōu)勢(shì)。
重播
論文信息
林星雨, 邢妍, 張漢樂, 王瓊?cè)A. 基于Leap Motion手勢(shì)識(shí)別的懸浮真3D顯示實(shí)時(shí)交互系統(tǒng)[J]. 液晶與顯示, 2022, 37(5):654-659.
觸摸屏與OLED網(wǎng)推出微信公共平臺(tái)，每日一條微信新聞，涵蓋觸摸屏材料、觸摸屏設(shè)備、觸控面板行業(yè)主要資訊，第一時(shí)間了解觸摸屏行業(yè)發(fā)展動(dòng)態(tài)。關(guān)注辦法：微信公眾號(hào)“i51touch” 或微信中掃描下面二維碼關(guān)注，或這里查看詳細(xì)步驟
