北京時間05月12日消息，中國觸摸屏網訊，
近日，北京航空航天大學 王瓊華 教授團隊開發出一套 懸浮真 3D 顯示實時交互系統，展現出了該種 3D 顯示與交互系統的雛形。該系統能夠動態地顯示裸眼3D圖像，在 3D 片源分辨率為 4K 下實現 30 幀/秒的 實時、準確的手勢交互，并且支持通過預設的 多種手勢實現多手對多物體的獨立交互。
該成果以“ 基于 Leap Motion 手勢識別的懸浮真 3D 顯示實時交互系統”為題發表于《 液晶與顯示》（ESCI、Scopus收錄，中文核心期刊）2022 年第 5 期。
1. 懸浮真3D顯示實時交互系統構成
該系統主要分為顯示模塊和交互模塊，并通過計算機進行銜接和數據處理。
圖2：系統結構（圖源：液晶與顯示, 2022, 37(5): 658. Fig. 6）
顯示模塊基于集成成像 3D 顯示，這一技術可追溯到 1908 年 Lippmann G. 提出的集成攝影術。集成成像 3D 顯示利用光路可逆原理，使用透鏡陣列將光線在特定的空間點先匯聚再發散，如同光本就是從匯聚點發出的一樣，從而模擬真實物體表面發光或反射光的情況，因此被認為是一種裸眼真 3D 顯示。
在此基礎上研究人員應用了懸浮器件—— 二面角反射鏡陣列。從一個點光源出發出的光經過每個二面角反射鏡單元后，被反射 2 次匯聚成懸浮于空中的像。因此集成成像 3D 顯示的 3D 圖像將被投射出整個系統之外，帶來更強的視覺沖擊，也為更自由的交互提供便利。
圖3：懸浮真 3D 顯示原理（圖源：液晶與顯示, 2022, 37(5): 655. Fig. 2）
圖4：二面角反射鏡單元（圖源：液晶與顯示, 2022, 37(5):655. Fig. 3）
交互模塊通過體感控制器 Leap Motion 采集手勢數據。Leap Motion 是一款基于雙目計算機視覺的體感控制器，它通過頂部的透明窗口拍攝圖片，提取用戶手的關節特征，進而反映整個手的手勢和姿態。Leap Motion 采集到的數據將被送入計算機處理，把用戶手勢反映的信息轉化為控制 3D 片源變化的指令，實現 3D 片源隨著手勢動態變化，也就能結合顯示模塊實現 3D 圖像隨著手勢動態變化。
圖5：Leap Motion 以及參考坐標系（圖源：Leap Motion 官網）
2. 準確手勢交互的實現方法
由于 Leap Motion 的參考坐標系和 3D 圖像的參考坐標系原本不存在關聯，因此懸浮于用戶身體左側的物體可能與位于用戶身體右側的手產生交互，這就自然而然帶來違和感和交互的不便利性。
為解決此問題，研究人員通過標定以及矩陣變換的方法，將 Leap Motion 的坐標映射到 3D 圖像的參考坐標系；相當于在 3D 圖像所在的虛擬空間生成了一個虛擬手來控制 3D 圖像的變化，而這一虛擬手由于現實中用戶的手處在相同的空間位置，達到了虛擬和現實的統一。
3. 多手對多物體的獨立交互
目前國內外進行了一些懸浮真 3D 顯示手勢交互技術研究，但多數僅考慮單個 3D 物體的交互或 3D 場景的整體交互，未考慮復雜 3D 場景中多個 3D 物體的獨立交互。那么如何理解獨立交互呢？想象一下我們日常生活中用到的個人電腦，我們新建兩個窗口，只拖動位于上層的窗口，這一交互操作不會對位于下層的窗口產生影響，反之亦然，那么我們認為這兩個窗口對象都是可以獨立交互的。
圖6：2D 顯示鼠標交互
在 2D 顯示下的鼠標交互，由于兩窗口重疊的區域窗口會發生遮擋，我們能夠交互到的只有上層的窗口；而且鼠標只能單點交互，不能同時拖動兩個窗口，因此獨立交互較容易實現。而在 3D 顯示、手勢交互的系統中，1 和 2 兩個 3D 物體一旦發生重合，重合區域既屬于物體 1 又屬于物體 2。因此有時用戶只需要對 1 進行交互的時候不小心穿過了 2，就會導致 2 也被交互了，我們稱這種現象為 交互串擾。當系統由單手交互擴展到多手交互，每只手都需要進行不同的交互，因此在 3D 物體互不干擾的前提下，還需要能實現不同物體同時響應對應手的交互。
為此研究人員提出一種交互通道機制。每個 3D 物體都有一個通道用于連接一只虛擬手。成功連接的 3D 物體與手建立其交互關系，它的交互通道就被這只手的數據占用了，那么其他手將無法占據這一交互通道，其他的 3D 物體將不會再容許這只手占用交互通道，使得成功連接的 3D 物體與手成為獨立的交互組合，直到手主動放棄交互。
圖7：多物體交互的通道機制（圖源：液晶與顯示, 2022, 37(5): 657. Fig.5）
利用交互通道機制，可以有效減少多手對多物體之間的交互串擾，實現獨立交互；當然在特定的手勢下也可以讓 3D 場景全局或局部的幾個物體按照同一交互方式進行交互。交互通道機制使交互的設計與實現更加靈活，更加有助于激發用戶的創造性。
4. 懸浮真 3D 顯示實時交互系統的應用前景
懸浮真 3D 顯示與手勢交互結合，符合現實世界中人與真實物體交互的自然觀感，因此可以將現實世界和虛擬世界重疊甚至混淆，實現亦虛亦實的信息交流；其應用于 影音娛樂、會議辦公、文化展覽等場景，為元宇宙發展提供一種可能的方向。另一方面，該系統的交互操作可避免不必要的接觸，特別有利于減少疾病傳播風險，在新冠疫情背景下具有潛在的便利性和安全性優勢。
重播
論文信息
林星雨, 邢妍, 張漢樂, 王瓊華. 基于Leap Motion手勢識別的懸浮真3D顯示實時交互系統[J]. 液晶與顯示, 2022, 37(5):654-659.
觸摸屏與OLED網推出微信公共平臺，每日一條微信新聞，涵蓋觸摸屏材料、觸摸屏設備、觸控面板行業主要資訊，第一時間了解觸摸屏行業發展動態。關注辦法：微信公眾號“i51touch” 或微信中掃描下面二維碼關注，或這里查看詳細步驟
