2.1 軟件編程導(dǎo)論
       多點觸摸輸⼊編程和其他任何形式的編程⼀樣，不過在多點觸摸編程⾥，有⼀套⾃⼰的某些協(xié)議，⽅法和標準。通過NUI Group 與其他組織和社團的⼯作，多點觸摸編程已經(jīng)有了針對多種編程語⾔的開發(fā)框架， 這些語⾔包括ActionScript 3，Python，C，C++，C#以及Java。
       多點觸摸編程分為兩步：⾸先，從攝像頭或者其他輸⼊設(shè)備讀取和轉(zhuǎn)化輸⼊的觸點信息，傳遞這些原始的觸點信息通過之前制定的協(xié)議組合成⼿勢，然后⾼級編程語⾔就可以使⽤⼿勢來讓⼀個應(yīng)⽤程序配合。TUIO(Tangible UserInterface Protocol,可觸摸的⽤戶界⾯協(xié)議)已經(jīng)成為追蹤觸點信息的⾏業(yè)標準協(xié)
議。
       以下章節(jié)將討論多點觸摸軟件的兩個⽅⾯：觸點追蹤和應(yīng)⽤程序運⾏框架。
       2.2 觸點追蹤
       對象追蹤⼀直是計算機視覺基礎(chǔ)研究領(lǐng)域的⼀個⽅⾯。它的⼯作是跟蹤包括能夠準確的反復(fù)識別包含特定對象的⼀系列視頻幀（估算）。⼀般來說，這是⼀個⾮常困難的問題，因為⾸先要在所有的幀中發(fā)現(xiàn)對象(⽽且往往是在雜亂，封閉，或者是不斷變換的照明條件下)，以及讓數(shù)據(jù)能夠和幀之間以某種⽅式聯(lián)系起來以便識別我們所需要的對象。
       現(xiàn)在很多的問題已經(jīng)被解決，在追蹤這個問題上最普遍的模式就是“⽣成模式”(Generative Model)，這是⼀些諸如Kalman 粒⼦過濾器等流⾏解決⽅案的基礎(chǔ)。
       在⼤多數(shù)的系統(tǒng)中，⼀個完善的背景相減算法需要對每幀進⾏預(yù)處理，這確保靜態(tài)或者背景圖像能夠被忽略掉。對于⼀些光照不穩(wěn)定的視頻流，像“⾼斯混合模型”(Gaussian Mixture Model)這樣的⾃適應(yīng)模型已經(jīng)能夠⽐較智能的識別出不均勻的動態(tài)背景。
       把背景過濾掉之后，剩下就是我們需要的前景對象了。我們往往確定這些對象的質(zhì)⼼，⽽且這些點會被⼀幀⼀幀被追蹤。追蹤算法會根據(jù)這些萃取的質(zhì)⼼估算在下⼀幀觸點的位置。
       稍稍說⼀下這個追蹤，例如，⼀個基于Kalman 過濾器的簡單模式可能是⼀個線性恒定速度模型。⼀個Kalman 過濾器有兩個動⼒學(xué)⽅程，⼀個是STATE⽅程(“狀態(tài)⽅程”)，另⼀個是OBSERVATION ⽅程(“觀察⽅程”)，在這個例⼦中，

這套⽅程分別是 
       該狀態(tài)⽅程描述了在有噪聲的情況下狀態(tài)變量‘xk’的變化情況。如果我們說‘xk-1’表⽰物體在‘k-1’時刻的真實位置，那么這個模型就可以基于⼀定的速度、‘Vuk’和噪⾳因素，根據(jù)線性組合的⽅式，推測出‘k’時刻物體的位置。到⽬前為⽌，根據(jù)這個模型，我們還不能直接的通過觀察預(yù)測物體的位置Xk，我們需要觀察⽅程。觀察⽅程⽤來描述實際觀察變量‘yk’，在這⾥，‘yk’被定義為真正位置‘xk’的⼀個噪⾳觀察值。噪⾳的值也假定是均值為零的⾼斯⽩噪聲。運⽤這兩個⽅程，卡爾曼濾波器就能根據(jù)物體的上⼀個位置，通過遞歸的⽅式預(yù)測出物體的位置。
       每個狀態(tài)的預(yù)測，數(shù)據(jù)追蹤模塊都會去按照事先的預(yù)測和觀測數(shù)據(jù)去追蹤對象。如果沒有找到符合預(yù)想的對象，那么這個對象就會被視為⼀個新的對象⽽被追蹤。
       2.2.1 多點觸摸的追蹤
       追蹤是多點觸摸⾮常重要的技術(shù)。它允許多個⼿指同時進⾏控制。我們也可以識別出⼿勢，因為每個⼿指的軌跡都可以被記錄并輸出。沒有追蹤技術(shù)，這是不可能的。
       值得慶幸的是，今天的多點觸摸硬件⼤⼤地簡化了追蹤對象的流程，因此，即使是最簡單的Kalman 濾波器實際上也成為不必要的了。現(xiàn)在的追蹤系統(tǒng)性能瓶頸趨向于怎么產(chǎn)⽣并維持⼀個背景模型。⼤量的計算會使CPU 嚴重超負，除⾮出現(xiàn)更加智能的⽅案。然⽽現(xiàn)在的基于紅外線(IR)的硬件⽅案，⽐如FTIR 或DI，⾃適應(yīng)背景模型(adaptive background model)會被扼殺掉。由于⾮紅外光⼏乎都會被過濾掉，所以⼤部分的背景就被硬件給刪除了。為了這些紅外圖像，捕捉⼀個靜態(tài)的背景圖往往會刪除⼏乎所有的環(huán)境光。這個背景圖像會減去其后所有的幀，剩下的這些幀將作為閾值應(yīng)⽤給系統(tǒng)，然后我們就只剩下了那些突起的點，這些點也就是我們想要捕捉的⼿指或者表⾯對象，稱之為“觸點”。[譯者注：這個可能⽐較難理解，我給⼤家舉個例⼦吧，⽐如我們在PS 中的“閾值”命令，可以將灰度或彩⾊圖像轉(zhuǎn)換為⾼對⽐度的⿊⽩圖像。“閾值”命令可以確定圖像的最亮和最暗區(qū)域。想想我們的在CCV 或者tbeta 中看到的捕捉后的圖像，不就是⿊⽩對⽐⾮常明顯的圖像么？背景是純⿊，⼿指尖是純⽩。]
       此外，只要給出范圍，那么追蹤問題就⽐較簡單了。我們知道，從⼀幀到下⼀幀，以標準的30Hz 計算的話為33ms，⼀個⼈的⼿指在這段時間⾥移動的距離⾮常有限。根據(jù)這種預(yù)測，我們不⽤研究物體的動⼒學(xué)，只需要找兩幀之間最近的匹配物就是了。近鄰⽐較的⽅式是⽐較相應(yīng)的數(shù)據(jù)，⼀般是⽐較歐⼏⾥德⼏何距離。通過這種⽅式，⼀個數(shù)據(jù)點和⼀系列靠近它的‘k’點進⾏⽐較，得到該點的新位置。通過這種⽅式，我們可以⽐較可靠的追蹤某個具體的觸點。試誤法是經(jīng)常采⽤的⽅法，當情況不確定的時候，我們總是試探著處理這些情況，⽐如，當⼀個物體擋住另外⼀個物體的時候。
       在Touchlib 和CCV 框架中都有追蹤器的實例。使⽤OpenCV，⼀個開源的計算機視覺庫，可以直接處理圖像和視頻流，能夠⾮常準確地實時追蹤到觸點。當⼀個觸點被發(fā)現(xiàn)，消失或者移動的時候，這些觸點的相關(guān)信息(位置，ID，區(qū)域等)都會以事件的形式發(fā)送出去。開發(fā)者就可以利⽤這些信息去監(jiān)聽這些觸點開發(fā)出應(yīng)⽤程序。