早在今年3月，蘋(píng)果公司就發(fā)布了一份名為“蘋(píng)果公司隊(duì)伍一項(xiàng)關(guān)于未來(lái)虛擬現(xiàn)實(shí)鍵盤(pán)的專利”的報(bào)告。這項(xiàng)專利主要的意思就是，在未來(lái)，用戶們不需要實(shí)體鍵盤(pán)，只需要戴上頭顯，然后在任何桌面上都可以投射出虛擬鍵盤(pán)，就比如說(shuō)航空公司的下拉托盤(pán)都作為虛擬鍵盤(pán)。與傳統(tǒng)筆記本鍵盤(pán)不同，這款新型的虛擬鍵盤(pán)將為用戶提供在公共空間工作的私人空間。

　　為了開(kāi)發(fā)一款精確度比較高的虛擬鍵盤(pán)，蘋(píng)果公司一直在研究開(kāi)發(fā)先進(jìn)的計(jì)算機(jī)視覺(jué)技術(shù)。在這項(xiàng)專利申請(qǐng)中，蘋(píng)果電腦視覺(jué)和機(jī)器學(xué)習(xí)主管Daniel Kurtz解釋了如何利用基于深度的觸摸檢測(cè)系統(tǒng)，研發(fā)下一代虛擬鍵盤(pán)和鼠標(biāo)技術(shù)。Daniel Kurtz于2015年因?yàn)樘O(píng)果收購(gòu)Metaio來(lái)到蘋(píng)果，他表示這種形式的觸摸檢測(cè)也可能適用于未來(lái)的VR游戲。

　　收購(gòu)Metaio兩年后，蘋(píng)果在2017年全球開(kāi)發(fā)者大會(huì)上推出了AR技術(shù)。其軟件高級(jí)副總裁Craig Federighi演示了如何用iPhone將虛擬的物體放在面前的桌子上。他首先是把一個(gè)虛擬咖啡杯放在桌子上，然后在咖啡杯旁邊加了一盞燈，當(dāng)他移動(dòng)臺(tái)燈時(shí)，我們看到咖啡杯的影子甚至?xí)?shí)時(shí)移動(dòng)。蘋(píng)果團(tuán)隊(duì)現(xiàn)在所做的不僅僅是在用戶面前展示AR物體，而是更進(jìn)一步，讓用戶能夠?qū)崟r(shí)與AR物體進(jìn)行交互。

　　而蘋(píng)果專利的主要重點(diǎn)是與虛擬鍵盤(pán)進(jìn)行實(shí)時(shí)交互，但我們想象這一下，這項(xiàng)發(fā)明或許還可以增強(qiáng)VR游戲的互動(dòng)性，想象一下，在游戲中開(kāi)門(mén)，駕駛汽車，拿武器，與敵人激戰(zhàn)這些動(dòng)作都可以更加真實(shí)，而不是只是按Xbox或PS4上的按鈕。如果蘋(píng)果團(tuán)隊(duì)能及時(shí)將這項(xiàng)技術(shù)推向市場(chǎng)，那么潛力將是巨大的。還有蘋(píng)果的TrueDepth相機(jī)，在很多方面也會(huì)起到很重要的作用。

　　專利背景

　　Daniel Kurtz首先簡(jiǎn)要說(shuō)明了一下現(xiàn)有系統(tǒng)的不足，然后解釋了蘋(píng)果的這項(xiàng)發(fā)明是如何克服基于深度的虛擬觸摸檢測(cè)中的某些問(wèn)題。首先，他指出，檢測(cè)到用戶的手指何時(shí)接觸到真實(shí)的環(huán)境平面，可以使用戶和硬件系統(tǒng)(例如計(jì)算機(jī)或游戲系統(tǒng))之間實(shí)現(xiàn)更直觀真實(shí)的交互。

　　使用相機(jī)進(jìn)行觸摸檢測(cè)比使用嵌入式傳感器(如電容式傳感器)有很多優(yōu)勢(shì)。此外一些現(xiàn)代數(shù)碼設(shè)備，如頭戴式設(shè)備(HMD)和智能手機(jī)都配備了視覺(jué)傳感器，包括深度相機(jī)，比如蘋(píng)果的所有iPhone X型號(hào)上的TrueDepth相機(jī)。目前基于深度的觸摸檢測(cè)方法可以使用深度相機(jī)來(lái)測(cè)量相機(jī)和手指之間以及相機(jī)和表面之間的距離。

　　一種方法有缺點(diǎn)就是不能應(yīng)用于動(dòng)態(tài)場(chǎng)景。另一種方法可以首先識(shí)別手指，然后從指尖中心開(kāi)始填充鄰近的像素，這樣當(dāng)填充足夠時(shí)，就可以檢測(cè)到觸摸。但是由于這種方法沒(méi)有考慮對(duì)像素深度數(shù)據(jù)標(biāo)準(zhǔn)化，因此很容易出錯(cuò)。另一種方法是，根據(jù)預(yù)先計(jì)算好的參考系、對(duì)手部輪廓的分析和深度曲線的擬合來(lái)確定的。

　　這些方法都需要預(yù)先定義閾值來(lái)區(qū)分觸摸和非觸摸條件，還有就是要考慮到距離，當(dāng)手指距離平面10毫米或以下時(shí)，可表示觸摸。

　　專利：基于深度的觸摸檢測(cè)

　　蘋(píng)果的發(fā)專利涵蓋了以下概念，首先是提供一種基于深度的觸摸檢測(cè)方法，用于獲取表面場(chǎng)景的深度圖，深度圖包含多個(gè)值(例如，深度圖可以來(lái)自深度傳感器以及一個(gè)或多個(gè)光學(xué)相機(jī))；識(shí)別深度圖的第一區(qū)域，識(shí)別對(duì)象(例如，該對(duì)象可以是手指、手寫(xiě)筆或其他光學(xué)不透明對(duì)象)；根據(jù)第一區(qū)域識(shí)別深度圖的表面區(qū)域，(例如，該表面可以是平面的或非平面的)。最后根據(jù)獲得輸出，當(dāng)輸出表示物體與表面接觸時(shí)，執(zhí)行第一個(gè)肯定性操作(如執(zhí)行與“鼠標(biāo)點(diǎn)擊”相對(duì)應(yīng)的操作)。

　　上面所述觸摸檢測(cè)操作可幫助改進(jìn)接受非鍵盤(pán)輸入的計(jì)算設(shè)備或系統(tǒng)的功能?？梢酝ㄟ^(guò)使用任意的表面(例如桌面或其他表面)來(lái)進(jìn)行輸入操作，而不用傳統(tǒng)的鍵盤(pán)和其他設(shè)備(例如鼠標(biāo)或手寫(xiě)筆)。通過(guò)改進(jìn)傳統(tǒng)輸入方式，可以進(jìn)一步改進(jìn)計(jì)算機(jī)系統(tǒng)的功能，用戶可以在任意環(huán)境下使用鍵盤(pán)。

　　下面的蘋(píng)果專利數(shù)據(jù)說(shuō)明了基于深度的觸摸檢測(cè)操作的各個(gè)方面信息。蘋(píng)果的專利圖3A是流程圖形式，關(guān)于觸摸檢測(cè)操作。

　　這項(xiàng)由美國(guó)專利局公布的蘋(píng)果專利申請(qǐng)最初是在2017年第三季度提交的?？紤]到這是一項(xiàng)專利申請(qǐng)，目前還不清楚該技術(shù)是否能夠?qū)崿F(xiàn)以及上市的時(shí)間。