早在今年3月，蘋果公司就發(fā)布了一份名為“蘋果公司隊(duì)伍一項(xiàng)關(guān)于未來虛擬現(xiàn)實(shí)鍵盤的專利”的報(bào)告。這項(xiàng)專利主要的意思就是，在未來，用戶們不需要實(shí)體鍵盤，只需要戴上頭顯，然后在任何桌面上都可以投射出虛擬鍵盤，就比如說航空公司的下拉托盤都作為虛擬鍵盤。與傳統(tǒng)筆記本鍵盤不同，這款新型的虛擬鍵盤將為用戶提供在公共空間工作的私人空間。
為了開發(fā)一款精確度比較高的虛擬鍵盤，蘋果公司一直在研究開發(fā)先進(jìn)的計(jì)算機(jī)視覺技術(shù)。在這項(xiàng)專利申請(qǐng)中，蘋果電腦視覺和機(jī)器學(xué)習(xí)主管Daniel Kurtz解釋了如何利用基于深度的觸摸檢測(cè)系統(tǒng)，研發(fā)下一代虛擬鍵盤和鼠標(biāo)技術(shù)。Daniel Kurtz于2015年因?yàn)樘O果收購(gòu)Metaio來到蘋果，他表示這種形式的觸摸檢測(cè)也可能適用于未來的VR游戲。
收購(gòu)Metaio兩年后，蘋果在2017年全球開發(fā)者大會(huì)上推出了AR技術(shù)。其軟件高級(jí)副總裁Craig Federighi演示了如何用iPhone將虛擬的物體放在面前的桌子上。他首先是把一個(gè)虛擬咖啡杯放在桌子上，然后在咖啡杯旁邊加了一盞燈，當(dāng)他移動(dòng)臺(tái)燈時(shí)，我們看到咖啡杯的影子甚至?xí)?shí)時(shí)移動(dòng)。蘋果團(tuán)隊(duì)現(xiàn)在所做的不僅僅是在用戶面前展示AR物體，而是更進(jìn)一步，讓用戶能夠?qū)崟r(shí)與AR物體進(jìn)行交互。
而蘋果專利的主要重點(diǎn)是與虛擬鍵盤進(jìn)行實(shí)時(shí)交互，但我們想象這一下，這項(xiàng)發(fā)明或許還可以增強(qiáng)VR游戲的互動(dòng)性，想象一下，在游戲中開門，駕駛汽車，拿武器，與敵人激戰(zhàn)這些動(dòng)作都可以更加真實(shí)，而不是只是按Xbox或PS4上的按鈕。如果蘋果團(tuán)隊(duì)能及時(shí)將這項(xiàng)技術(shù)推向市場(chǎng)，那么潛力將是巨大的。還有蘋果的TrueDepth相機(jī)，在很多方面也會(huì)起到很重要的作用。
專利背景
Daniel Kurtz首先簡(jiǎn)要說明了一下現(xiàn)有系統(tǒng)的不足，然后解釋了蘋果的這項(xiàng)發(fā)明是如何克服基于深度的虛擬觸摸檢測(cè)中的某些問題。首先，他指出，檢測(cè)到用戶的手指何時(shí)接觸到真實(shí)的環(huán)境平面，可以使用戶和硬件系統(tǒng)(例如計(jì)算機(jī)或游戲系統(tǒng))之間實(shí)現(xiàn)更直觀真實(shí)的交互。
使用相機(jī)進(jìn)行觸摸檢測(cè)比使用嵌入式傳感器(如電容式傳感器)有很多優(yōu)勢(shì)。此外一些現(xiàn)代數(shù)碼設(shè)備，如頭戴式設(shè)備(HMD)和智能手機(jī)都配備了視覺傳感器，包括深度相機(jī)，比如蘋果的所有iPhone X型號(hào)上的TrueDepth相機(jī)。目前基于深度的觸摸檢測(cè)方法可以使用深度相機(jī)來測(cè)量相機(jī)和手指之間以及相機(jī)和表面之間的距離。
一種方法有缺點(diǎn)就是不能應(yīng)用于動(dòng)態(tài)場(chǎng)景。另一種方法可以首先識(shí)別手指，然后從指尖中心開始填充鄰近的像素，這樣當(dāng)填充足夠時(shí)，就可以檢測(cè)到觸摸。但是由于這種方法沒有考慮對(duì)像素深度數(shù)據(jù)標(biāo)準(zhǔn)化，因此很容易出錯(cuò)。另一種方法是，根據(jù)預(yù)先計(jì)算好的參考系、對(duì)手部輪廓的分析和深度曲線的擬合來確定的。
這些方法都需要預(yù)先定義閾值來區(qū)分觸摸和非觸摸條件，還有就是要考慮到距離，當(dāng)手指距離平面10毫米或以下時(shí)，可表示觸摸。
專利：基于深度的觸摸檢測(cè)
蘋果的發(fā)專利涵蓋了以下概念，首先是提供一種基于深度的觸摸檢測(cè)方法，用于獲取表面場(chǎng)景的深度圖，深度圖包含多個(gè)值(例如，深度圖可以來自深度傳感器以及一個(gè)或多個(gè)光學(xué)相機(jī))；識(shí)別深度圖的第一區(qū)域，識(shí)別對(duì)象(例如，該對(duì)象可以是手指、手寫筆或其他光學(xué)不透明對(duì)象)；根據(jù)第一區(qū)域識(shí)別深度圖的表面區(qū)域，(例如，該表面可以是平面的或非平面的)。最后根據(jù)獲得輸出，當(dāng)輸出表示物體與表面接觸時(shí)，執(zhí)行第一個(gè)肯定性操作(如執(zhí)行與“鼠標(biāo)點(diǎn)擊”相對(duì)應(yīng)的操作)。
上面所述觸摸檢測(cè)操作可幫助改進(jìn)接受非鍵盤輸入的計(jì)算設(shè)備或系統(tǒng)的功能。可以通過使用任意的表面(例如桌面或其他表面)來進(jìn)行輸入操作，而不用傳統(tǒng)的鍵盤和其他設(shè)備(例如鼠標(biāo)或手寫筆)。通過改進(jìn)傳統(tǒng)輸入方式，可以進(jìn)一步改進(jìn)計(jì)算機(jī)系統(tǒng)的功能，用戶可以在任意環(huán)境下使用鍵盤。
下面的蘋果專利數(shù)據(jù)說明了基于深度的觸摸檢測(cè)操作的各個(gè)方面信息。蘋果的專利圖3A是流程圖形式，關(guān)于觸摸檢測(cè)操作。
這項(xiàng)由美國(guó)專利局公布的蘋果專利申請(qǐng)最初是在2017年第三季度提交的。考慮到這是一項(xiàng)專利申請(qǐng)，目前還不清楚該技術(shù)是否能夠?qū)崿F(xiàn)以及上市的時(shí)間。
