AIoT 是人工智能和物聯(lián)網(wǎng)的融合

 

 

 

AIoT可以看成是物聯(lián)網(wǎng)的下一個階段——從簡單的物物相連，到AI加持的智能設(shè)備萬物互聯(lián)。人工智能和物聯(lián)網(wǎng)的融合是大勢所趨，因為它們剛好互補(bǔ)，AI（無論Cloud還是Edge側(cè)）需要物聯(lián)網(wǎng)收集的數(shù)據(jù)來訓(xùn)練算法，物聯(lián)網(wǎng)也需要AI算法建立的模型來作出決策。

 

 

 

近幾年，各種智能硬件層出不窮，我自己就是一名發(fā)燒友，Google Glass, HTC Vive, HoloLens, MagicLeap等各種AR/VR, 無人機(jī)，智能電視，智能門鎖，智能燈，掃地機(jī)器人等等，市面上能買到的智能硬件，大部分我都會買來試一試。那么，這些智能設(shè)備的用戶體驗到底如何呢？

 

 

 

 

 

 

 

盡管DIY的智能家居系統(tǒng)對我這個科工男來說還不錯，朝我理想中的未來生活方式又邁了一步，但這個系統(tǒng)只對我特別友好，對于父母一代人來說，似乎就不那么智能也不那么方便了，Wi-Fi信號問題，電源中斷，操作系統(tǒng)更新，電池耗盡……一個微小的干擾可能會破壞整個系統(tǒng)。當(dāng)系統(tǒng)出現(xiàn)問題或者需要改變設(shè)置的時候，家里人覺得找我，比鼓搗設(shè)備或者App要來得方便，于是我就變成了一個人肉中央遙控器:-)

 

 

 

今天的IoT還遠(yuǎn)遠(yuǎn)談不上成熟，對于大部分用戶來講還是太復(fù)雜，如果終端設(shè)備還需要人工干預(yù)，連接，登錄，配置，那還真的是不夠智能，也很難大規(guī)模地商業(yè)化落地。正因如此才有人說，目前所有的芯片都應(yīng)該被重做一遍以支持AI功能。

 

 

 

今天的人工智能真的智能嗎？

 

 

 

 

 

 

 

我們可以隨機(jī)做個測試，拿出你的智能手機(jī)，對語音助理說：推薦餐廳，不要中餐，看看反饋的效果令你滿意嗎？即使是這樣簡單的一個對話場景，今天的語音助理也搞不定，未來兩年內(nèi)，我們很有可能仍將面臨如此尷尬的情況。

 

 

 

為什么人類已經(jīng)能夠可以設(shè)計出像IBM Watson，Google AlphaGo這樣強(qiáng)大的AI，卻無法實(shí)現(xiàn)一個簡單的聊天機(jī)器人呢？在去年的Google I/O開發(fā)者大會上，新一代谷歌助手采用Google Duplex技術(shù)已經(jīng)可以像人類一樣打電話，令人驚嘆；但為啥一到手機(jī)上就貨不對板了呢？

 

 

 

今天人工智能的硬件性能、成本和功耗，離日常使用還存在很大差距。AlphaGo的硬件成本和功耗都非常昂貴，在它和圍棋世界冠軍、職業(yè)九段棋手李世石的著名對決中，花費(fèi)了約2萬美元的電費(fèi)。回到語音助理訂餐的問題上，你愿意為餐館推薦支付多少錢？

 

 

 

生物大腦vs超級計算機(jī)芯片

 

 

 

《深度學(xué)習(xí)》這本書的作者謝諾夫斯基，上世紀(jì)80年代就在研究神經(jīng)網(wǎng)絡(luò)計算， 1989年，謝諾夫斯基到麻省理工學(xué)院計算機(jī)實(shí)驗室訪問。氣氛不算融洽，那里的人都質(zhì)疑他的方法。午餐之前，謝諾夫斯基有五分鐘的時間，給所有人介紹一下他講座的主題。謝諾夫斯基臨場發(fā)揮，以食物上的一只蒼蠅為題，說了幾句話。謝諾夫斯基說，你看這只蒼蠅的大腦只有10萬個神經(jīng)元，能耗那么低，但是它能看、能飛、能尋找食物，還能繁殖。MIT有臺價值一億美元的超級計算機(jī)，消耗極大的能量，有龐大的體積，可是它的功能為什么還不如一只蒼蠅？

 

 

 

在場的教授都未能回答好這個問題，倒是一個研究生給出了正確答案。他說這是因為生物的大腦是高度專業(yè)化的，進(jìn)化使得它只具備這些特定的功能，而我們的計算機(jī)都是通用的，你可以對它進(jìn)行各種編程，它理論上可以干任何事情，問題的癥結(jié)也正在于此，因為專業(yè)化和通用化的結(jié)構(gòu)不同，1百萬神經(jīng)元的昆蟲專用大腦可以超過80億個晶體管的通用芯片。

 

 

 

AIoT實(shí)現(xiàn)大規(guī)模商業(yè)化的前提，就是芯片要以相當(dāng)?shù)偷某杀竞凸模瑢?shí)現(xiàn)足夠強(qiáng)大的性能，摩爾定律過去50年的發(fā)展，CPU的性能有了超過40萬倍的提升，讓AI實(shí)現(xiàn)有曙光，又遠(yuǎn)不能滿足AI落地的性能、成本、功耗需求。

 

 

 

用專用ASIC（Domain Specific, Dedicated ASIC）來榨出極致性能

 

 

 

 

 

我們知道，在性能-靈活度的折中上，像CPU這樣的通用處理器享有最大的可編程性和靈活度，但同等功能性能下，功耗最大; ASIC（Application Specific Integrated Circuit 專用集成電路）等于將使用場景固化，靈活度最小，但效率更優(yōu)。

 

 

 

今天的大多數(shù)芯片，即使是許多所謂的ASIC，本質(zhì)上仍然是多用途的。我們常常直接使用商業(yè)化IP和晶圓代工廠的標(biāo)準(zhǔn)單元庫，嘗試在一款芯片中盡可能多地組合功能，通過一次流片覆蓋更多市場，快速上市。但所有這些捷徑，都以降低芯片性能為代價。

 

 

 

如果我們把ASIC設(shè)計推向單一化的極致（Domain Specific, Dedicated ASIC），結(jié)果令人震驚。以加密貨幣挖礦計算為例，Benchmark的結(jié)果顯示，同樣成本下的專用ASIC效率，可以達(dá)到CPU的數(shù)十萬倍。這些設(shè)計者們采用全定制基本單元庫，手工來優(yōu)化布局布線，挑戰(zhàn)晶圓代工廠DRC的極限，用設(shè)計SRAM基本單元的方式設(shè)計芯片，任何能夠優(yōu)化的地方，他們都會大膽一試。有人說這是一種設(shè)計方法的倒退，浪費(fèi)了大量的時間去做無意義的工作，但是礦機(jī)ASIC確實(shí)取得了驚人的性能。

 

 

 

過去大量的應(yīng)用都可以用通用計算來解決，但是在AIoT的未來，硬件性能沒有冗余，并且長期存在瓶頸，加密貨幣的案例給了我們一些啟示，我們將一定需要ASIC，來釋放出極致的性能。

 

 

 

每個物聯(lián)網(wǎng)細(xì)分市場都用得起ASIC嗎？

 

 

 

雖然明確ASIC在性能方面的優(yōu)越性，但半導(dǎo)體行業(yè)從來都要算一筆經(jīng)濟(jì)賬，碎片化的物聯(lián)網(wǎng)市場，能夠負(fù)擔(dān)得起ASIC的投入嗎？

 

 

過去，設(shè)計一款28納米芯片的研發(fā)成本約為5000萬美元，7納米的研發(fā)成本上漲到3億美元，而預(yù)測3納米的芯片研發(fā)成本將達(dá)到難以置信的15億美元之多。已經(jīng)很少有芯片設(shè)計公司，能夠承受得起這么昂貴的前期投入了。先進(jìn)工藝制程的芯片研發(fā)成本不斷攀升，大公司要看到10億美金，100億以上銷售預(yù)期的市場才會進(jìn)入，AIoT的早期無法一夜之間提供這樣的市場機(jī)會。

 

 

 

 

 

 

 

另一方面，盡管AIoT市場總量巨大，但每個細(xì)分市場都過于分散，單品的需求量不大，為其投入一顆ASIC的經(jīng)濟(jì)回報，甚至很難收回其NRE成本。“物聯(lián)網(wǎng)”這個詞非常具有誤導(dǎo)性，它將成千上萬的碎片組合成一個單詞，一個集合的概念。總量看起來是個巨大金礦，實(shí)際上是個高度碎片化而且貧瘠的領(lǐng)域。但是如果沒有ASIC來提高性能和用戶體驗，這一個個細(xì)分市場又很難成長到上億量級的出貨。

 

 

 

專業(yè)化、多品類、小批量的芯片，要求上市時間更短，性能更高，還需要成本更低，多、快、好、省，簡直就是Mission Impossible，我們?nèi)绾尾拍芡瓿蛇@一不可能的任務(wù)？

 

 

 

摩爾定律暗藏伏線 – 異構(gòu)集成Heterogeneous Integration

 

 

 

 

 

 

當(dāng)1965年，戈登摩爾發(fā)表他那篇充滿傳奇色彩的論文 – Cramming More Components onto Integrated Circuits，他不僅提出了后來被稱為“摩爾定律”而為人們所熟知的經(jīng)典預(yù)言；同時，他也給我們留下了一條線索，如何用較小的組件，快速經(jīng)濟(jì)地構(gòu)建一個大型的系統(tǒng)，那就是Heterogeneous Integration（異構(gòu)異質(zhì)集成）。

 

 

 

戈登 摩爾在論文中寫道：It may prove to be more economical to build large systems out of smaller functions, which are separately packaged and interconnected.

 

 

 

對于極度追求性能卻又碎片化的AIoT市場而言，異構(gòu)集成可能是一條很好的出路。

 

 

 

Chiplet：類似樂高積木的“裸片IP”復(fù)用

 

 

 

 

 

 

最近，Chiplet這個概念熱了起來。簡單來說，Chiplet技術(shù)就是像搭樂高積木一樣，把一些預(yù)先生產(chǎn)好的實(shí)現(xiàn)特定功能的芯片裸片（die），通過先進(jìn)的封裝技術(shù)（比如3D, 2.5D）集成在一起形成一個系統(tǒng)芯片。而這些預(yù)生產(chǎn)裸片就是Chiplet。從這個意義上來說，Chiplet是一種新的“裸片IP”復(fù)用。

 

 

 

像樂高積木一樣，把不同模塊組合在一起的想法，已經(jīng)被半導(dǎo)體行業(yè)討論了近十年，但真正進(jìn)行商業(yè)化探索，還是在近幾年，晶體管的尺寸越來越接近技術(shù)極限，按照摩爾定律進(jìn)一步縮減晶體管特征尺寸的難度越來越大之后。

 

 

 

Marvell的創(chuàng)始人Sehat 博士，在ISSCC 2015上提出了Mochi（模塊化芯片）架構(gòu)的概念。2017年，DARPA推出了CHIPS計劃，專注于開發(fā)可根據(jù)需要組合的芯片，即將一系列模塊化芯片或Chiplets，通過die-to-die的互連方案封裝集成。理論上，Chiplet是一種開發(fā)周期短且成本較低的方法，可以將各種類型的第三方芯片（如I / O，內(nèi)存和處理器核）組合在一起。

 

 

 

SoC，Chiplet和PCB的比較

 

 

 

 

 

 

 

對SoC，Chiplet和PCB進(jìn)行設(shè)計成本、時間、風(fēng)險和性能、功耗、產(chǎn)品尺寸等多維度的比較，可以看到Chiplet是SoC和大多數(shù)分立器件PCB之間的折衷方案，相比SoC，只犧牲了少量性能，但研發(fā)投入和研發(fā)周期已經(jīng)大大降低。

 

 

 

特別的，針對AIoT市場，Chiplets模式提供了制造工藝選擇的靈活性。我們可以經(jīng)濟(jì)高效地將先進(jìn)工藝制造的高性能計算單元，和主流成熟工藝制造的模擬/射頻模塊，集成在一個封裝中。

 

 

 

Marvell Intel AMD zGlue 的Chiplet探索

 

 

 

 

 

 

 

Marvell自4年前推出MoChi架構(gòu)以來，推出了一系列Virtual SoC產(chǎn)品（從產(chǎn)品Datasheet里可以看到），Mochi可以是許多應(yīng)用的基準(zhǔn)架構(gòu)，包括物聯(lián)網(wǎng)，智能電視，智能手機(jī)，服務(wù)器，筆記本電腦，存儲設(shè)備等。但遺憾的是，隨著創(chuàng)始人Sehat卸任CEO，近一兩年沒有聽到太多Mochi相關(guān)的新消息。

 

 

 

Intel在高級封裝領(lǐng)域一直處于領(lǐng)先地位，之前的EMIB技術(shù)就有其獨(dú)到的優(yōu)勢，而2018年12月Intel發(fā)布的Foveros技術(shù)則是3DIC方面一個長足的進(jìn)步。Foveros架構(gòu)中，芯片3D堆疊在有源硅載片上，并通過硅載片做互聯(lián)。相比2.5D封裝，使用Foveros的3D封裝大大提升了集成密度，同時芯片與有源硅載片之間的IO帶寬也有潛力能做更大，從而獲得更大的性能提升。

 

 

 

Intel的Foveros多少也是對AMD于前一個月發(fā)布的Rome架構(gòu)處理器的回應(yīng)。2018年11月，AMD發(fā)布的Rome架構(gòu)處理器也是基于高級封裝，由多塊7nm Zen2處理器芯片粒和一塊14nm 互聯(lián)和IO芯片使用2.5D技術(shù)封裝而成，其中每塊7nm Zen2芯片粒都含有8個核，而多塊芯片粒經(jīng)過組合最多可以實(shí)現(xiàn)64核，芯片粒之間則通過14nm互聯(lián)芯片進(jìn)行芯片間通信。

 

 

 

初創(chuàng)公司zGlue也宣布了針對物聯(lián)網(wǎng)的商業(yè)產(chǎn)品，幫助客戶加速產(chǎn)品開發(fā)和將差異化產(chǎn)品推向市場。他們提出了一個稱為ZiP的集成平臺，利用Chiplet，Smart Fabric?可編程interposer，和基于云的設(shè)計軟件，實(shí)現(xiàn)芯片的低成本快速開發(fā)。

 

 

 

Chiplet普及化有機(jī)會催生新的商業(yè)模式

 

 

 

 

 

 

 

在今天的半導(dǎo)體產(chǎn)業(yè)價值鏈中，IC設(shè)計公司起著至關(guān)重要的主導(dǎo)作用，他們從供應(yīng)商處購買IP（Intellectual Property），采購EDA（Electronic Design Automation）工具進(jìn)行設(shè)計，再向晶圓廠下單進(jìn)行芯片制造，再封測，最終直接或者通過分銷商，銷售芯片給系統(tǒng)公司客戶。但如果某天，Chiplet成為主流的選擇，當(dāng)小芯片的標(biāo)準(zhǔn)建立起來時，有數(shù)十萬個商業(yè)化的Chiplet可供選擇，接下來會發(fā)生什么？

 

 

 

半導(dǎo)體產(chǎn)業(yè)的新結(jié)構(gòu) – Tier-1 IC品牌商

 

 

 

 

 

 

 

生產(chǎn)力的進(jìn)步，必然帶來生產(chǎn)關(guān)系的變化。

 

 

 

如果我們看看汽車工業(yè)會發(fā)現(xiàn)，經(jīng)過一個多世紀(jì)的發(fā)展，現(xiàn)在這個成熟行業(yè)的分工，包括汽車整車廠OEM，Tier-1，Tier-2，Tier-3供應(yīng)商。一級和二級供應(yīng)商的合作關(guān)系很有趣，一級供應(yīng)商高度依賴二級供應(yīng)商的專業(yè)技術(shù)技能，從Tier-2購買組件并將其打包成汽車級系統(tǒng)賣給整車廠，二級供應(yīng)商制造零件并樂于將其銷售給Tier-1。整車OEM客戶更加信任一級供應(yīng)商，基本上都是從Tier-1供應(yīng)商處進(jìn)行采購。

 

 

 

今天，半導(dǎo)體產(chǎn)業(yè)鏈中還沒有Tier-1、Tier-2的結(jié)構(gòu)，傳統(tǒng)的IC設(shè)計公司同時兼任了兩者，他們設(shè)計整個芯片，最后銷售芯片產(chǎn)品。Chiplet，可能推動整個半導(dǎo)體行業(yè)的演化，Tier-1芯片供應(yīng)商這一新物種將會出現(xiàn)。就像汽車行業(yè)一樣，一級芯片供應(yīng)商（我們也可以稱之為品牌商）可以從二級Chiplet供應(yīng)商處購買小芯片，并將其整合成SIP。Tier 2制造小芯片并且很樂意將它們出售給Tier-1，系統(tǒng)公司將主要信任和采購來自Tier-1 IC供應(yīng)商的器件。

 

 

 

哪些玩家有機(jī)會成為Chiplet和Tier-1 IC供應(yīng)商？

 

 

 

 

 

 

 

新結(jié)構(gòu)，新牌桌。誰將最有可能贏得這場新游戲呢？

 

 

 

小型的芯片設(shè)計公司，IP供應(yīng)商，甚至晶圓制造和封裝測試供應(yīng)商，都有機(jī)會成為Chiplet供應(yīng)商。最終，IC設(shè)計公司和IP供應(yīng)商之間的界限將會模糊，它們將全部轉(zhuǎn)變?yōu)樾⌒酒蛘哒f硬IP供應(yīng)商，并將Chiplets推向市場。

 

 

 

如果一家芯片設(shè)計公司可以通過Chiplets輕松獲利，而不必?fù)?dān)心供應(yīng)鏈，銷售和市場營銷，那么這將像獨(dú)立工作室一樣敏捷、靈活、高效；如果工程師可以作為獨(dú)立設(shè)計工作室賺大錢，那么對于大型設(shè)計公司而言，按照原先的利益分配機(jī)制，想要留住這些天才，將會更加困難。

 

 

 

另一方面，誰將有機(jī)會成為一級IC供應(yīng)商？

 

 

 

大型IC設(shè)計公司，分銷商，模塊制造商都可能有發(fā)言權(quán)。事實(shí)上，他們會爭先恐后地競相成為一級IC供應(yīng)商，以獲得更多利潤。以經(jīng)銷商為例，在傳統(tǒng)的半導(dǎo)體行業(yè)成本結(jié)構(gòu)中，他們通常只能賺到芯片銷售額3-5％的毛利（如果不是缺貨炒貨的話）; 但一旦成為一級供應(yīng)商，購買Chiplet并集成到SIP中，將有機(jī)會將毛利率提升至50%！（按IC設(shè)計公司毛利率的中值估算）經(jīng)銷商對市場趨勢和要求非常敏銳，一旦他們獲得像Chiplet這樣的強(qiáng)大武器，補(bǔ)齊技術(shù)短板，他們也可以像芯片設(shè)計公司一樣逐鹿中原。

 

 

 

Tier-1 IC品牌商誕生后的全新生態(tài)系統(tǒng)

 

 

 

 

 

 

 

凱文凱利說，所有企業(yè)都難逃一死，所有城市卻幾乎不朽，企業(yè)總想成為封閉的帝國，城市才是開放的生命體。

 

 

 

經(jīng)過多年的商業(yè)實(shí)踐，領(lǐng)先的芯片設(shè)計大公司已經(jīng)開發(fā)出一套高效的內(nèi)部協(xié)作機(jī)制，用集團(tuán)層面的供應(yīng)鏈運(yùn)營能力，支持?jǐn)?shù)百個研發(fā)部門，同時用統(tǒng)一的渠道和品牌來銷售所有產(chǎn)品。每個研發(fā)部門都像特種部隊，快速移動，共享資源，從整合的后臺得到及時的支持，快速發(fā)展。

 

 

 

隨著Tier-1 IC品牌商、Tier-2 芯片Chiplet供應(yīng)商的出現(xiàn)，可能會出現(xiàn)一個更開放、更有活力的新生態(tài)系統(tǒng)。“但求所用，不求所有”，未來，不一定所有資源和技術(shù)能力都屬于某家大公司，而更有可能是一個由許多Chiplet Studios（芯片設(shè)計工作室）有機(jī)組合的生態(tài)系統(tǒng)，依托生態(tài)系統(tǒng)所整合的強(qiáng)大制造和運(yùn)營能力，聚焦核心研發(fā)，完成快速創(chuàng)新。

 

 

 

規(guī)模化的品牌商，Tier-1 IC供應(yīng)商大公司，擁有成熟完善的供應(yīng)鏈體系，甚至工廠，銷售渠道，是芯片設(shè)計工作室的核心技術(shù)能力的放大器。這種一級芯片供應(yīng)商+芯片設(shè)計工作室的開放生態(tài)系統(tǒng)，能夠更好地服務(wù)碎片化的AIoT市場。