HoloLens Hpu芯片有什么不同

眾所周知，微軟的HoloLens設(shè)備加入了HPU芯片，這個芯片跟普通的GPU到底有什么不同。

HoloLens與HPU

如今，實現(xiàn)戰(zhàn)斗力探測的AI + AR技術(shù)已經(jīng)不再為賽亞人所獨有，地球人也擁有了這項技術(shù)!

例如，微軟的HoloLens在已公布的AI + AR設(shè)備中可謂佼佼者，憑借微軟的金字招牌以及酷炫的演示動畫吸引了無數(shù)科技愛好者的眼球。

目前，用于AI/AR的處理器架構(gòu)該如何設(shè)計仍然處于探索階段，Intel想借機推自己基于CPU的方案，Nvidia想利用GPU彎道超車，而Qualcomm也拼接Snapdragon平臺在一邊虎視眈眈。

在今年的商用芯片峰會HotChips上，微軟公布了應(yīng)用在HoloLens中的處理器芯片(HoloLens Processing Unit, HPU)。

HPU的架構(gòu)和CPU以及GPU都不相同，可謂是開創(chuàng)了AI / AR領(lǐng)域芯片的新范式。

我們采訪了UCLA從事人工智能芯片和硬件研究的Li Du,Yuan Du以及Yilei Li博士，接下來將詳細分析HPU芯片架構(gòu)并展望未來AI/AR芯片設(shè)計中的范式轉(zhuǎn)換。

HoloLens 可以實現(xiàn)眾多 AI/AR 應(yīng)用

微軟公布的HoloLens系統(tǒng)架構(gòu)如下圖所示。就在絕大多數(shù)移動設(shè)備的處理器都基于ARM結(jié)構(gòu)的今天。

HoloLens的主處理器使用的仍然是Intel的Cherry Trail SoC(包括CPU與集成的 GPU)，讓人感嘆維持了二十余年的Wintel聯(lián)盟堅不可破。

微軟最新公布的 HPU 也可以在圖上看到，HPU嚴(yán)格來說是一款協(xié)處理器，其作用是協(xié)助主處理器加速運算一些專門的運算(如用于CV的矩陣運算，用于CNN的卷積運算等)。

在 UCLA 有多年異構(gòu)運算與互聯(lián)研究經(jīng)驗的Yuan Du博士表示，「由于CPU必須要考慮通用性而無法對一些AR/VR運算進行優(yōu)化。

因此在應(yīng)用場景中會大量遇到的專門運算如果都交給CPU做會使系統(tǒng)的整體性能變得很差，于是我們需要設(shè)計一款專用的加速器來協(xié)助加速這些運算，微軟在這里的加速器就是HPU。

HPU通過PCIe高速接口與主處理器所在的SoC通信，不過PCIe的功耗其實是比較大的，未來可望會用上更先進的互聯(lián)技術(shù)�！�

微軟公布的HPU處理能力達到每秒1T(10^12)次像素運算，功耗則小于4W。

HPU能夠融合來自5個攝像頭、一個深度傳感器以及運動傳感器的輸入信息，將信息壓縮并傳送到主處理器。

此外HPU還能實現(xiàn)AI手勢識別。據(jù)說微軟曾評估了來自于各大廠商的商用芯片，卻沒有找到任何一款產(chǎn)品能滿足系統(tǒng)算法對性能的要求。

這款微軟自己開發(fā)的HPU是采用臺積電28nm工藝，內(nèi)含24顆可重配置的Tensilica字信號處理器(DSP)核心以及高達8MB的Cache除此以外，還有專用加速器用于給各類專門任務(wù)加速。

HoloLens 系統(tǒng)架構(gòu)，HPU 與顯示設(shè)備緊密耦合并且和主處理器 Intel Cherry Trail SoC 由高速 PCIe 接口互聯(lián)