NVIDIA CEO 黃仁勳於美西時間 2018 年 3 月 27 日早晨舉行的 GTC (圖形處理器技術研討會,GPU Technology Conference) 專題演說中宣布該公司和 arm 達成夥伴協議,將原本應用在自駕車的系統單晶片解決方案 Xavier 的 NVIDIA 深度學習加速架構(NVDLA, NVIDIA Deep Learning Accelerator)開源,並整合至 arm 在今年二月公布的機器學習平台 Project Trillium (延齡草專案,數位時代暫譯)上。
延齡草專案是由 arm 所推出的機器學習運算解決方案,主要提供所有終端裝置,例如手機、平板電腦、感測器或 IoT 設備等,針對人工智慧所依賴的神經網絡(neural network)運算進行加速。一般而言,人工智慧應用除透過以雲計算為主的大型資料中心運算外(主要用以訓練模型),尚須在終端裝置(例如汽車、手機等)進行推論即時演算,由於這些演算需要依賴終端裝置的即時運算效能,如能針對特定演算法進行加速,除可提升人工智慧應用回應的即時性,也可以協助終端裝置節省運算所需要的能量,達成省電、節能等目的。
Project Trillium 被視為已在已在智慧行動裝置處理器市場取得壓倒性勝利的 arm 進一步透過人工智慧應用,進軍物聯網市場的重要策略。藉由這個夥伴關係,NVIDIA 也可進一步將自身的深度運算加速器架構推展到 arm 所覆蓋的市場,為深度學習推論處理器提供一個標準化設計的可能路徑。arm 預計將在今年 4 月推出延齡草專案的相關套件預覽,並於 2018 年年中正式推出搭載相關技術的產品。
對 NVIDIA 原有的開發者生態系而言,這個合作意味著可以透過諸如其 TensorRT 等架構,將原訓練出的機器學習模型,快速佈署到終端裝置上(例如,透過 OTA 對終端裝置負責處理神經網絡運算加速的處理器進行模型更新)。理論上,這可以加速產業不斷地最佳化人工智慧應用,將學術領域或社群所開發的最新應用,透過推播更新直接佈署到終端裝置。對於物聯網、行動裝置市場來說,基於 NVIDIA 在深度學習開發者生態系的耕耘與 arm 在該市場的主導地位,這個 IP 合作關係預計將會加速推進人工智慧的推論應用。