隨著生成式AI浪潮席捲全球,雲端大廠(CSP)競相投入自研晶片,試圖降低對外部供應商的依賴。
然而,在微軟、Google如火如荼發展的階段,雲端產業龍頭亞馬遜(AWS)已經領先多年,最早可追溯到2013年,至今已打造出標準運算、推理、訓練、伺服器晶片等四大產品線,組成穩固的基礎建設帝國。
這四大產品線背後團隊的掌舵者,是AWS副總裁暨傑出工程師、以色列晶片設計公司Annapurna Labs共同創辦人納菲亞‧畢沙拉(Nafea Bshara)。
畢沙拉在2011年創辦Annapurna Labs,隨後在2015年被亞馬遜以約3.5億美元收購,以快速強化AWS發展自研晶片的實力。
而畢沙拉在今年re:Invent大會期間首度接受包含《數位時代》在內的台灣媒體團訪,半開玩笑地表示「我們AWS貢獻了台灣GDP的一大部分!」不只是台積電前五大客戶之一,更點出與鴻海(Foxconn)、廣達(Quanta)、智邦(Accton)等台灣大廠緊密合作。
同時,他針對外界好奇的自研晶片優勢、手上最Trainium晶片路線圖,以及與輝達(NVIDIA)之間微妙的競合關係,在訪問中一一解答。
AWS旗下四大晶片系列:
Nitro(加速): 2013年推出,用來處理I/O與安全功能的晶片。目前已演進至第七代,全球有超過2千萬台伺服器搭載,是AWS最暢銷的產品。
Graviton(運算): 2018年推出,基於ARM架構的CPU。最新第五代單顆擁有多達192核心,全球已部署超過200萬顆,服務超過5萬名客戶。
Inferentia(推論): 2019年推出,專攻AI模型預測。第二代產品採用台積電5奈米製程,延遲降低高達10倍。
Trainium(訓練):2022年推出,專攻AI模型訓練。最新的Trainium 3是業界首款3奈米雲端AI晶片。
解密1:AWS的「軟硬混血」戰隊,如何打破效能天花板?
談起目前市場開始白熱化的自研晶片競爭,「每個人(每家公司)都有野心、都想做客製化晶片,但有多少真的能做到的?」畢沙拉指出AWS的優勢在於,不只是市場中少見的玩家,更早在2011年就看見趨勢並開始布局,至今已是一段長達14年的旅程。
他強調,這段時間的累積讓AWS擁有強大的垂直整合能力,軟體團隊甚至在晶片投片前(Tape-out)就能開始測試,「這能讓我們省下12到24個月的上市時間。」這種速度,以AWS的規模而言,意味著數百億美元的價值,而且能更安全、更快地獲得客戶的回饋。
除了買到時間,軟硬體深度整合,也讓AWS的晶片達到競爭者難以匹敵的成果。畢沙拉透露,在Annapurna實驗室裡,負責寫晶片RTL(暫存器傳輸級)代碼的硬體工程師,同時也深諳軟體運作;甚至第一線維運資料中心的人員,也會回頭參與晶片設計。這種打破硬體設計、軟體開發與維運邊界的「混血」模式,讓他們能第一手掌握客戶在真實場景下的痛點,並迅速修正,這是傳統晶片供應商難以複製的優勢。
舉例來說,AWS針對AI訓練打造的Trainium 3晶片,是今年發布會的焦點,大會中強調不只能訓練,甚至也能進行龐大運算的「推論」。畢沙拉也點出,從Trainium 1到Trainium 2,效能提升了4倍;從Trainium 2到Trainium 3,效率提升了5倍,而明年即將公開的下一代Trainium 4,效能可望再提升6倍。
「一般晶片每一代升級頂多提升30%,我們卻可以做到4倍甚至6倍。」畢沙拉表示,這種「違反常理」的爆發性成長,光靠台積電的先進製程或記憶體升級是撐不起來的。
雖然根據摩爾定律,晶片上的電晶體數量約每兩年會增加一倍,效能也理應隨之翻倍,但先進製程近年逼近物理極限,單靠製程紅利帶來的效能提升,通常只剩20%至30%,要突破這數字,就必須從「架構層面」來突破,這正是AWS的強項。
他解釋,市場常誤將Trainium視為ASIC(特殊應用積體電路/Application Specific Integrated Circuit),也就是為特定用途量身打造的客製化晶片,但ASIC往往是針對特定演算法「固化」,一旦AI模型改變就難以適應。而Trainium本質上更像是「可程式化處理器」,擁有如同GPU般的靈活性,這意味著它不僅能處理當下的任務,還能透過軟體定義去適應未來的AI變化,這正是它能突破硬體限制、持續大幅躍進的關鍵。
畢沙拉指出,這意味著即便未來AI主流架構改變,Trainium依然能支援,不會面臨硬體被軟體淘汰的窘境。「只要你支援PyTorch,所有的模型都能在我們的晶片上運作,」他自信地說 。
解密2:與輝達「亦敵亦友」的哲學、連蘋果都離不開的關鍵技術
AWS坐擁四大自研晶片陣容,與AI晶片霸主輝達既競爭又合作的「瑜亮情結」,一直受到外界關注。
不過談起和輝達的關係,畢沙拉只是不假思索地回答:「超級好(Super good)!」他強調,AWS的哲學是提供「選擇」,如同在亞馬遜網站上買衣服,「你可以買紅襯衫、也可以買藍襯衫。在AWS的平台上,你可以買到NVIDIA GPU,也可以買我們自己的Trainium。」。
而雙方的技術合作確實相當緊密,Trainium晶片使用了NVIDIA的NVLink技術,而NVIDIA的GPU在AWS雲端運作時,底層也依賴AWS的Nitro系統,稱得上是一場共生關係。畢沙拉也強調,AWS不會替客戶做決定,而是提供多樣化的選項,讓客戶根據需求自己搭配。
除了輝達,另一位夥伴蘋果(Apple)的關係也相當耐人尋味,極少出席「友商」發布會活動的蘋果,罕見二度為AWS出席站台,畢沙拉指出,蘋果不僅是AWS自研處理器Graviton的大用戶,去年也曾測試過Trainium晶片。
更關鍵的是,AWS是目前市面上唯一能提供「Mac雲端實例(Mac instances)」的雲端供應商,讓開發者能在雲端上使用從M1到M4的Mac電腦資源。畢沙拉揭密,這項獨門生意完全歸功於Nitro晶片,「因為Mac非常安全且封閉,如果沒有Nitro卡作為中介層處理安全與I/O,我們根本無法將Mac整合進資料中心。」這也證明了AWS基礎設施的技術,能讓蘋果買單多年的關鍵。
透過自研晶片降低成本,加上和輝達、蘋果等巨頭強強聯手,AWS在這場生成式AI的馬拉松中的目標是,確保自己永遠是客戶眼中難以替代,且最多元化的基礎設施。
