AWS雲端年會|一口氣推AI模型Nova、AI晶片Trainium2,亞馬遜如何撼動輝達霸業?
AWS雲端年會|一口氣推AI模型Nova、AI晶片Trainium2,亞馬遜如何撼動輝達霸業?

雲端龍頭亞馬遜AWS的年度大會re:invent於台灣時間12月4日登場,作為年底壓軸登場的大型發布會,AWS終於在生成式AI大戰開打兩年後,正式推出大型語言模型系列「Nova」,有四種等級,號稱能同時滿足高速、成本效益、專業、資料量等企業需求。

同時,AWS在自研晶片展現挑戰NVIDIA的野心,推出第二代AI訓練晶片Trainium2、超級伺服器,同時攜手AI新創Anthropic打造「史上最大的AI運算群集」,希望搶下超級電腦的話語權。

AWS re:invent 2024
AWS re:invent 2024登場,發表AWS年度重磅產品。
圖/ AWS re:invent 2024

大語言模型:Nova系列誕生,四種規格供客戶自選

AWS終於推出自家的大語言模型了,過去兩年Google、微軟等競爭對手在模型上打得火熱,AWS選擇以能統整多種模型供企業選用的平台Bedrock,作為最主力的武器,更喊出「這世界上沒有最強的模型」作為口號,今年也再度重申。

不過這一次,AWS宣布正式推出自家訓練的多模態生成式AI模型「Nova」,加入平台上眾多的模型陣營之中。共有四種等級可供客戶依照需求選擇:Micro、Lite、Pro 和 Premier,分別有不同的優勢。

◆Micro:純文字模型,能達到四種裡面最低的延遲,以小規模高速處理。
◆Lite:能處理文字、圖片、影像,但「體型」輕盈,強調最佳成本效益。
◆Pro:能處理文字、圖片、影像的專業多模態模型,兼顧速度、準確性、多元工作內容。
◆Premier:系列中功能最強大的模型,甚至可以作為「其他模型的老師」,也就是用來訓練其他大語言模型的能力。

AWS re:invent 2024
AWS re:invent 2024中推出大型語言模型Nova,共有4種等級可選。
圖/ AWS re:invent 2024

除了這些通用模型外,還專門推出圖片、藝術生成的Nova Canvas,提供工作室等級的專業製作,內有控制色彩濃淡、版面配置和專業水印等功能。另外還有專業影音生成的Nova Reel,可以控制360度旋轉、放大縮小等運鏡方式。

AWS執行長安迪.賈西(Andy Jassy)指出,整個系列成本都非常有效益,比其他Bedrock中其他同等級模型都便宜75%,而Nova全系列除了高階的Premier和Nova Canvas、Nova Reel在明年才會登場外,其他都已經上線供AWS客戶使用。

安迪.賈西強調,目前市面上已經有各種類型的模型,但客戶的需求尚未被滿足,同時能符合四大條件—提供豐富知識、符合成本效益、低延遲、垂直產業專業需求的模型,目前並不存在,因為四點之中仍有幾項是互相矛盾的,例如知識量大成本就高,延遲也更久,因此需要專門的訓練去滿足這些需求。

自研晶片:攜手Anthropic挑戰NVIDIA

雖然大語言模型是第一代,但是在自研晶片上AWS已經是耕耘數8年的老手,旗下也有4大晶片產品線,分別針對不同需求提供算力。

今年,專為模型訓練設計的Trainium也推出了第二代,簡稱Trn2,採台積電5奈米製程,效能比上一代提升4倍,能整合16顆晶片,算力達到20.8 petaFLOPS(每秒浮點運算次數),等於每秒可以執行20.8萬兆次運算。

作為比較,NVIDIA三月推出的Blackwell B200算力為20 petaFLOPS。也因為算力達到高效益,能耗降低2倍,同時也大省GPU成本,最高降低40%。

Trainium2.jpeg
AWS Trainium2 晶片。

外界普遍認為,AWS想要藉由Trainium2挑戰NVIDIA的AI晶片市場領導地位,甚至手機龍頭大廠蘋果高層Benoit Dupin都向媒體透露,已經成為這款晶片的客戶。

安迪.賈西更預告,下一代Trainium3晶片也已經在路上,將採用3納米製程,2025年底就會推出。

除了晶片本身,還推出了一款超級伺服器「EC2 Trn2 UltraServers」,由64顆Trainium2組成,算力、內存、傳輸能力都提高四倍,一口氣拉升到83.2 petaFLOPS。

Amazon EC2 Trn2.jpeg
Amazon EC2 Trn2。

而AWS去年宣告和NVIDIA合作建設超級電腦,今年則表示即將和生成式AI領域大放異彩的新創公司Anthropic攜手合作,推出「Project Rainier」計畫,把這些Trn2 UltraServers超級伺服器組合成「史上最大的AI運算群集」,搭載數十萬個Trainium2晶片,號稱是為「未來等級的AI訓練」做好最萬全的準備。

Anthropic 創辦人暨執行長Dario Amodei
Anthropic 創辦人暨執行長Dario Amodei。
圖/ 隋昱嬋攝影

總結:AWS領域展開

AWS在生成式AI領域一直相對低調,不過在雲端基礎建設一直處於領先地位,加上靈活選用模型的Bedrock平台,成為生成式AI大戰中吸引企業客戶的絕招。

不過今年發布會可以看出AWS相對「大膽」的競爭策略,直接推出大型語言模型Nova加入Bedrock中,形成平台兼玩家的局面,更直言比各家模型都更便宜高效率,等於直接下場和其他合作夥伴競爭客戶的青睞。

AWS NVIDIA.jpg
輝達執行長黃仁勳(右)去年首度站台AWS re:invent。
圖/ AWS

此外,AWS和NVIDIA之間的「瑜亮情結」也隨著自研晶片的發展持續發酵中,雖然雙方仍有持續合作,但在AI伺服器等基礎設施越來越昂貴的大環境下,AWS背後擁有的龐大雲端算力,相比之下更能靈活調節工作負載,成為企業降低成本的希望,也讓使用AI的門檻更低。

英國研調機構Finimize指出,AWS將持續以Trainium等一系列AI晶片,挑戰龍頭NVIDIA的地位。

延伸閱讀:2024 MarTech 行銷科技高峰會登場!AI 浪潮下一步,從效率導向到創造品牌價值

責任編輯:李先泰

關鍵字: #AWS #AI
往下滑看下一篇文章
從切菜到乾燥加工!宜展如何結合桃園市政府創業資源,以AI開拓農產加工第二成長曲線?
從切菜到乾燥加工!宜展如何結合桃園市政府創業資源,以AI開拓農產加工第二成長曲線?

走進蔬果加工廠,同樣是100公斤高麗菜,最後能做出多少成品?答案不見得相同。氣候、產地與品質影響原料條件,客戶要求的切法、重量與交期也各不相同。對曾任科技業研發主管十多年的宜展科技農業執行長林佑澤而言,這是與科技製造截然不同的世界。

「農業部分全部都不一致。」林佑澤以青江菜為例,即使機械手臂已經訓練好辨識特徵,面對形狀各異的蔬菜,仍難以判斷該從哪裡抓取。農產品的天然變數,卻得面對學校團膳、連鎖餐飲、航空空廚等企業客戶對品質與交期的要求。如何讓加工流程穩定運作,成為宜展投入數位轉型的起點。

從紙本、LINE到數據,先把現場經驗留下來

目前宜展一年處理數千噸蔬果、服務超過120家企業客戶,業務涵蓋採購、截切、清洗、包裝與配送。林佑澤觀察,農產加工的關鍵經驗往往掌握在資深員工手中:該買多少菜、原料損耗多少、訂單增加又該安排多少人力,都仰賴現場判斷。

「主要就是把人的經驗變成數據。」林佑澤說。過去客戶透過LINE或紙本下單,現場靠人工整理訂單、對照不同客戶的加工規格;如今宜展利用AI辨識訂單內容並匯入ERP,再依客戶、品項與規格進行標籤化派工。製程則透過QR Code記錄原料投入量與成品產出量,逐步掌握各環節的加工損耗。

接下來是整理現場的判斷依據。林佑澤透過與資深員工對談,了解採購、派工與品管的作業方式,再利用AI協助找出規則、建立SOP。AI整理出的流程仍須由現場人員逐項確認、修正,才能實際執行。

品質管理也在持續改善。傳統金屬檢測器難以辨識菜蟲、橡皮筋等非金屬異物,宜展正與技術夥伴規劃導入AI影像辨識,輔助產線末端檢查。林佑澤表示,每批農產品品質不同,比起單看良率,他更重視客訴是否減少。隨著訂單與製程資訊逐步累積,宜展也希望進一步建立需求預測、採購建議與生產排程模型,減少營運對資深員工個人經驗的依賴。

不只把菜切好,乾燥加工尋找第二成長曲線

除了改善截切本業,宜展也開始發展乾燥加工。學校團膳在寒暑假面臨需求波動,生鮮蔬果則有保存期限短、價格易受產季影響等限制。林佑澤希望藉由乾燥技術延長農產品保存期限,開拓附加價值更高的加工業務。

不過,乾燥同樣有依賴經驗的問題。傳統做法是太乾就降低溫度、縮短時間,不夠乾就反向調整。每批原料的水分與成熟度不同,反覆試做不僅增加成本,也難以維持品質一致。「品質目標沒有設定的話,前面的製程參數就不知道怎麼調整。」林佑澤將過去研發車用面板的思維帶進農產加工:先決定產品希望達到的口感、含水率與水活性,再回頭檢視原料成熟度、截切厚度及乾燥參數等條件。

團隊進一步結合不同乾燥技術、自行改造設備,並接洽桃園的設備業者合作。林佑澤曾比較其他地區的設備,最後選擇設備構造、乾燥均勻度與可靠度較符合需求的桃園業者。宜展也持續累積製程參數,希望未來透過AI找出適合不同原料的乾燥曲線,減少反覆試做。

「我們主要還是要做代工,想要做一個功能性的原料平台。」林佑澤說,果乾目前更像是展示技術能力的產品,未來希望將服務延伸至辛香料、中藥材、太空食品、超級蔬菜及寵物食品等領域。現階段宜展主要營收仍來自蔬果截切本業,乾燥事業尚未形成主要收入。未來若能建立穩定的乾燥製程與代工能力,宜展便有機會從既有蔬果供應鏈,切入附加價值更高的食品原料市場。

從彰化走向桃園,驗證營運方法能否跨區複製

隨著加工流程逐步數位化,宜展也開始思考,這套管理方法能否帶到彰化以外的場域。

參與桃園市政府青年事務局天際線加速器及Meet桃園+後,宜展擴大與桃園產業生態系的連結。林佑澤提到,天際線協助邀集不同局處了解團隊需求,並提供資源媒合機會。宜展也開始與桃園市農會及在地農民合作,增加北部原料來源。這項合作不只拓展了供應來源,更成為宜展因應極端天候、穩定供貨的重要助力。林佑澤回憶,先前中南部連日降雨,蔬菜供應受到影響,宜展便從北部調度蔬菜,以不同產區互相支援,降低天候對供貨的衝擊。此外,團隊也透過天際線資源,獲得參與日本國際伴手禮設計競賽的輔導,並成功榮獲金賞獎肯定,除了展現產品的創新與設計實力,也為宜展拓展海外市場、提升國際能見度創造更多機會。

下一步,宜展規劃以桃園大溪作為第二個驗證場域,將彰化累積的資料、SOP與加工管理經驗,轉化為可複製、可優化的營運管理模式,帶到不同產地、供應鏈及人員條件下驗證。林佑澤指出,未來若要跨區域擴張,不可能每到一個新地方,就把原有團隊整批搬過去。因此,宜展希望將資深員工的實務經驗,轉化為標準化流程與數據模型,結合AI進行生產排程、資源配置及營運決策,讓新場域能依據當地條件快速調整,降低對特定人員經驗的依賴。

從彰化到桃園,宜展接下來要驗證的,是這套從傳統農產加工現場整理出來的管理方法,是能夠跨區域複製、快速部署並持續優化的農產加工營運系統。 長期目標是降低新場域的建置成本與管理複雜度,提升擴張效率,讓傳統農產加工業具備規模化發展的能力。

登入數位時代會員

開啟專屬自己的主題內容,

每日推播重點文章

閱讀會員專屬文章

請先登入數位時代會員

看更多獨享內容

請先登入數位時代會員

開啟收藏文章功能,

請先登入數位時代會員

開啟訂閱文章分類功能,

請先登入數位時代會員

我還不是會員, 註冊去!
追蹤我們
一次搞懂工業AI
© 2026 Business Next Media Corp. All Rights Reserved. 本網站內容未經允許,不得轉載。
106 台北市大安區光復南路102號9樓