AWS雲端年會｜一口氣推AI模型Nova、AI晶片Trainium2，亞馬遜如何撼動輝達霸業？|數位時代 BusinessNext

雲端龍頭亞馬遜AWS的年度大會re:invent於台灣時間12月4日登場，作為年底壓軸登場的大型發布會，AWS終於在生成式AI大戰開打兩年後，正式推出大型語言模型系列「Nova」，有四種等級，號稱能同時滿足高速、成本效益、專業、資料量等企業需求。

同時，AWS在自研晶片展現挑戰NVIDIA的野心，推出第二代AI訓練晶片Trainium2、超級伺服器，同時攜手AI新創Anthropic打造「史上最大的AI運算群集」，希望搶下超級電腦的話語權。

大語言模型：Nova系列誕生，四種規格供客戶自選

AWS終於推出自家的大語言模型了，過去兩年Google、微軟等競爭對手在模型上打得火熱，AWS選擇以能統整多種模型供企業選用的平台Bedrock，作為最主力的武器，更喊出「這世界上沒有最強的模型」作為口號，今年也再度重申。

不過這一次，AWS宣布正式推出自家訓練的多模態生成式AI模型「Nova」，加入平台上眾多的模型陣營之中。共有四種等級可供客戶依照需求選擇：Micro、Lite、Pro 和 Premier，分別有不同的優勢。

◆Micro：純文字模型，能達到四種裡面最低的延遲，以小規模高速處理。
◆Lite：能處理文字、圖片、影像，但「體型」輕盈，強調最佳成本效益。
◆Pro：能處理文字、圖片、影像的專業多模態模型，兼顧速度、準確性、多元工作內容。
◆Premier：系列中功能最強大的模型，甚至可以作為「其他模型的老師」，也就是用來訓練其他大語言模型的能力。

除了這些通用模型外，還專門推出圖片、藝術生成的Nova Canvas，提供工作室等級的專業製作，內有控制色彩濃淡、版面配置和專業水印等功能。另外還有專業影音生成的Nova Reel，可以控制360度旋轉、放大縮小等運鏡方式。

AWS執行長安迪．賈西（Andy Jassy）指出，整個系列成本都非常有效益，比其他Bedrock中其他同等級模型都便宜75%，而Nova全系列除了高階的Premier和Nova Canvas、Nova Reel在明年才會登場外，其他都已經上線供AWS客戶使用。

安迪．賈西強調，目前市面上已經有各種類型的模型，但客戶的需求尚未被滿足，同時能符合四大條件—提供豐富知識、符合成本效益、低延遲、垂直產業專業需求的模型，目前並不存在，因為四點之中仍有幾項是互相矛盾的，例如知識量大成本就高，延遲也更久，因此需要專門的訓練去滿足這些需求。

自研晶片：攜手Anthropic挑戰NVIDIA

雖然大語言模型是第一代，但是在自研晶片上AWS已經是耕耘數8年的老手，旗下也有4大晶片產品線，分別針對不同需求提供算力。

今年，專為模型訓練設計的Trainium也推出了第二代，簡稱Trn2，採台積電5奈米製程，效能比上一代提升4倍，能整合16顆晶片，算力達到20.8 petaFLOPS（每秒浮點運算次數），等於每秒可以執行20.8萬兆次運算。

作為比較，NVIDIA三月推出的Blackwell B200算力為20 petaFLOPS。也因為算力達到高效益，能耗降低2倍，同時也大省GPU成本，最高降低40%。

外界普遍認為，AWS想要藉由Trainium2挑戰NVIDIA的AI晶片市場領導地位，甚至手機龍頭大廠蘋果高層Benoit Dupin都向媒體透露，已經成為這款晶片的客戶。

安迪．賈西更預告，下一代Trainium3晶片也已經在路上，將採用3納米製程，2025年底就會推出。

除了晶片本身，還推出了一款超級伺服器「EC2 Trn2 UltraServers」，由64顆Trainium2組成，算力、內存、傳輸能力都提高四倍，一口氣拉升到83.2 petaFLOPS。

而AWS去年宣告和NVIDIA合作建設超級電腦，今年則表示即將和生成式AI領域大放異彩的新創公司Anthropic攜手合作，推出「Project Rainier」計畫，把這些Trn2 UltraServers超級伺服器組合成「史上最大的AI運算群集」，搭載數十萬個Trainium2晶片，號稱是為「未來等級的AI訓練」做好最萬全的準備。

總結：AWS領域展開

AWS在生成式AI領域一直相對低調，不過在雲端基礎建設一直處於領先地位，加上靈活選用模型的Bedrock平台，成為生成式AI大戰中吸引企業客戶的絕招。

不過今年發布會可以看出AWS相對「大膽」的競爭策略，直接推出大型語言模型Nova加入Bedrock中，形成平台兼玩家的局面，更直言比各家模型都更便宜高效率，等於直接下場和其他合作夥伴競爭客戶的青睞。

此外，AWS和NVIDIA之間的「瑜亮情結」也隨著自研晶片的發展持續發酵中，雖然雙方仍有持續合作，但在AI伺服器等基礎設施越來越昂貴的大環境下，AWS背後擁有的龐大雲端算力，相比之下更能靈活調節工作負載，成為企業降低成本的希望，也讓使用AI的門檻更低。

英國研調機構Finimize指出，AWS將持續以Trainium等一系列AI晶片，挑戰龍頭NVIDIA的地位。

延伸閱讀：2024 MarTech 行銷科技高峰會登場！AI 浪潮下一步，從效率導向到創造品牌價值

責任編輯：李先泰

「代理式 AI 」（Agentic AI）的創新服務正在重新塑造企業對AI的想像：成為內部實際運行的數位員工，提升關鍵工作流程的效率。代理式AI的技術應用清楚指向一個核心趨勢：2025 年是 AI 邁向「代理式 AI」的起點，讓 AI 擁有決策自主權的技術轉型關鍵，2026 年這股浪潮將持續擴大並邁向規模化部署。

面對這股 AI Agent 浪潮，企業如何加速落地成為關鍵，博弘雲端以雲端與數據整合實力，結合零售、金融等產業經驗，提出 AI 系統整合商定位，協助企業從規劃、導入到維運，降低試錯風險，成為企業佈局 AI 的關鍵夥伴。

避開 AI 轉型冤枉路，企業該如何走對第一步？

博弘雲端事業中心副總經理陳亭竹指出，AI 已經從過去被動回答問題、生成內容的智慧助手，正式進化為具備自主執行能力、可跨系統協作的數位員工，應用場景也從單一任務延伸至多代理協作（Multi-Agent）模式。

「儘管 AI 前景看好，但這條導入之路並非一帆風順。」博弘雲端技術維運中心副總經理暨技術長宋青雲綜合多份市場調查報告指出，到了 2028 年，高達 70% 的重複性工作將被 AI 取代，但同時也有約 40% 的生成式 AI 專案面臨失敗風險；關鍵原因在於，企業常常低估了導入 GenAI 的整體難度——挑戰不僅來自 AI 相關技術的快速更迭，更涉及流程變革與人員適應。

博弘雲端事業中心副總經理陳亭竹指出，AI 已經從過去被動回答問題的智慧助手，正式進化為具備自主執行能力、可跨系統協作的數位員工。面對這樣的轉變，企業唯有採取「小步快跑、持續驗證」的方式，才能在控制風險的同時加速 AI 落地。

圖／數位時代

正因如此，企業在導入 AI 時，其實需要外部專業夥伴的協助，而博弘雲端不僅擁有導入 AI 應用所需的完整技術能力，涵蓋數據、雲端、應用開發、資安防禦與維運，可以一站式滿足企業需求，更能使企業在 AI 轉型過程中少走冤枉路。

宋青雲表示，許多企業在導入 AI 時，往往因過度期待、認知落差或流程改造不全，導致專案停留在測試階段，難以真正落地。這正是博弘雲端存在的關鍵價值——協助企業釐清方向，避免踏上產業內早已被證實「不可行」的方法或技術路徑，縮短從概念驗證到正式上線的過程，讓 AI 真正成為可被信賴、可持續運作的企業戰力。

轉換率提升 50% 的關鍵：HAPPY GO 的 AI 落地實戰路徑

博弘雲端這套導入方法論，並非紙上談兵，而是已在多個實際場域中驗證成效；鼎鼎聯合行銷的 HAPPY GO 會員平台的 AI 轉型歷程，正是其最具代表性的案例之一。陳亭竹說明，HAPPY GO 過去曾面臨AI 落地應用的考驗：會員資料散落在不同部門與系統中，無法整合成完整的會員輪廓，亦難以對會員進行精準貼標與分眾行銷。

為此，博弘雲端先協助 HAPPY GO 進行會員資料的邏輯化與規格化，完成建置數據中台後，再依業務情境評估適合的 AI 模型，並且減少人工貼標的時間，逐步發展精準行銷、零售 MLOps（Machine Learning Operations，模型開發與維運管理）平台等 AI 應用。在穩固的數據基礎下，AI 應用成效也開始一一浮現：首先是 AI 市場調查應用，讓資料彙整與分析效率提升約 80%；透過 AI 個性化推薦機制，廣告點擊轉換率提升 50%。

左、右為博弘雲端事業中心副總經理陳亭竹及技術維運中心副總經理暨技術長宋青雲。宋青雲分享企業導入案例，許多企業往往因過度期待、認知落差或流程改造不全，導致專案停留在測試階段，難以真正落地。這正是博弘雲端存在的關鍵價值——協助企業釐清方向，避免踏上產業內早已被證實「不可行」的方法或技術路徑，縮短從概念驗證到正式上線的過程，讓 AI 真正成為可被信賴、可持續運作的企業戰力。

圖／數位時代

整合 Databricks 與雲端服務，打造彈性高效的數據平台

在協助鼎鼎聯合行銷與其他客戶的實務經驗中，博弘雲端發現，底層數據架構是真正影響 AI 落地速度的關鍵之一，因與 Databricks 合作協助企業打造更具彈性與擴充性的數據平台，作為 AI 長期發展的基礎。

Databricks 以分散式資料處理框架（Apache Spark）為核心，能同時整合結構化與非結構化資料，並支援分散式資料處理、機器學習與進階分析等多元工作負載，讓企業免於在多個平台間反覆搬移資料，省下大量重複開發與系統整合的時間，從而加速 AI 應用從概念驗證、使用者驗收測試（UAT），一路推進到正式上線（Production）的過程，還能確保資料治理策略的一致性，有助於降低資料外洩與合規風險；此對於金融等高度重視資安與法規遵循的產業而言，更顯關鍵。

陳亭竹認為，Databricks 是企業在擴展 AI 應用時「進可攻、退可守」的重要選項。企業可將數據收納在雲端平台，當需要啟動新型 AI 或 Agent 專案時，再切換至 Databricks 進行開發與部署，待服務趨於穩定後，再轉回雲端平台，不僅兼顧開發效率與成本控管，也讓數據平台真正成為 AI 持續放大價值的關鍵基礎。

企業強化 AI 資安防禦的三個維度

隨著 AI 與 Agent 應用逐步深入企業核心流程，資訊安全與治理的重要性也隨之同步提升。對此，宋青雲提出建立完整 AI 資安防禦體系的 3 個維度。第一是資料治理層，企業在導入 AI 應用初期，就應做好資料分級與建立資料治理政策（Policy），明確定義高風險與隱私資料的使用邊界，並規範 AI Agent「能看什麼、說什麼、做什麼」，防止 AI 因執行錯誤而造成的資安風險。

第二是權限管理層，當 AI Agent 角色升級為數位員工時，企業也須比照人員管理方式為其設定明確的職務角色與權限範圍，包括可存取的資料類型與可執行的操作行為，防止因權限過大，讓 AI 成為新的資安破口。

第三為技術應用層，除了導入多重身份驗證、DLP 防制資料外洩、定期修補應用程式漏洞等既有資安防禦措施外，還需導入專為生成式 AI 設計的防禦機制，對 AI 的輸入指令與輸出內容進行雙向管控，降低指令注入攻擊（Prompt Injection）或惡意內容傳遞的風險。

博弘雲端技術維運中心副總經理暨技術長宋青雲進一步說明「AI 應用下的資安考驗」，透過完善治理政策與角色權限，並設立專為生成式 AI 設計的防禦機制，降低 AI 安全隱私外洩的風險。

圖／數位時代

此外，博弘雲端也透過 MSSP 資安維運託管服務，從底層的 WAF、防火牆與入侵偵測，到針對 AI 模型特有弱點的持續掃描，提供 7×24 不間斷且即時的監控與防護。不僅能在系統出現漏洞時主動識別並修補漏洞，更可以即時監控活動，快速辨識潛在威脅。不僅如此，也能因應法規對 AI 可解釋性與可稽核性的要求，保留完整操作與決策紀錄，協助企業因應法規審查。

「AI Agent 已成為企業未來發展的必然方向，」陳亭竹強調，面對這樣的轉變，企業唯有採取「小步快跑、持續驗證」的方式，才能在控制風險的同時，加速 AI 落地。在這波變革浪潮中，博弘雲端不只是提供雲端服務技術的領航家，更是企業推動 AI 轉型的策略戰友。透過深厚的雲端與數據技術實力、跨產業的AI導入實務經驗，以及完善的資安維運託管服務，博弘雲端將持續協助企業把數據轉化為行動力，在 AI Agent 時代助企業實踐永續穩健的 AI 落地應用。

>>掌握AI 應用的新契機，立即聯繫博弘雲端專業顧問