隨著企業全面導入AI,落地瓶頸不只是模型能力,而是電力、算力、網路與資料治理,鑑於此,中華電信以分散式AI基礎設施,助企業客戶突破AI落地瓶頸,加速AI應用從概念驗證走向規模化部署。
生成式 AI 掀起的大模型競賽仍在持續,但當 AI 開始深入企業營運,競爭焦點已悄悄改變:企業真正需要的不只是更大的模型,而是一套能兼顧算力、電力、低延遲、成本與資料安全的 AI 基礎設施(AI Infrastructure)。
「AI 應用正從模型訓練延伸至大規模推論服務,企業真正需要的是高效能算力、穩定電力、大頻寬低延遲網路,以及完善的資料治理與資安能力。」中華電信研究院副院長王景弘表示。
也因此,中華電信整合全台機房據點、全光通訊網路、雲管平台及資安治理能力,打造分散式 AI 基礎設施,將分散各地的 AI DC (AI Data Center )串聯成一個虛擬、大型算力服務網路(Compute Grid) ,讓企業即使面對電力與算力限制,也能快速部署 AI 應用。
AI 走向推論時代,企業面臨三大基礎設施挑戰
根據全球科技研究機構Gartner預測,截至2028年底,全球將有40%企業將關鍵業務建構在混合運算架構,顯示 AI基礎設施已成為企業數位競爭力的重要基石。
然而,當台灣企業真正導入AI,立即會碰到算力與電力瓶頸:AI推論需求快速增加,GPU供不應求,加上AI DC建置成本高、電力取得困難,使企業即使有AI需求,也未必有足夠算力可用。
其次是即時推論帶來的低延遲需求。智慧客服、智慧製造、智慧交通、智慧醫療等場域,都要求秒級甚至毫秒級回應。如果所有運算都集中於遠端資料中心,不僅延遲增加,也容易受到網路壅塞影響。
最後是資料主權與 AI 治理議題,因為在真實應用情境中,企業真正擔心的不是模型能力,而是跨機房、跨區域運算時,如何兼顧資料安全、權限控管與法規遵循。
從分散式 AI DC 到算力服務網路,中華電信打造 AI 基礎設施新模式
面對上述挑戰,中華電信提出的解方,是建構一張可跨區域調度的「算力服務網路」。
王景弘表示:「中華電信依據各地產業需求與供電條件,在全台部署分散式 AI DC,再透過全光通訊網路串聯成虛擬大型算力中心,讓企業不再受限於單一資料中心的電力與算力。」這樣的架構帶來三項效益:
第一,突破電力限制。企業可跨區調度GPU資源,不必受限於單一據點供電能力。
第二,提高算力使用效率。透過雲管平台整合各地GPU資源,可依不同部門尖峰、離峰需求動態調配,大幅提升設備利用率與投資效益。
第三,提升營運韌性。即使單一AI DC發生故障,也能快速切換至其他節點,確保AI服務持續運作。
王景弘進一步指出:「透過中華電信布局多年的全光通訊網路,企業可以分散式AI DC串聯成高效、穩定且安全的算服務網路。」藉由高速全光網路結合跨雲高速資料傳輸(RDMA)技術,可有效降低跨機房傳輸延遲,讓不同縣市AI DC如同位於同一座資料中心般協同運作;同時透過雲管平台統一管理GPU使用率、能源消耗、成本及資源調度,協助企業兼顧效能、成本與治理需求。
從智慧城市驗證可行性,布局全台 AI 服務網路
中華電信的分散式 AI基礎設施已從概念走向實際應用。
王景弘以高雄智慧城市專案為例說明,中華電信以全光通訊網路串聯高雄與台南兩座AI DC,以跨機房算力資源協助高雄市整合超過百項智慧交通、智慧防災、智慧治理及智慧工業應用。「在這個架構下,大型 GPU 資源集中部署於台南,資料則留在高雄,不僅兼顧資料主權,也能藉由全光通訊網路完成即時 AI 推論,驗證跨區域算力調度已具備商業化落地能力。」
除了高雄智慧城市專案,中華電信亦將相同架構延伸至國科會大南方新矽谷、南北自駕車場域及車路雲協同安全預警等專案,逐步打造跨城市、跨產業的 AI 算力服務網路。
展望未來,中華電信希望扮演的不只是 AI DC 服務提供者,而是整合網路、能源、算力與治理能力的 AI 基礎設施平台夥伴,因為,隨著 AI 應用持續普及,企業競爭力將不再取決於擁有多少 GPU,而是能否即時取得、彈性調度並安全管理算力資源,這不僅是下一波 AI 競爭的核心關鍵,也是中華電信協助企業加速 AI 落地的重要方向。
