NVIDIA重押邊緣運算，GTC發表最小機器人超級電腦Jetson AGX Orin|數位時代 BusinessNext

邊緣運算需求大爆發！NVIDIA發表最小機器人超級電腦Jetson AGX Orin

NVIDIA針對嵌入式邊緣運算場景，推出全球體積最小、功能最強的的人工智慧超級電腦 NVIDIA Jetson AGX Orin。

NVIDIA在GTC秋季活動中，針對機器人、自主機器、醫療器材及嵌入式邊緣運算場景，推出全球體積最小、功能最強的的人工智慧超級電腦 NVIDIA Jetson AGX Orin。

Jetson AGX Orin 每秒可進行 200 兆次的運算，相當於搭載 GPU 的伺服器的運算能力，其運算力是前一代Jetson AGX Xavier 的6倍。Jetson AGX Orin模組及開發套件將於2022 年第一季上市。

新冠疫情之後邊緣運算的需求大爆發，市場無不希望透過降低雲端運算的成本及提高連網可靠性來節約運算成本，Jetson AGX Orin 採用 NVIDIA Ampere 架構 GPU 與 Arm Cortex-A78AE CPU，以及新一代深度學習和視覺加速器，將可加速NVIDIA AI 軟體堆疊的運行速度，為開發人員降低部署龐大架構時的複雜性，提供邊緣人工智慧及機器人在理解自然語言、3D 感知、多感測器融合時所需的運算力。

NVIDIA表示嵌入式邊緣運算的技術快速發展，讓機器人技術和嵌入式運算改變了製造、醫療、運輸、農業、智慧城市等行業的數位化轉型發展，同時也顯示對巨量資料運算的高度要求。

Jetson AGX Orin就是針對目前市場發展的需求而打造，未來將協助85 萬名Jetson開發人員及6千多家企業透過Jetson平台開發更多自主機器和 AI 應用程式。

企業可透過導入Jetson AGX Orin，藉由NVIDIA NGC、NVIDIA TAO Tookit等配套工具簡化訓練模型的時間，並透過雲原生平台工具持續優化運算表現，Jetson AGX Orin的平台軟體框架中針對機器人開發的NVIDIA Isaac Sim on Omniverse，已為機器人作業系統 (ROS) 開發社群提供開發工具資源，簡化開發者在Jetson平台打造AI機器人的流程。

另外，NVIDIA AGX Orin 也針對醫療產業推出全新運算平台 NVIDIA Clara Holoscan，藉由低延遲的邊緣運算及軟體定義的醫療器材程式，提升機器人手術、內視鏡檢查和診斷影像系統設備在物理移動、影像、視覺方面的運算能力，同時將執行任務的相關數據快速回傳給資料中心。

調研公司Gartner預期至2021 年底，超過50%的大型組織將部署至少一個邊緣運算的應用程式來執行物聯網 (IoT) 或沉浸式體驗的運算，組織導入邊緣運算的需求在2019年僅有不到 5%，可見邊緣運算的需求在近年急遽爆發，Gartner更表示預計到2023 年底，超過一半的大型企業將至少部署六個邊緣運算程式。此外，根據Statista的報告也顯示，預計到2026年邊緣運算市場價值將達到109.6億美元。

資料來源：NVIDIA、Venture Beat、AnandTech

因應生成式 AI、代理式 AI 與實體 AI 的崛起，模型成為企業資訊基礎設施的一環，企業不僅需要算力、還必須具備同時管理多個 AI 模型、優化營運成本，以及確保 AI 基礎設施的安全與穩定；有鑑於此，服務超過 2,000 家企業客戶上雲的勤英科技（ELITE CLOUD）將業務範疇從雲端代理延伸到 AI 基礎設施整合商，協助企業整合多元模型資源、因應不同應用場景彈性調度算力資源，在 AI 新世代建立可規模化的 AI Infra 能力。

「隨著 AI 從單一聊天機器人進化到多模型、多代理協作，企業的核心競爭力不再僅是擁有 AI，而是建立一套可管理、多模型共存、穩定、安全且可持續擴充的 AI Infra 環境。」勤英科技區域總經理黃士培表示，為協助更多企業推進 AI 創新實務，勤英科技從原本的 AWS、Google Cloud、Azure 雲端代理角色，進一步轉型為 AI 基礎設施整合服務商，透過多語言模型平台 MixRoute、代理式 AI 導入與企業資料治理服務，協助企業建立真正可落地、可管理、可擴展的 AI 應用架構。

從 IT Infra 到 AI Infra，企業最大挑戰不是模型、算力而是管理

過去幾年，許多企業透過生成式 AI 實現「問問題」、「摘要文件」、「生成簡報」，提升員工工作績效，而代理式 AI 的崛起與普及，則讓「內嵌 AI 的企業應用」快速成為新常態，從企業資源規劃（ERP）、顧客關係管理（CRM）、人力資源（HR），到客服、研發甚至製造系統，AI 開始深度嵌入各類企業應用，AI 扮演的角色也從單純的輔助工具，逐漸進化為企業營運與決策流程的重要核心。

也因此，企業保持未來競爭力的關鍵，不再是「有沒有導入 AI」，而是「是否具備管理 AI 的能力」，包括如何讓多模型共存、如何控管 Token 成本、如何確保資料品質與一致性、如何依不同部門需求配置 Agent，以及如何避免 AI 成為新的資訊孤島，都是企業導入 AI 後的新挑戰。

「Gemini、Claude、OpenAI、Mistral 等模型快速迭代，意味著企業若只押注單一模型，未來很可能在成本、效能與彈性上失去優勢。」勤英科技區域總經理黃士培表示，企業接下來更需要以「Models as Infrastructure（模型即基礎建設）」的思維，將大型語言模型視為與運算、儲存、網路同等重要的基礎資源來規劃、治理以及進行成本管理，將資訊系統架構重塑為 AI 基礎建設。

勤英科技服務的客戶數超過 2,000 家，不少客戶已導入 AI 應用服務，正積極建置 AI Infra 與管理環境，因此，勤英科技自 2025 年積極轉型，將 AI Infra 視為企業長期競爭力的基礎建設來經營，業務範疇從傳統雲端代理擴展至 AI Infra 整合服務商，例如與多模型平台 MixRoute 合作，並開發可支援單一登入（SSO）、彈性調度不同大型語言模型 Token 的管理平台，協助企業簡化模型管理與成本控管，將更多資源與心力聚焦於核心業務與創新應用。

從雲端代理走向 AI Infra 整合，勤英科技從三面向協助企業發揮 AI 綜效

有鑑於 AI 應用與雲端環境息息相關，勤英科技除因應企業客戶的多雲策略協助管理多雲環境、優化成本，以及落實資安治理，更因應不同使用情境推出三種 AI 方案助力企業：

第一：提供開箱即用的 AI 服務。

黃士培以 Google Cloud 的產品為例解釋，透過整合 Gemini 的 Google Workspace，企業可直接在 Gmail、Meet、Docs、Sheets、Slides 中使用 AI 功能，包括會議摘要、文件生成、簡報整理等，快速提升員工生產力，同時，增強企業對 AI 應用的信心，為之後的應用深化做準備。

第二：協助企業規劃、打造與導入代理式 AI 應用服務。

「對於擁有豐沛結構化數據資料、知識庫的企業來說，除以生成式 AI 打造企業大腦，還會透過代理式 AI 提升自動化執行能力，重塑工作效率。」黃士培表示，勤英科技可以基於 Google Gemini Enterprise，提供含括底層雲端架構、AI 模型調度、資料治理與 AI Agent 串接等服務，讓企業員工可以自然語言安全調用企業資料，讓 Agent 進一步執行任務與推動流程。

舉例來說，勤英科技協助在台灣成立超過 50 年的製造業品牌商將 Gemini Enterprise 介接 SAP 與 Salesforce 訓練模型、建立可供 AI 調用的企業知識中樞；另在影音內容生成領域，勤英科技亦協助客戶導入 AI 自動化技術，將內容產製成本縮減達 90%。

第三：提供多模型聚合管理平台，滿足企業以 API 串連各種模型的需求。

勤英科技與新加坡 MixRoute 合作，提供企業客戶多模型管理平台，讓企業可以視需求彈性敏捷的調度 Gemini、Claude、OpenAI 等不同模型，並透過單一帳號、單一帳單與 Budget Alert 機制，管理 token 使用量與 AI 成本。

「透過我們提供的多模型管理平台，企業客戶不會被單一模型綁定，可以在模型快速疊代的環境下，更靈活地管理成本與算力資源。」黃士培如是說道。

總的來說，隨著 AI 應用從單點工具走向大規模企業部署，下一波競爭核心將從模型能力延伸至 AI 基礎設施管理能力，而這也是勤英科技從雲端代理走向 AI Infra 整合服務商背後的核心原因：當 AI 開始成為企業營運的一部分，企業需要的，已不只是模型供應商，而是能協助串接雲端、資料、Agent 與應用場景的長期技術夥伴。

有關更多勤英科技相關資訊，請查詢網站：https://www.elite.cloud/zh/