哪一款AI最可靠?研究揭Claude家族最老實:為何對LLM來說,坦承無知比「已讀亂回」更難?
哪一款AI最可靠?研究揭Claude家族最老實:為何對LLM來說,坦承無知比「已讀亂回」更難?

重點一:依據 AA‑Omniscience 顯示,多數大型語言模型在高難度知識題上「猜錯比答對多」,僅三款例外;核心指標 Omniscience Index 以懲罰幻覺衡量可靠度。

重點二:在全知指數上,Claude 4.1 Opus因較低幻覺率領先;GPT‑5.1與 Grok 4則多靠較高準確率。

重點三:各模型在不同領域表現不一,沒有「一款通吃」。例如 Claude 4.1 Opus在法律、軟體工程、人文社科較穩

先進 AI 大模型雖然越來越強,但近期一份報告指出,在「少幻覺、敢承認不知道」這件事上,仍然是不及格。

第三方 AI 模型評比平台 Artificial Analysis 於 11 月 18 日公布全新基準「AA‑Omniscience(全知指標)」指出,在面對高難度知識題時,當前主流大型語言模型(LLMs)「猜錯比答對多」,僅有三款模型例外。

該評測以「Omniscience Index(全知指數)」為核心,採用加權懲罰幻覺(錯誤作答)的方法:答對加一分、錯誤且有作答扣一分、選擇不作答記零分,從而衡量「知識可靠度」,而非僅看正確率。

團隊強調,模型的嵌入知識對真實世界應用至關重要;在知識不足時,模型易做出錯誤假設。且即便有工具如網路搜尋輔助,模型也須「先知道該搜什麼」。例如,遇到「MCP」查詢時,不應錯把「Multi Client Persistence」當答案,而應辨識為「Model Context Protocol(模型上下文協定)」。

低幻覺的 Claude vs. 高正確率的 Grok/GPT

Artificial Analysis 指出,在整體「事實可靠度」(Omniscience Index)排名上,Anthropic 的 Claude 4.1 Opus 居首,其優勢主要來自「低幻覺率」。相較之下,OpenAI 與 xAI 的模型則以較高「正確率」拉升名次,但因更傾向在不確定時「冒險作答」,而非「不懂就閉嘴」,因此可靠度未達頂尖水準。

純以「正確率」衡量時,xAI 的 Grok 4 居首,OpenAI 的 GPT‑5 與 Google 的 Gemini 2.5 Pro 緊隨。Artificial Analysis 也提及伊隆·馬斯克近期披露 Grok 4「總參數達 3 兆」,暗示大模型規模與前訓練算力或許是支撐其正確率表現的因素。

最可靠AI有哪些?
這張圖把每個 AI 放在一個座標上。橫軸是「Omniscience Index」,越往右代表越可靠、越少幻覺;縱軸是「Accuracy」(準確率),越往上代表越常答對。
圖/ Artificial Analysis

值得注意的是,在「幻覺率」榜單上,Anthropic 三款機型包辦最低幻覺率前段班:Claude 4.5 Haiku 以約 26% 領先,Claude 4.5 Sonnet 與 Claude 4.1 Opus 分列其後。這也呼應評測核心觀點:高知識並不必然等於低幻覺;能否在不確定時「選擇不作答」是可靠度的關鍵。

知識量不等於可靠度!AI 懂更多,卻未必說得對

Artificial Analysis 團隊在報告中指出,AA‑Omniscience 涵蓋 6,000 題、42 主題、6 大領域(商業、人文與社會科學、健康、法律、軟體工程、工程與數學),並細分 89 子題(如 Python 資料函式庫、公共政策、稅務等),更細緻地刻畫各模型的強弱。

結果顯示: 各模型在不同領域輪流領先,並無「全能王」。 例如,Claude 4.1 Opus 在法律、軟體工程、人文社科領先;OpenAI 的 GPT‑5.1 在商業題表現最可靠;xAI 的 Grok 4 則在健康與「科學、工程與數學」領域居前。

AI 在六個領域的「可靠度分數」
這張熱力圖把各個 AI 在六個領域的「可靠度分數」做橫向比較。每一列是領域(法律、健康、商業、軟體工程、人文社科、理工),每一欄是一個模型。顏色已做「該領域內」的標準化:在同一列裡,最好的模型顯示為綠色,最差的是紅色,中間就落在黃橘色。
圖/ Artificial Analysis

另一個發現是,模型規模與正確率正相關,但不必然提升可靠度。

白話說,模型越大,代表知識量越多,所以在「正確率」排行榜表現亮眼;但由於「可靠度」看的是遇到不確定時會不會硬答、造成幻覺。因此,像 Kimi K2 Thinking 和 DeepSeek R1(0528) 雖然答對比例高,遇到不熟的題目仍可能胡亂作答,拉低了「全知指數」。

反過來說,Llama 3.1 405B 雖然不是最大的,但更懂得在不確定時不作答,幻覺率較低,整體「可靠度」因此勝過規模更大的 Kimi K2 款式。

結論:選用 AI 的建議,也是「誠實為上」

總結來說,AA‑Omniscience 的證據顯示:能在不確定時停手、降低幻覺的模型,才在真實場景更可靠;僅看準確率,會把「會猜」誤認為「會答」。因此,選擇模型時,應以事實可靠度、幻覺率與拒答行為為核心準則,並依領域差異做選擇。

最後,模型規模與準確率雖有正相關,但並不直接降低幻覺;縮減幻覺更依賴訓練與校準機制。基於此,企業在落地知識密集型任務時,應優先採用「校準佳、願意在不確定時拒答」的模型。

延伸閱讀:ChatGPT濫用破折號怎麼改?如何避免飄出超油膩「AI味」?實用指令教學快收藏!
「這是地表最強編碼模型!」Claude Sonnet 4.5上線:更快更穩不加價,它是GPT‑5 Codex最大剋星?

資料來源:AA‑Omniscience、Artificial Analysis

本文初稿為AI編撰,整理.編輯/ 李先泰

關鍵字: #Anthropic #Claude
往下滑看下一篇文章
廢棄碳纖維也能變再生材料!天翊綠能靠低溫解聚技術,獲桃園SBIR助攻產品驗證
廢棄碳纖維也能變再生材料!天翊綠能靠低溫解聚技術,獲桃園SBIR助攻產品驗證

碳纖維因重量輕、強度高,廣泛應用於自行車、汽車、航太及無人機等產業,每公斤原生碳纖維價格可達數百元,部分高階材料甚至高達數千元。然而,這些高價材料製成複合材料後,生產過程產生的邊角料與廢棄物,卻因熱固性樹脂難以分離,往往只能焚化、掩埋或降級使用,讓耗費大量能源製造的碳纖維失去再利用價值。

「產業真正需要的不是把廢棄物處理掉,而是如何把裡面的碳纖維、玻璃纖維重新變成有市場價值的材料。」天翊綠能科技執行長莊文彥指出。深耕複合材料產業約20年的他,於2023年成立天翊,希望透過自主開發的低溫常壓解聚技術,讓廢棄複材重新回到製造業供應鏈。

低溫解聚保留纖維性能,從廢料處理走向材料再生

熱固性複合材料難以回收,關鍵在於樹脂固化後無法像一般塑膠重新加熱熔融。傳統高溫熱裂解雖能去除樹脂,卻可能損傷碳纖維性能;若回收碳纖維強度下降,製造商可能需要增加材料用量以滿足產品的強度要求,反而削弱碳纖維原有的輕量化優勢。

為突破限制,天翊開發低溫常壓化學解聚技術,在約90°C、常壓環境下分離樹脂與纖維,降低高溫處理對纖維性能的影響。不同於將樹脂直接燒除,天翊也推進樹脂回收再利用及化學溶劑循環,提高材料利用效率。根據天翊提供的第三方檢測結果,回收碳纖維在受測性能項目上的表現達原生材料的98%以上。團隊也將回收纖維製成再生碳纖維不織布、板材、塊材及工程材料。

莊文彥表示,再生碳纖維每公斤價格約150至300元,具備成本競爭潛力。天翊也規劃三層商業模式:取得合法處理資格後,協助製造商處理複材廢料並收取處理費;將回收纖維製成再生材料銷售;再與客戶共同開發終端零組件。「我們不希望公司的主要價值停留在『每公斤收多少處理費』,而是希望營收逐步往再生材料與高值應用移動。」莊文彥強調,讓回收材料具備市場需求,才是循環經濟能否持續運作的關鍵。

桃園 SBIR 助攻百公斤級驗證,跨越技術走向產品的關鍵門檻

對技術型新創而言,證明技術可行只是第一步。要讓再生材料進入製造業供應鏈,還必須建立可重複的處理流程、穩定的材料品質及產品驗證機制。這些工作需要投入設備、人力與檢測費用,對商業化初期的天翊而言,是不小的負擔。

在桃園市政府地方型SBIR計畫的研發經費支持下,天翊得以加速推進製程測試、材料檢測與產品驗證。莊文彥指出,過去團隊主要仰賴實務經驗調整回收製程,但要讓技術進入產業應用,還必須建立標準作業流程、進出料紀錄及材料品質數據。透過計畫,天翊逐步完善這些機制,並針對碳纖維自行車、碳纖維預浸布邊料、高壓氣瓶與車用零件等廢料進行測試,完成超過100公斤複材廢料的處理驗證,建立相應的操作條件。

除了製程驗證,補助也支持團隊將回收纖維製成不織布、模具及相關產品,確認再生材料能否符合實際需求。其中,以再生碳纖維氈製作的模具,相較原本的玻璃纖維模具,減重約56.96%;以再生碳纖維氈製作的產品,相較原本玻纖產品,減重約27.77%。這些成果讓天翊不再只能向客戶說明技術可行性,而能透過具體的材料與產品數據,爭取後續合作機會。

天翊也與既有下游夥伴推進汽車零組件應用,累積再生材料進入供應鏈所需的驗證經驗。「SBIR對我們而言,不只是補助研發,而是幫助公司跨過了『實驗室技術走向實際產品』非常重要的一段。」莊文彥表示,政府資源不僅分攤研發成本,更協助團隊補足商業化所需的品質管理與產品驗證基礎。

以桃園為循環基地,從碳纖維走向風機葉片回收

除了研發補助,桃園聚集電子、汽車、航空與複合材料產業,也讓天翊有機會就近尋找廢料來源、加工夥伴及應用客戶。此外,天翊與桃園市政府消防局就高壓氣瓶展開合作,嘗試將回收技術應用於地方政府實際產生的循環需求。團隊目前持續推進桃園廠區設置與再利用相關申請,希望建立「在地廢料、在地回收、在地再製」的產業模式。

不過,即使技術與產品驗證已取得初步成果,天翊仍須完成事業廢棄物再利用相關許可程序,才能依核准條件擴大收料與處理規模。漫長的審查過程雖然增加營運成本,但莊文彥認為,除了回收技術,合法處理資格、穩定料源與產品市場,同樣是建立長期競爭優勢的關鍵。天翊的長期目標則不止於碳纖維。莊文彥補充,當初投入低溫常壓解聚技術,也考量到未來大型風力發電機退役葉片的回收需求。風機葉片主要由玻璃纖維、樹脂及部分碳纖維構成,體積龐大且難以回收,隨著全球風電產業發展,退役葉片處理將成為重要課題。天翊也已取得風機葉片回收處理方法的臺灣發明專利與美國發明專利。

因此,團隊選擇先從材料價值較高的碳纖維切入,累積技術驗證、設備放大與商業化經驗,再逐步拓展至大型風機葉片。「我們希望證明,複合材料不是只能從製造走向廢棄,而是可以從廢棄再回到材料、再回到產業。天翊要做的,就是把這條循環真正建立起來。」莊文彥說。

登入數位時代會員

開啟專屬自己的主題內容,

每日推播重點文章

閱讀會員專屬文章

請先登入數位時代會員

看更多獨享內容

請先登入數位時代會員

開啟收藏文章功能,

請先登入數位時代會員

開啟訂閱文章分類功能,

請先登入數位時代會員

我還不是會員, 註冊去!
追蹤我們
一次搞懂工業AI
© 2026 Business Next Media Corp. All Rights Reserved. 本網站內容未經允許,不得轉載。
106 台北市大安區光復南路102號9樓