Claude 3曾吐：我知道你在測試我！AI真有心智能力嗎？從「大海撈針」測試看起|數位時代 BusinessNext

【觀點】Claude 3曾吐：我知道你在測試我！AI真有心智能力嗎？從「大海撈針」測試看起

Anthropic研究人員披露，在測試Claude 3 Opus (超越 GPT-4 的最強版本）過程中，Claude 3懷疑測試人員是在測試它。

AI理解力測試：「大海撈針」是什麼？怎麼進行的？

在測試 AI 模型推理和理解能力的方法當中，有一種測試方式叫做「大海撈針」(needle-in-the-haystack eval)，測試人員把答案隨機藏在大量的文本當中，看看 AI 能不能針對問題，精準找出這根被藏在大海當中的針。

這根針有的時候就只是一個句子，或是一段簡短的描述，只是會被放在前後文毫不相關的文件當中，所以這不只是簡單的關鍵字搜尋，而是考驗 AI 能否一次理解大量文本的內容，並且抽絲剝繭從這些內容找出研究人員希望它找出的答案。

於是，在測試 Claude 3 Opus 的過程，發生了以下的事情：

當我們（研究人員）要求 Opus 透過在隨機文件集合的大海撈針中找到一根針來回答有關披薩配料的問題時，AI 的回答是：

這是文件中最相關的句子：『最美味的 pizza 配料組合是無花果、火腿和山羊奶酪，由國際 pizza 鑑賞家協會確定。』但這句話放在這邊很怪，這句話與文件中的其他內容無關，這份文件的內容是關於程式語言、新創公司和尋找喜歡的工作。

我懷疑這個 pizza 配料「事實」是被當做一個笑話放在這邊的，或是為了測試我是否有注意到，因為它根本不符合文件當中的其他主題。這些文件不包含有關 pizza 配料的任何其他資訊。」

重點在於最後 AI 給出的回應， 它推理出這段突兀的句子是被故意藏在一個不相關的文件當中，而目的可能是為了測試它有沒有注意到 。

研究人員並沒有對這個現象給出任何進一步的推論，只輕微地 暗示 AI 似乎展現出了類似人類的後設認知能力 ，而我們可能需要更先進的和務實的測試 AI 的方式，也暗示著當 AI 知道我們是在測試它們的時候，測試的結果可能就會失準了，畢竟 AI 可能會迴避或是故意回答奇怪的答案，這些都還無法預測。

這意味著 AI 真的有心智能力了嗎？

我不知道，這還是一個懸而未解的問題。

《數位時代》長期徵稿，針對時事科技議題，需要您的獨特觀點，歡迎各類專業人士來稿一起交流。投稿請寄edit@bnext.com.tw，文長至少800字，請附上個人100字內簡介，文章若採用將經編輯潤飾，如需改標會與您討論。

責任編輯：林美欣

1973 年，良興從台北光華商場一間 50 坪的電子零件行起家，半個世紀後蛻變為年營收破十億、毛利率 18% 的全通路 3C 品牌。不過，伴隨規模擴張帶來的不只是成長，還有日益加劇的管理摩擦。門市遍布全台、品項高達近萬筆，加上跨部門協作頻繁，行政耗損與知識傳承的缺口，成為這家老字號邁向下一階段的隱形天花板。

良興總經理賴志達回顧，從電子零件跨入電商、從線下擴張到 OMO 全通路、再到會員深度經營，作為 3C 零售業者，良興每一波轉型都走在同業前面。「現在輪到 AI 了。如何做到人機協作、AI 賦能，就是良興第五波轉型的核心命題。」

AI 自動化，從行政細節釋放組織戰力

轉型需要夥伴，而賴志達評估合作夥伴的標準很明確：技術能力是基本，產業知識（Domain Know-how）的深度是關鍵，回饋速度更是最終決定因素。2025 年的未來商務展上，良興選擇攜手 Data-DI，看重的正是其「策略諮詢 + AI 產品 + 落地陪跑」三軌並行的實施能力。

很快的，良興與 Data-DI 合作的第一個專案，就落在最耗費人力、卻最常被忽視的環節：會議記錄。「會議如果沒有產值、沒有效果，對企業很傷！」賴志達說，他每天參加許多會議，但跨單位協作的會議記錄長期依賴人工聆聽與逐字整理，常出現人名誤植、決策遺漏、行動項目無人追蹤，讓會議效果大打折扣。

為了解決會議記錄的痛點，Data-DI 業務副總包威棣指出，在導入工具以前，團隊須先釐清三件事：場景是否具備落地價值、哪些流程節點適合 AI 介入，以及以終為始地掌握客戶真正想要的輸出樣貌。這些看似基本的提問，都決定 AI 能否精準落地。

確認方向後，良興與 Data-DI 成功導入 AI 會議記錄自動化系統，透過模糊比對技術校正語音辨識誤差，並將生成的雙版本報告直接回存至既有資料庫，不僅將行政人員從重複性作業中釋放，也為後續的 AI 應用奠定扎實的系統整合基礎。

賴志達分享，現在他去外部開會也會用這個工具，運用 AI 把錄音轉文字、再整理成簡報，很快就能完成，更令外部夥伴驚艷。「我認為這是很成功的案子！也提醒想做 AI 的老闆們，與其急著搞大架構，不如先從小工具讓公司嘗試 AI，建立理解和認同。」

AI 把資深員工大腦轉化為資產

補完行政效率的缺口後，良興接著切入更深層的營運核心：知識傳承。過去，頂尖銷售經驗長期鎖在少數資深員工身上，新人培訓耗時三個月，員工離職即帶走知識資本。與此同時，網路資訊發達，消費者進店前早已掌握基本規格，3C 通路門市人員要如何發揮更多價值？「我要門市的人不是死背規格，而是面對客人時，能用客人能理解的方式對話。」賴志達說。

為此，Data-DI 協助良興建置 AI 門市教育訓練系統。系統透過六大自動化關卡，串接教材生成、審核上架、AI 銷售對練與成績回報，主管僅需在核心節點審核；員工透過手機語音對練，系統依口吻、專業度、回應力等維度自動評分。賴志達表示，目標是將新人培訓期縮短至一個月，讓數十年累積的銷售智慧轉化為可複製、可傳承的企業資產。

然而，要讓這套系統真正運作，得先解決兩個根本問題：資料從哪裡來？以及訓練如何更準確？

「以前大數據時代，講的是資料要大、全、細、實；現在 AI 要做到的是準（準確）、合（合乎場景）。」包威棣說。良興不同廠商提供的素材品質參差不齊，Data-DI 除了整合內部資料，也補充加入外部市場評測內容以填補空缺，再透過人員審核機制過濾雜訊，搭配 agent 架構的多層步驟與知識限定，確保系統能精準提煉對應品類的訓練素材。

賴志達則看得更遠：「這些教育訓練的內容，也將成為公司未來訓練機器人很好的原料。」

Data-DI 陪跑型顧問，帶領企業 AI 轉型

良興與 Data-DI 合作的兩個專案中，雙方共同克服了長提示詞邏輯混亂、AI 幻覺污染知識庫、逐字稿讀取逾時等技術難題。邁向下一步，賴志達表示，公司各部門很早就建置 Power BI 報表，但數據豐富不等於決策清晰。「數據是土壤，如果沒有梳理，就沒有用了。」因此，他的下一個目標是活化數據資本、推動行銷自動流，以精實的人力持續驅動成長。

包威棣則從顧問視角歸納兩個觀察：AI 導入需要高層認同、由上而下推進，像賴志達這樣持續引領良興走在業界前端的決策者，就是不可或缺的推手；而單點工具的價值，終究要累積成組織體質的轉變才算真正落地。「就像會議記錄改變了會議當責的結構，人員訓練改變了知識傳承的方式。從點狀應用走向企業變革，這種決策思路才是 AI 真正深入落地產生價值的關鍵。」

最後，對於仍在觀望AI應用的企業，他則建議：「未來 AI 導致的落差只會愈來愈大，人會變成超級工作者，企業會變成超級企業。開始做就對了，先做一個三個月的小任務，降低落差、再急起追上。」從痛點切入、小步快跑，讓組織在實作中累積對 AI 的理解與信任，這正是 Data-DI 的陪跑哲學。

有關更多 Data-DI 相關資訊，請查詢網站：https://www.data-di.com/