Google在近期宣佈與日本AI新創Sakana AI建立合作夥伴關係，Sakana AI將在產品中導入Gemini，並提供回饋協助Google改善模型品質。乍看之下這是再尋常不過的科技巨頭投資案，實際上卻暗示了這間科技巨頭對Transformer路線的憂慮，以及試圖押注不同作法的技術避險。
根據合作聲明，Sakana AI將能在產品開發中積極使用如Gemini等Google的大型語言模型，並透過Google的雲端基礎設施提供安全性要求高的金融和政府客戶服務；Sakana AI 也將回饋使用者反饋，協助Google改善模型品質。此外，雙方計劃推動人員交流與AI聯合研究。
Sakana AI是誰？為何吸引Google青睞
Sakana AI是一家成立於 2023年 8 月、總部位於東京的前沿人工智慧新創公司，由David Ha、Llion Jones和Ren Ito三位創辦人共同成立。
其中，David Ha曾領導 Google Brain 在日本的研究團隊，擁有深厚的神經網絡與自動機器學習研究背景；Llion Jones 則是2017年開創Transformer架構的《Attention Is All You Need》論文八位作者之一，而這篇論文奠定了 GPT、Gemini、Claude等大型語言模型的技術基礎。
Sakana AI將生物系統與自然演化啟發融入 AI 設計，提出了多種具有突破性的架構與系統，以及進化模型融合（Evolutionary Model Merging）、AB-MCTS多模型協作算法等。這些技術方向反映公司的核心信念：儘管Transformer很強大，生物啟發的技術與混合架構可能是突破瓶頸的關鍵。
Sakana的標誌就是一條逆流而上的魚，象徵著公司不滿足於現有主流AI擴展路線，而是探索全新的架構。「我對Transformer感到徹底厭煩。」Jones認為，當前業界過度專注於縮小研究範圍以追求性能，卻忽略了更根本的創新。
「擴展定律」可能走不通，Google坦承大型語言模型存在侷限
Transformer是2017年由Google研究員提出的一種AI模型架構，它的核心突破在於 「注意力機制」，讓模型能夠在處理序列資料（如語言、程式碼或時間序列）時，自動學習哪些元素最相關，從而大幅提升自然語言理解與生成能力。
當它閱讀一個句子時，不會平均分配注意力，而是會根據上下文判斷哪些詞最重要，例如「小明工作很累，所以他在睡覺」。Transformer會啟動「注意力」，將「他」與「小明」強力連結起來。它能理解「他」指的就是小明，而不是沙發或地板。
並且Transformer不是一個字一個字閱讀文章，同時處理句子裡的所有單詞，這讓訓練速度大幅提升，也讓它能處理超長的文章，這些優勢讓它大幅提升了翻譯精準度與理解能力。
簡單來說，Transformer是目前大型語言模型的基礎，包括OpenAI的GPT系列、Google的Gemini以及其他大多數生成式AI模型。它最大的優勢是可透過增加模型參數、訓練資料和算力而穩定提升性能，這就是所謂的擴展定律（Scaling Law）。也因此，Transformer成為近年 AI 突破的核心引擎。
然而，Transformer也存在侷限，長期推理與持續學習能力有限，模型很難像人一樣累積經驗並自我修正，這讓大型語言模型一直被形容像是一隻「金魚」，訓練完成後無論對話多少次，一旦關閉視窗，這些知識都消失無蹤。
同時依託規模提升性能的作法，耗費大量的能源與運算資源，隨著模型日漸龐大，如今運算需求正指數級上升，這些限制讓業界──甚至Google本身開始思考，僅僅靠擴大Transformer，是否還能通往通用人工智慧？
前Meta首席科學家楊立昆（Yann LeCun）曾公開指出，大型語言模型比貓還笨，缺乏對世界的真正理解，他認為現在的作法根本不可能實現通用人工智慧。他也因為路線的分歧，決定離開Meta創業。
Google DeepMind執行長德米斯．哈薩比斯（Demis Hassabis）曾在Podcast上表示，雖然他不認同楊立昆認為大型語言模型是條死路的極端看法，也坦承他對僅依靠擴展規模能否達成通用人工智慧存疑，表示要實現通用人工智慧目前還欠缺幾個關鍵的技術突破，例如持續學習能力及記憶力。
藉投資新創押注不同解方，降低對單一路線依賴
也因此，Google這次投資Sakana AI的舉動，被認為是在Transformer之外的道路「押注」。他們深知目前的Transformer技術並不足以達到通用人工智慧，Sakana AI的技術說不定就能夠帶來哈薩比斯口中提到，AI技術尚欠缺的幾個關鍵突破，也降低對單一路線的依賴。
事實上，Google內部研究如Titans、Nested Learning、Genie、AlphaProof已針對長期記憶、持續學習、世界模型進行實驗，但多數仍局限於特定領域。Sakana AI的外部創新提供另一條可能的路徑，且成本相對較低。
而且Sakana AI三位創辦人中有兩位都來自Google，保持與這間新創公司的關係，對Google代表著當Sakana AI的路線取得突破或被證實價值時，他們有機會搶先一步將人才及技術納入麾下。
另外，Sakana AI與日本政府、財團、大型企業關係密切。日本企業通常較為保守、對採用AI較為謹慎，Sakana AI可成為Google在日本市場的落地窗口。
Google與Sakana AI的合作關係顯示，儘管Google仍認為大型語言模型是邁向通用人工智慧的重要技術，但不再是唯一的技術，在保持現有技術優勢的同時，對未來可能需要的新架構提前佈局，「後Transformer」的探索與佈局，已經悄悄成為各大科技公司必須考慮的戰略命題。
資料來源：Nikkei Asia、The Neuron
本文初稿為AI編撰，整理．編輯/陳建鈞
責任編輯：李先泰
