AI發展的瓶頸是什麼？未來會有更多客製化晶片嗎？又，下一個可能改變AI發展的關鍵技術突破會是什麼？
Google AI與基礎設施資深副總裁暨首席技術專家瓦赫達特（Amin Vahdat），可能是最適合解答上述疑問的人之一。他不僅掌管Google數兆元基礎建設和算力配置，也主導TPU的開發走向，這次他除了首度在SEMICON Taiwan發表主題演講，也在媒體訪問過程中，揭露了多項與台廠AI供應鏈息息相關的關鍵訊息。
AI瓶頸在哪？Google：算力、電力、記憶體隨時都可能卡關
首先，全場最關心的一個問題就是：AI的瓶頸在哪裡？是算力、電力，還是記憶體？
「我會告訴你，這取決於是星期幾，甚至取決於是幾點。」他看似開玩笑的回答，卻是再真實不過的狀況。他表示，往往發生在早上十點的缺口，到中午可能又會不一樣了。
這實際上也是他這些年來最深的體會：「你絕不能對任何一個限制掉以輕心，如果你這麼做，絕對會後悔。」他提醒：「當你開始對其中一個感到放心時，就會有另一個在你最意想不到的時候跑出來咬你一口。」
而且對Google來說，要在維持模型效能與控制資料中心擴張成本之間取得平衡，可以說是最重要的工作之一，而這項任務在Google，基本上是以周為單位在做即時動態調整。他們會根據當周在哪裡有最大的機會，決定在那裡投入資源。
這是為什麼瓦赫達特會說：「想做年度計畫？那是沒指望的。」因為沒有任何一個答案放到一年之後會是完全準確的。
他這些發言，為台灣AI供應鏈帶來兩個重要訊息： 第一，不論你是負責供給電源、散熱、機構，還是其他項目，隨時都有成為主角的機會 ； 第二，隨時都要做好被追單的準備 。
AI晶片走向專用化！CPU也要變，台廠迎客製化晶片新機會
全場的第二個討論焦點，落在TPU和專用晶片上。
Google發表第八代TPU時，首度分成推論用的8i和訓練用的8t兩個版本。當瓦赫達特被問到接下來AI晶片是否會更進一步因應不同專業應用細分發展時，他毫不猶豫地給了肯定的答案。
「我認為在某種程度上，這是不可避免的，因為隨著對運算的需求持續增長，我們知道建立更專業的硬體可以帶來顯著的效能與效率提升，以及功耗效率的提升。」他說。
而走入專業化細分與否，關鍵在於投資回報率。
瓦赫達特表示，Google之所以會在兩年前就確定第八代TPU要根據任務的不同，分成兩個版本，主因是他們分析之後，認為推論和訓練個別都會有足夠大的市場需求，可以創造出夠高的投資報酬率。而他現在也在其他專業化領域看到了類似的狀況。
包括CPU也是其中一項。瓦赫達特指出，現在代理運算經常會發生的一種情況是，價格高昂的TPU或GPU處於閒置狀態，必須等待CPU完成任務，然後才能繼續下一輪模型呼叫。這裡有明顯的痛點，也是他預期CPU將會往專業化發展的原因。
整體來說， 當AI晶片的碎片化發展成為趨勢，就代表接下來會有更多客製化和設計協作的需求，這將是台灣可以掌握的機會點 。而要特別注意的是，要判斷機會發生的時機點，比起技術突破，更關鍵的會是市場規模與投資報酬率。
AI下一個技術突破在哪？Google點名「資料移動、動態散熱」
在訪問現場也備受關注的第三個主題是：AI發展的下一個創新突破會是什麼？
瓦赫達特在演講中提到，現在正進入「硬體文藝復興時期」，並點出幾大硬體設計突破的機會。但對於哪一條路可以最快抵達終點？哪一個項目是最被看好的？他沒有給出明確答案。
瓦赫達特將此比喻為創投的投資組合：「創投不會說，這是我唯一的一筆下注，我要把所有東西都押在這裡。」他表示，更可能的情況是，你會下十個、二十個注，當中多數可能都以失敗告終，但你會從中有所學習，並且在其中一、兩個得到巨大成功。
這個心得實際上是來自他多年的研究背景。「在這場技術競賽的初期，你無法預測哪些想法會成功。」他認為唯一能做的，就是全面支持研究，並且保持耐心。
不過瓦赫達特仍然透露了兩項已經在進行中的突破方向，第一是減少資料移動。
他表示，運算其實不貴，真正貴的是資料移動，因此他們正在TPU底層設計上努力的一件事，就是要確保輸入資料，盡可能靠近運算單元。用一句話來說，就是要實現資料移動最小化的架構創新。
第二個他看好的突破，是 動態散熱 。
「我們看到了一些非常令人振奮的技術進展，我們能根據正在執行的運算類型，確切掌握晶片哪些部位正在發熱，並且能近乎即時地做出應對。」他說：「那裡也有非常有趣的機會。」
Google擁有14項超過十億用戶的服務，因此他們不只是從硬體出發思考硬體，而是能從應用端的第一手需求，回頭牽引下一代硬體的發展方向。
也因此，瓦赫達特這次來台，與其關心下一代TPU會長什麼樣子，更該掌握的訊息，是Google正在關心、解決什麼問題。對台灣供應鏈而言，保持彈性、隨時準備成為主角，才能在需求轉變時接住機會；而Google正在解決的問題，也是下一個大市場成形前，台廠有機會提前卡位的地方。
（本文出自商業周刊）
