影片|Google能用影片搜尋了!AI助手Astra超狂理解力、影片生成模型Veo,還有哪些AI革命?
影片|Google能用影片搜尋了!AI助手Astra超狂理解力、影片生成模型Veo,還有哪些AI革命?

Google年度開發者大會I/O於台灣時間5月15日凌晨登場,今年火力全開更新AI功能,會後統計這場活動中一共提到122次「AI」。

Gemini以「多模態」形式進入搜尋引擎、助手等功能中,今年開始Google將能夠用「影片」進行搜尋,同時推出AI Overview功能,靠AI協助把搜尋內容摘要整理;智慧助手Astra能夠邊錄影邊辨認畫面中的物體、動作等資訊,即時回應相關問題;大型語言模型則推出全新的Gemini 1.5 Flash和影像生成模型Veo。

Google Deepmind Demis Hassabis
Google Deepmind領導人德米斯.哈薩比斯(Demis Hassabis首次出席Google I/O。。
圖/ Google

《數位時代》前進現場直擊,Google I/O最新發布內容。

AI革命一:搜尋引擎!除了能搜尋影片、還能理解更複雜指令!

首先是鞏固Google龍頭地位的搜尋引擎,這次迎來根本性的更新,加入Gemini的新能力後,不只能辨識影音內容,還可以理解更長更複雜的指令。

Google能用「影片搜尋」了!

Google搜尋過去很長一段時間都以文字、圖片為主要搜尋方式,如今終於進階,開放「影片搜尋」,可以即時拍攝影片,用語音或文字簡單補充詢問,搜尋引擎會自動分析畫面中的內容並提供相應的回覆。

現場展示功能,當播放黑膠唱片時遇到技術困難,金屬唱針不規則晃動,可以用影片錄下畫面,並語音簡單詢問「為什麼會這樣?」Google就會自動搜尋,並且透過Google Overview的功能提供AI搜尋摘要。

Google I/O影片搜尋功能展示

AI Overview:理解更長更複雜的指令

AI Overview是Google去年發表的技術,會在搜尋引擎頂端摘要、整理搜尋到的內容,這一次透過Gemini模型新的「多步驟推理能力」,AI Overview能處理複雜的問題。不管問題有多大串、包含多少細節和該注意的地方,都不用再分次查詢。

例如用戶想找一間新的瑜珈或皮拉提斯教室,可以直接搜尋:「 幫我找在波士頓最棒的瑜珈或皮拉提斯教室,並告訴我它們的新會員優惠資訊、還有從燈塔山走過去的時間。內容包含多項需求,但AI Overview功能依舊可以完成任務。

AI革命二:Astra助手!即時分析影片內容,思考反應

今年首度登上I/O舞台的Google Deemind負責人傑米斯·哈薩比斯(Demis Hassabis)上台展示Google「未來的人工智慧助手」——名為「Astra」的助手,號稱能像人類一樣理解這個動態且複雜的世界。

Astra同樣解鎖「多模態」的能力,加入影片的即時分析技術,能夠在看到動態畫面時快速思考和反應,甚至可以擁有記憶力,這項功能一發表,讓現場響起如雷掌聲。

Google Astra

在展示的功能中,使用者拿著手機邊拍畫面邊到處走動,先走到窗邊詢問Astra「你覺得我現在人在哪個社區」,接著拍到電腦畫面,用筆刷圈選螢幕中的程式碼問Astra「你覺得哪裡有問題要改善?」甚至在影片結束前,可以問Astra「記不記得我的眼鏡放在哪裡?」Astra也能分析這幾分鐘經過的所有畫面,找到眼鏡所在的影格並分析畫面中的資訊,最後得出結論;「放在一顆蘋果旁邊。」

AI革命三:Google相簿搜尋!AI幫你找照片、記錄生活

Google也在Google相簿推出Ask Photos with Gemini功能,可以透過影像分析將照片中的物體分類,並貼上關鍵字標籤,例如用戶可以快速找出帶有自己車子車牌的照片,甚至可以記錄「女兒學習游泳的過程」,並將這些相關的照片整理,當詢問Gemini:「我女兒是何時學會仰式的?」可以快速找出相關圖片並提供日期作為答覆。

Google I/O
Google I/O公布Google相簿搜尋功能。
圖/ Google

AI革命四:Android!Gemini橫跨對話、影音等所有體驗

Android預計將成為Google AI功能體驗最佳的載具,Gemini在手機裡會隨時準備好提供多元協助,根據大會中展示的應用,可以在聊天的對話中隨時生成迷因圖,或者詢問體育影片中的規則,若收到80多頁的PDF檔案也可以透過Gemini Advanced App「現學現賣」,即時回答問題。

Google I/O Gemini
大量參數處理的能力,讓Gemini可以在幾秒鐘內讀通整本經濟學,並提供摘要或回答問題。
圖/ 隋昱嬋攝影

AI革命五:Gemini更新!新模型Flash,更輕量、一次處理百萬token

大型語言模型的技術,是這次所有新功能的重要基礎。Gemini作為Google最核心的AI大型語言模型,這次更新直攻「多模態」和「大量處理」兩大核心能力,進化到能一口氣處理百萬token的文字、圖片、影音。

Gemini 1.5 Flash

這次Gemini家族全新成員Gemini 1.5 Flash,大小介於Gemini 1.5 Pro和Gemini 1.5 Nano之間,不過能用更輕量、更高的效率,和Gemini 1.5 Pro達到同等級的能力,例如一個對話指令的視窗可以處理百萬Token,代表一次可以分析長達1500頁的文件,或超過30,000行的程式碼。這個輕量版的模型是通過「知識蒸餾(Distillation)」的方式來實現,更適合需要速度、低成本的開發者,

Google I/O
Google Gemini 1.5 Flash單次處理參數
圖/ Google

Gemini 1.5 Pro 更新

今年2月才公開的Gemini 1.5 Pro也預告將升級,今年稍晚會把能一次處理的token量翻倍到200萬個,代表能夠同時處理2小時的影片、22小時的音檔、超過60,000行的程式碼或超過140萬字的文字內容。

AI革命六:影像模型Veo!文字指令生成影片

至於影像生成,Google端出Veo跟OpenAI推出的Sora打對台,可以輸入自然語言文字指令,生成超過一分鐘的1080p高畫質影片,並且能理解電影拍攝和視覺技術相關的術語,在創作過程中可以融入縮時拍攝等手法。

Google I/O Veo
Google I/O發表影像生成模型Veo
圖/ 隋昱嬋攝影
Google I/O Veo
Veo能夠理解多組複雜指令並生成影片。
圖/ 隋昱嬋攝影

至於OpenAI推出的Sora,能夠生成包含多名角色、特定動作類型以及大量細節的複雜場景,而且AI不僅了解用戶在提示詞所說的各種物體,還知道這些物體是如何存在於現實世界,進而營造出讓人驚豔的逼真感受。

OpenAI趕在Google I/O前一天,發表GPT-4o

另外,在Google I/O登場前一天,OpenAI發表全新模型GPT-4o,在擁有GPT-4等級智慧的同時,具備更為強大的語音、視訊處理能力,並能給予用戶逼近與真人互動的感受。

GPT-4o能夠在聊天過程中即時口譯,讓說著不同語言的兩人順暢地進行交談。或者請求GPT-4o講一個睡前故事時,可以用更飽滿、有語氣的聲音生動地說故事;又或者能用接近人類的口吻,教導人們解開簡單的數學問題。

根據OpenAI說法,GPT-4o能夠「讀懂」用戶的表情與語氣,知道什麼時候該如何做出回應,並能在不同的語氣間快速切換,一下是冷冰冰的機械聲,一下又能活潑地唱起歌來。

2天內2大AI大咖接連發表最新技術,這場AI革命將持續影響人們生活。

延伸閱讀:OpenAI新模型GPT-4o問世!對話能力強到會「插嘴」,還能讀懂人類語氣

責任編輯:林美欣

往下滑看下一篇文章
AI代理時代已至!國泰金控以GAIA 2.0框架加速AI應用百花齊放
AI代理時代已至!國泰金控以GAIA 2.0框架加速AI應用百花齊放

AI正以驚人速度重塑世界樣貌,金融產業也不例外。國泰金控作為台灣最大的金融控股公司之一,不僅積極擁抱創新變革,更透過開放分享促進產業共好:在「2025國泰金控技術年會」中分享「GAIA 2.0技術框架」,揭示多代理(Multi-Agent)雲端協作架構,讓AI從知識問答助理進化成可以自主推論、規劃與協作的夥伴,拉開以人為中心的金融科技新世代序幕。

以GAIA 2.0技術框架為基礎,加速集團應用百花齊放

GAIA是國泰金控為實現AI即服務(AI as a Service)提出的關鍵技術框架,歷經一年的發展,不僅成功建立超過200種資料類別的知識庫、彙整50多種生成式AI模型的Model Hub、設有70道安全防護檢查點的AI護欄。

國泰金控
國泰金控副總暨國泰世華銀行數據長梁明喬分享GAIA 2.0技術框架與集團GenAI應用案例
圖/ 數位時代

國泰金控副總經理暨國泰世華銀行數據長梁明喬指出:「隨著代理式AI技術崛起,我們在今年提出GAIA 2.0技術框架,目標是讓AI助理(Assistant)進化成AI Agent,可以跨單位整合工具、數據與分工,實現真正的智慧協作。」

舉例來說,為深化集團員工運用AI提升工作效率,我們打造員工AI助手—Agia,協助同仁進行知識查詢、資料摘要等任務,提升效率與生產力;另外,透過AI自助開發平台—GAIA Studio,讓員工以No Code工具,連結內部知識庫,並以視覺化介面或Prompt快速自主開發,打造業務場景所需的生成式AI服務與工具。GAIA Studio 上線三個月已有28個部門自助開發超過40支內部應用AI服務(包含行銷文案、各類產品知識、趨勢摘要等)。

在技術面,具體作法是透過GAIA 2.0框架下的四個模組,包含負責統籌AI Agent任務分配與協作流程的「Agent Core核心框架」、提供安全自主運作環境的「Agent Workspace可控環境」、連結Agent間共通語言的「Agent Protocol串接協定」,以及集中管理AI工具與元件的「Agent Marketplace整合市集」,以加速AI Agent應用研發與部署。

梁明喬表示:「接下來,我們將以GAIA為引擎,打造通用型、業務型、IT型與服務型AI應用,如Vibe Coding、CUBE Intelligence等服務,一步一腳印擴展集團的AI Agent生態圈,型塑智慧金融新格局。」

舉例來說,隨著生成式AI普及,客戶對於數位(助理)服務的期待更高,國泰世華銀行數位品牌CUBE推出「CUBE Intelligence」兩項新服務,包含「升級版」智能助理–阿發,滿足客戶詢問複雜問題的需求,無論客戶提出什麼問題,都可以完整步驟與適當的情緒價值強化與客戶的連結,讓服務更智慧、貼心且符合期待。

國泰金控
國泰金控副總暨國泰世華銀行數位長陳冠學展示「CUBE Intelligence」兩項新服務
圖/ 數位時代

國泰金控副總經理暨國泰世華銀行數位長陳冠學表示:「除了升級版阿發,另一新服務是我們也在CUBE App新增『對話式功能搜尋(CUBE Search)』,就像把行員放到CUBE App一樣,讓客戶可以用自然語言輕鬆找到想要的服務,讓服務體驗變得更聰明、更人性也更懂你。」兩項CUBE Intelligence新服務即將在年底正式上線。

跨界合作推動台灣大型語言模型落地,加速生成式AI發展

大型語言模型具備強大的語意理解與內容生成能力,是生成式AI快速發展的關鍵推力。國立政治大學金融科技研究中心主任王儷玲指出:「金融產業因為有獨特的金融語境、法規語意以及在地化的繁體中文知識,國際通用模型並不適用,必須建構本土知識庫、標準化模型機制、AI 法規沙盒及在地算力平台,發展台灣企業共同主導與管理的大型語言模型,方能讓更多金融業者透過微調打造適用模型、加速可信賴的AI Agent服務落地。」

國泰金控數數發中心數據暨人工智慧發展部副總經理劉浩翔進一步補充:「本地大型語言模型的成功關鍵,不僅是掌握充足且高品質的數據,還要透過後訓練微調與人類回饋強化學習的訓練方式去微調出適用的AI模型,藉此提升答案的精準度,尤其是需要跨法規、多層邏輯的嚴謹金融專業知識。」

AI要成功,除了應用場景、模型,算力也扮演至關緊要角色,對此,鴻海科技集團亞灣超算執行長姚延宗表示:「本土算力是支持本土大型語言模型落地的關鍵。」不過,他也強調,AI算力快速迭代且進入門檻高,不是每一間企業都可以自建算力,因此,亞灣超算與NVIDIA合作啟用超算中心,讓金融等台灣企業可以按需租賃所需算力,解決資料共享等敏感問題,加速金融AI應用的多元發展。

國泰金控
產業與學界專家於國泰金控技術年會交流生成式AI如何在台落地應用,左起為:國泰金控副總經理施君蘭、政治大學金融科技研究中心主任王儷玲、國泰金控數數發中心副總經理劉浩翔、鴻海科技集團亞灣超算執行長姚延宗
圖/ 數位時代

總的來說,從GAIA 2.0技術框架的推出、生成式AI的落地應用、到積極參與本土大型語言模型建置等行動,可以清楚看到,國泰金控正由內而外推動全面AI創新:強化內部流程效率與治理能力、以智慧化服務提升客戶體驗,並透過技術開放與跨域合作,為金融產業的數位與AI智慧轉型注入新動能。

登入數位時代會員

開啟專屬自己的主題內容,

每日推播重點文章

閱讀會員專屬文章

請先登入數位時代會員

看更多獨享內容

請先登入數位時代會員

開啟收藏文章功能,

請先登入數位時代會員

開啟訂閱文章分類功能,

請先登入數位時代會員

我還不是會員, 註冊去!
追蹤我們
進擊的機器人
© 2025 Business Next Media Corp. All Rights Reserved. 本網站內容未經允許,不得轉載。
106 台北市大安區光復南路102號9樓