Gemini以「多模態」形式進入搜尋引擎、助手等功能中，今年開始Google將能夠用「影片」進行搜尋，同時推出AI Overview功能，靠AI協助把搜尋內容摘要整理；智慧助手Astra能夠邊錄影邊辨認畫面中的物體、動作等資訊，即時回應相關問題；大型語言模型則推出全新的Gemini 1.5 Flash和影像生成模型Veo。
《數位時代》前進現場直擊，Google I/O最新發布內容。
首先是鞏固Google龍頭地位的搜尋引擎，這次迎來根本性的更新，加入Gemini的新能力後，不只能辨識影音內容，還可以理解更長更複雜的指令。
Google能用「影片搜尋」了！
Google搜尋過去很長一段時間都以文字、圖片為主要搜尋方式，如今終於進階，開放「影片搜尋」，可以即時拍攝影片，用語音或文字簡單補充詢問，搜尋引擎會自動分析畫面中的內容並提供相應的回覆。
現場展示功能，當播放黑膠唱片時遇到技術困難，金屬唱針不規則晃動，可以用影片錄下畫面，並語音簡單詢問「為什麼會這樣？」Google就會自動搜尋，並且透過Google Overview的功能提供AI搜尋摘要。
AI Overview：理解更長更複雜的指令
AI Overview是Google去年發表的技術，會在搜尋引擎頂端摘要、整理搜尋到的內容，這一次透過Gemini模型新的「多步驟推理能力」，AI Overview能處理複雜的問題。不管問題有多大串、包含多少細節和該注意的地方，都不用再分次查詢。
例如用戶想找一間新的瑜珈或皮拉提斯教室，可以直接搜尋：「 幫我找在波士頓最棒的瑜珈或皮拉提斯教室，並告訴我它們的新會員優惠資訊、還有從燈塔山走過去的時間。 」內容包含多項需求，但AI Overview功能依舊可以完成任務。
今年首度登上I/O舞台的Google Deemind負責人傑米斯·哈薩比斯（Demis Hassabis）上台展示Google「未來的人工智慧助手」——名為「Astra」的助手，號稱能像人類一樣理解這個動態且複雜的世界。
Astra同樣解鎖「多模態」的能力，命名為加入影片的即時分析技術，能夠在看到動態畫面時快速思考和反應，甚至可以擁有記憶力，這項功能一發表，讓現場響起如雷掌聲。
在展示的功能中，使用者拿著手機邊拍畫面邊到處走動，先走到窗邊詢問Astra「你覺得我現在人在哪個社區」，接著拍到電腦畫面，用筆刷圈選螢幕中的程式碼問Astra「你覺得哪裡有問題要改善？」甚至在影片結束前，可以問Astra「記不記得我的眼鏡放在哪裡？」Astra也能分析這幾分鐘經過的所有畫面，找到眼鏡所在的影格並分析畫面中的資訊，最後得出結論；「放在一顆蘋果旁邊。」
Google也在Google相簿推出Ask Photos with Gemini功能，可以透過影像分析將照片中的物體分類，並貼上關鍵字標籤，例如用戶可以快速找出帶有自己車子車牌的照片，甚至可以記錄「女兒學習游泳的過程」，並將這些相關的照片整理，當詢問Gemini：「我女兒是何時學會仰式的？」可以快速找出相關圖片並提供日期作為答覆。
Android預計將成為Google AI功能體驗最佳的載具，Gemini在手機裡會隨時準備好提供多元協助，根據大會中展示的應用，可以在聊天的對話中隨時生成迷因圖，或者詢問體育影片中的規則，若收到80多頁的PDF檔案也可以透過Gemini Advanced App「現學現賣」，即時回答問題。
大型語言模型的技術，是這次所有新功能的重要基礎。Gemini作為Google最核心的AI大型語言模型，這次更新直攻「多模態」和「大量處理」兩大核心能力，進化到能一口氣處理百萬token的文字、圖片、影音。
Gemini 1.5 Flash
這次Gemini家族全新成員Gemini 1.5 Flash，大小介於Gemini 1.5 Pro和Gemini 1.5 Nano之間，不過能用更輕量、更高的效率，和Gemini 1.5 Pro達到同等級的能力，例如一個對話指令的視窗可以處理百萬Token，代表一次可以分析長達1500頁的文件，或超過30,000行的程式碼。這個輕量版的模型是通過「知識蒸餾（Distillation）」的方式來實現，更適合需要速度、低成本的開發者，
Gemini 1.5 Pro 更新
今年2月才公開的Gemini 1.5 Pro也預告將升級，今年稍晚會把能一次處理的token量翻倍到200萬個，代表能夠同時處理2小時的影片、22小時的音檔、超過60,000行的程式碼或超過140萬字的文字內容。
至於影像生成，Google端出Veo跟OpenAI推出的Sora打對台，可以輸入自然語言文字指令，生成超過一分鐘的1080p高畫質影片，並且能理解電影拍攝和視覺技術相關的術語，在創作過程中可以融入縮時拍攝等手法。
至於OpenAI推出的Sora，能夠生成包含多名角色、特定動作類型以及大量細節的複雜場景，而且AI不僅了解用戶在提示詞所說的各種物體，還知道這些物體是如何存在於現實世界，進而營造出讓人驚豔的逼真感受。
另外，在Google I/O登場前一天，OpenAI發表全新模型GPT-4o，在擁有GPT-4等級智慧的同時，具備更為強大的語音、視訊處理能力，並能給予用戶逼近與真人互動的感受。
GPT-4o能夠在聊天過程中即時口譯，讓說著不同語言的兩人順暢地進行交談。或者請求GPT-4o講一個睡前故事時，可以用更飽滿、有語氣的聲音生動地說故事；又或者能用接近人類的口吻，教導人們解開簡單的數學問題。
根據OpenAI說法，GPT-4o能夠「讀懂」用戶的表情與語氣，知道什麼時候該如何做出回應，並能在不同的語氣間快速切換，一下是冷冰冰的機械聲，一下又能活潑地唱起歌來。
2天內2大AI大咖接連發表最新技術，這場AI革命將持續影響人們生活。
責任編輯：林美欣
