從ChatGPT推出至今，人們只能像古早的通訊軟體般用文字和它互動，但這種模式很快就要過去了，OpenAI發布的更新預告指出，他們將提供新界面讓用戶可以和ChatGPT語音對話，並且可以識別用戶上傳的圖片。
OpenAI指出，即將新增的語音及圖像功能，能為ChatGPT帶來更生活化的使用模式。好比說你外出旅遊時可以拍攝當地地標，即時和ChatGPT詢問相關介紹；又或者可以拍下冰箱內剩餘的食材，請ChatGPT推薦晚餐吃什麼；教導孩子數學作業遇上難題時，也能拍攝照片請ChatGPT協助解題。
在外媒《Wired》的實際測試中，ChatGPT能根據圖像辨識楓樹、甚至細微至餐具、包包的品牌都能精準識別。值得一提的是，ChatGPT在辨識物品時，似乎也會參考用戶在App中設置的職業、地理位置等資訊。
而語音功能則讓ChatGPT擁有更接近語音助理的便利性，用戶可以點擊發話鍵、口述希望得到解答的問題，而ChatGPT也能將回答轉換成語音回應，就像和Google助理、Siri溝通般順暢，且ChatGPT使用的大型語言模型讓他擁有更靈活的回應能力。
ChatGPT的語音功能是怎麼來的？
ChatGPT的語音功能是利用兩個獨立的模型實現，一個是既有的語音轉文字模型Whisper，負責將用戶的對話轉換成文字輸入聊天機器人，以及一個新開發的文字轉語音模型，負責將ChatGPT的回答轉換為語音。
根據OpenAI在官網上的介紹， ChatGPT將提供多達5種合成語音，從清晰明亮的女聲到低沉穩重的男聲等不同類型供用戶選擇 。不過OpenAI也提醒，他們的模型在英文文本外的轉錄表現較差，不建議非羅馬文字的語言使用者利用ChatGPT轉錄語音。
值得一提的是，OpenAI在發布更新的同一天，也宣布與Spotify合作，利用AI將Podcast轉換成其他語言，並且保留與創作者相似的聲音與風格，這項技術同樣是基於Whisper打造。
目前Spotify提供《Lex Fridman Podcast》、《Armchair Expert》、《The Diary of a CEO with Steven Bartlett》這三個系列英文Podcast轉換為西班牙語收聽，並將支援法語、德語，未來幾周內還會有更多Podacst支援這項新功能。
OpenAI積極讓技術落地，新功能先提供給付費用戶
從針對企業的ChatGPT Enterprise、前陣子公布ChatGPT與Dall-E串連的功能，到現在公布的語音及圖像能力，OpenAI正積極將起初只是陽春模型的ChatGPT，打造為更接近使用場景的產品。
藉由這次的語音技術，ChatGPT能透過手機App實現極為接近Siri、Google助理等語音助理的體驗，而圖像辨識也帶來如同Google智慧鏡頭的效果，能隨手拍下好奇的內容向AI發問。
ChatGPT也面臨更為激烈的競爭，Google相傳即將在秋季登場的Gemini模型，就被稱為是「多模型」，擁有文字、語音、圖像甚至是影片的輸入方式；亞馬遜、蘋果也都曾傳出正在利用大型語言模型技術重新打造語音助理。
不過一口氣支援了圖像及語音技術，或許也帶來了更複雜的不確定因素。OpenAI研究科學家勞爾．普里（Raul Puri）指出，他們的團隊花了幾個月時間考慮可能被濫用的狀況設定了一些限制，例如用戶不能向ChatGPT詢問有關私人照片的問題。
OpenAI表示，這些新功能預計未來兩周內就會提供給付費用戶（ChatGPT Plus及ChatGPT Enterprise），不過語音功能只能在Android及iOS上使用，之後還會進一步開放給免費用戶使用這些功能。
資料來源：The Verge、Wired、MIT Technology Review
責任編輯：林美欣、高敬原
