ChatGPT在9月於Android與iOS行動平台上推出語音對話功能，原先只開放ChatGPT Plus訂閱會員及企業用戶，不過現在，此項功能也開放免費版用戶使用了！用戶打開ChatGPT App，點擊對話框旁邊的耳機圖示，就能使用語音與ChatGPT溝通。
根據OpenAI發布的短片可以聽出，ChatGPT語音對話自然，不過在發問後它無法立即回答，需要等待幾秒才會回答使用者。而ChatGPT語音共有5種聊天機器人語調可選擇，也能用中文對話。
另外，先前ChatGPT也開放透過微軟搜索引擎 Bing，進行網路搜尋，解決一直以來資訊停留在2021年9月的痛點。日前ChatGPT祭出哪些重大更新？以下是2023年9月報導，
從ChatGPT推出至今，人們只能像古早的通訊軟體般用文字和它互動，但這種模式很快就要過去了，OpenAI發布的更新預告指出，他們將提供新界面讓用戶可以和ChatGPT語音對話，並且可以識別用戶上傳的圖片。
ChatGPT重磅更新一：支援影像、語音功能，Siri沒戲唱了？
OpenAI指出，即將新增的語音及圖像功能，能為ChatGPT帶來更生活化的使用模式。好比說你外出旅遊時可以拍攝當地地標，即時和ChatGPT詢問相關介紹；又或者可以拍下冰箱內剩餘的食材，請ChatGPT推薦晚餐吃什麼；教導孩子數學作業遇上難題時，也能拍攝照片請ChatGPT協助解題。
在外媒《Wired》的實際測試中，ChatGPT能根據圖像辨識楓樹、甚至細微至餐具、包包的品牌都能精準識別。值得一提的是，ChatGPT在辨識物品時，似乎也會參考用戶在App中設置的職業、地理位置等資訊。
而語音功能則讓ChatGPT擁有更接近語音助理的便利性，用戶可以點擊發話鍵、口述希望得到解答的問題，而ChatGPT也能將回答轉換成語音回應，就像和Google助理、Siri溝通般順暢，且ChatGPT使用的大型語言模型讓他擁有更靈活的回應能力。
ChatGPT的語音功能是怎麼來的？
ChatGPT的語音功能是利用兩個獨立的模型實現，一個是既有的語音轉文字模型Whisper，負責將用戶的對話轉換成文字輸入聊天機器人，以及一個新開發的文字轉語音模型，負責將ChatGPT的回答轉換為語音。
根據OpenAI在官網上的介紹， ChatGPT將提供多達5種合成語音，從清晰明亮的女聲到低沉穩重的男聲等不同類型供用戶選擇 。不過OpenAI也提醒，他們的模型在英文文本外的轉錄表現較差，不建議非羅馬文字的語言使用者利用ChatGPT轉錄語音。
ChatGPT重磅更新二：與Spotify合作，將Podcast轉換成其他語言
值得一提的是，OpenAI在發布更新的同一天，也宣布與Spotify合作，利用AI將Podcast轉換成其他語言，並且保留與創作者相似的聲音與風格，這項技術同樣是基於Whisper打造。
目前Spotify提供《Lex Fridman Podcast》、《Armchair Expert》、《The Diary of a CEO with Steven Bartlett》這三個系列英文Podcast轉換為西班牙語收聽，並將支援法語、德語，未來幾周內還會有更多Podacst支援這項新功能。
OpenAI積極讓技術落地，新功能先提供給付費用戶
從針對企業的ChatGPT Enterprise、前陣子公布ChatGPT與Dall-E串連的功能，到現在公布的語音及圖像能力，OpenAI正積極將起初只是陽春模型的ChatGPT，打造為更接近使用場景的產品。
延伸閱讀：[Dall-E 3＋ChatGPT強強結合，直接幫你下提示詞！圖片效果變多猛？][1]
藉由這次的語音技術，ChatGPT能透過手機App實現極為接近Siri、Google助理等語音助理的體驗，而圖像辨識也帶來如同Google智慧鏡頭的效果，能隨手拍下好奇的內容向AI發問。
ChatGPT也面臨更為激烈的競爭，Google相傳即將在秋季登場的Gemini模型，就被稱為是「多模型」，擁有文字、語音、圖像甚至是影片的輸入方式；亞馬遜、蘋果也都曾傳出正在利用大型語言模型技術重新打造語音助理。
不過一口氣支援了圖像及語音技術，或許也帶來了更複雜的不確定因素。OpenAI研究科學家勞爾．普里（Raul Puri）指出，他們的團隊花了幾個月時間考慮可能被濫用的狀況設定了一些限制，例如用戶不能向ChatGPT詢問有關私人照片的問題。
OpenAI表示，這些新功能預計未來兩周內就會提供給付費用戶（ChatGPT Plus及ChatGPT Enterprise），不過語音功能只能在Android及iOS上使用，之後還會進一步開放給免費用戶使用這些功能。
延伸閱讀：[ChatGPT之父來台灣：現在是最幸運的時代！AI未來能多厲害？他一次解答][2]
資料來源：[The Verge][3]、[Wired][4]、[MIT Technology Review][5]
責任編輯：林美欣
[1]: https://www.bnext.com.tw/article/76789/openai-dall-e-3-chatgpt
[2]: https://www.bnext.com.tw/article/76826/sam-altman-and-andrew-ng-2023
[3]: https://www.theverge.com/2023/9/25/23886699/chatgpt-pictures-voice-commands-ai-chatbot-openai
[4]: https://www.wired.com/story/chatgpt-can-now-talk-to-you-and-look-into-your-life/
[5]: https://www.technologyreview.com/2023/09/25/1080196/now-you-can-chat-with-chatgpt-using-your-voice/
