重點一:Windows 11 全面導入 Copilot 的語音與視覺能力,推動「嘿,Copilot!」喚醒詞,將AI全面導入PC。
重點二:全球開放的Copilot Vision能讀取桌面或 App內容,提供即時建議與「Highlights」逐步示範點哪裡、怎麼做。
重點三:Copilot connectors 可串接 OneDrive/Outlook/Google 服務,例如用自然語句找行程、聯絡人、文件;回答更可直接匯出成 Word、Excel、PowerPoint,並提供 Windows 設定頁的直接連結。
Microsoft(微軟)10月16日宣布在 Windows 11 中全面強化 Copilot 能力,本次更新重點在於以更自然的方式讓使用者「開口即用」。新推出的「嘿,Copilot!」喚醒詞在啟用後即可用語音快速喚起 Copilot Voice(語音);配合結束語「Goodbye」與自動結束機制,讓互動更順暢。
微軟執行副總裁兼消費者事業首席行銷長 Yusuf Mehdi 受訪時表示,微軟站在新一輪變革浪潮上,AI 不再只是聊天機器人,而是融入「數億種日常體驗」;目標是「以 AI 重寫整個 PC」,讓使用者能對電腦說話、由 Copilot 理解並代為執行動作。
Mehdi 指出,從 Teams 的龐大語音互動時數來看,人們已透過電腦長時間以語音交流。因此他強調,語音將成為 PC 上的「第三種輸入機制」(不取代鍵鼠,而是補充),配合喚醒詞「嘿,Copilot!」,以語音與視覺能力驅動操作。
Copilot Vision:「即時讀屏」的 AI 體驗
Copilot Vision 現已於所有提供 Copilot 的市場開放;其為一種「即時讀屏」功能,將你授權的螢幕內容串流給 AI,以協助操作與解題。它可掃描使用者的當前畫面,指導如何使用應用程式、回答照片與文件問題,甚至提供遊戲的逐步指引。與去年的 Recall 不同,Copilot Vision 不會自動長期截圖,而是像在 Teams 通話中分享螢幕般「即時、可控」。
Copilot Vision 的「Highlights(重點指引)」功能,可在應用程式中標示操作路徑;並可在 Word(文字)、Excel(試算)、PowerPoint(簡報)等 Office(辦公室)檔案中取得「完整應用情境」,不必逐頁翻看即可完成分析(編按:AI 不只看到頁面內容,使用者也不必刻意開檔案給 AI 看)。
微軟亦預告,Copilot Vision 將支援「文字互動」模式,讓偏好鍵入的使用者能以純文字完成導引與回應。整體而言,Windows 11 以語音與視覺為雙主軸,降低使用門檻,將 AI 能力融入日常使用情境。
代理能力升級!檔案總管一鍵「架站+剪片」
微軟同步把更進階的「代理式」能力導入 Windows Insiders 與 Copilot Labs。首先,已在網頁端推出的 Copilot Actions,預計擴展至 Windows 本機,嘗試直接對本機檔案採取動作,例如整理旅遊照片或從 PDF 擷取資訊;使用者可隨時接手、監看進度並核准敏感動作。
其次,在檔案總管導入 Manus 通用 AI 代理動作:透過右鍵「create website with Manus(用 Manus 建網站)」即可用本機資料生成網站,並提供 Windows 原生 Manus 應用,以聊天方式生成網站。另外,也新增了與 Filmora(萬興喵影)整合的「edit with Filmora(以 Filmora 編輯)」動作,協助使用者一鍵進入影片剪輯。
微軟強調,此類代理式能力採「預覽、漸進導入、收集回饋」策略,並以「使用者可控、可見、負責任導入」三項安全承諾為原則,以確保隱私與安全。
跨服務連結!微軟連接器可串接 Google 服務
在內容連結方面,Copilot connectors 現已於 Windows Insiders 開放,支援串接微軟雲端硬碟 OneDrive、Outlook 郵件,以及 Google 雲端硬碟、Gmail 郵件、Google 日曆、Google 聯絡人。
使用者可用自然語句檢索個人內容,例如「找我的牙醫門診細節」、「Mary 的電郵地址是?」、「幫我找出學校經濟學報告」。同時,Copilot 可將產出匯出至 Word/Excel/PowerPoint,便於延伸至正式文書工作;並新增 Windows 設定導引,使用者可用語句如「讓螢幕更好讀」、「降低干擾幫助專注」直接跳轉至相應設定頁。
在硬體選購上,微軟指出,由於 Windows 10 已終止支援,建議升級至 Windows 11,並參考各品牌 Copilot+ PC(具 NPU 的 AI PC)機型,以體驗更長續航與在地 AI 運算:
- Acer Aspire 14 AI
- ASUS Vivobook 16
- Dell 14 Plus Laptop
- HP Omnibook X Flip 16‑inch 2‑in‑1
- Lenovo Yoga 7 2‑in‑1
- Samsung Galaxy Book4 Edge 16
- Surface Laptop
- Surface Pro
資料來源:微軟、ars TECHNICA、The Verge
本文初稿為AI編撰,整理.編輯/ 李先泰