Perplexity是資料小偷?Cloudflare揭「偽裝Chrome爬蟲」,每日狂送逾2千萬次請求
Perplexity是資料小偷?Cloudflare揭「偽裝Chrome爬蟲」,每日狂送逾2千萬次請求

重點一:雲端防護服務商Cloudflare指出AI搜尋引擎Perplexity以隱形爬蟲繞過robots.txt與WAF規則,仍能擷取受限網頁內容。

重點二:該爬蟲偽裝成Chrome瀏覽器並頻繁更換 IP、ASN,每日仍對全球網站送出約2,000至 2,500萬請求。

重點三:Cloudflare已撤銷Perplexity的「已驗證機器人」資格,並新增管制規則阻擋其潛行爬取行為。

Cloudflare (雲端防護服務商) 4 日發表最新觀測揭露 Perplexity 在遭封鎖後,改以偽裝瀏覽器的未宣告爬蟲繞過 robots.txt 與 WAF 限制,仍成功抓取原本禁止擷取的內容。此舉不僅違背 RFC 9309 所訂網路共識,也衝擊網站對合法爬蟲的基本信任機制。

換句話說,Perplexity 在被網站擋下後,沒有守規矩地停止,而是讓一支假扮成一般 Chrome 瀏覽器 的爬蟲再偷偷抓取資料。

Cloudflare指出,包括PerplexityBot和Perplexity-User兩種爬蟲,會忽視網站寫在 robots.txt 裏面「禁止抓資料」的指令,連 WAF(Web 應用程式防火牆)的封鎖也設法繞開。

結果就是: 網站原本不想被抓走的內容,仍被抓走;而這種故意違反網路約定(見 RFC 9309)的行為,會削弱網站對「守規矩的爬蟲都會自我標示、遵守限制」這套信任機制。

對於上述指控,Perplexity 發言人 Jesse Dwyer 反駁稱相關貼文只是 Cloudflare 的「銷售話術」,並否認爬蟲為自家所有。不過,Perplexity 去年確實因《Wired》等媒體指其未經授權引用全文而陷入「抄襲」爭議,執行長 Aravind Srinivas 也被質疑對「抄襲」定義語焉不詳。

Cloudflare 近月祭出「AI爬蟲按次付費」功能,讓出版社與網站能為資料存取設定明確定價;同時在旗下免費「Bot Fight Mode」新增 AI-bot 專用封鎖規則,網站只需一鍵即可拒絕或限速未付費的爬蟲,藉此把「給錢才給料」的談判主導權拉回內容擁有者。

Cloudflare如何抓包Perplexity?

Cloudflare 先接獲多家客戶反映,指出即便已在「禁止機器抓取」的 robots.txt 檔案與防火牆(WAF)中封鎖 Perplexity 的官方爬蟲,網站內容仍遭擷取。公司先行確認客戶設定無誤後,進一步購買數個全新且對外完全隱藏的測試網域,並在其中同樣下達「全面禁止爬蟲」指令。

接著,Cloudflare 直接向 Perplexity 詢問這些測試網域的內容,結果卻收到詳盡回答,證實有未經宣告的爬蟲進入。最後,Cloudflare 透過流量分析比對,發現這批爬蟲假冒一般瀏覽器身分,每日仍對全球網站發送約兩千萬次請求,且頻繁更換 IP 與網路識別碼。

綜合上述三項證據,Cloudflare 認定 Perplexity違反公開爬蟲規範,隨即取消其「已驗證機器人」資格並將相關流量列入封鎖清單。

Cloudflare抓包Perplexity.jpeg
這張圖解釋了 Perplexity 的「官方→偽裝→重試」路徑與每一步判斷條件,凸顯其繞過網站保護機制的行為模式。
圖/ Cloudflare

Perplexity 遭剔除「已驗證機器人」名單

Cloudflare 隨即將 Perplexity 剔除「已驗證機器人」名單,並於所有方案推送新簽章,協助站點自動阻擋或挑戰此類隱形爬蟲。公司同時呼籲業者遵守「透明、節制、單一目的」等五大善意爬蟲原則,並與 IETF 共同推動擴充版 robots.txt。

官方亦肯定 OpenAI (開放人工智慧) 旗下 ChatGPT-User 嚴格尊重封鎖指令,並採用 Web Bot Auth 身分簽章,作為業界良好示範。

依據 Cloudflare 的說明,守規矩的爬蟲至少符合下列五項原則:

  • 透明 (Transparency)
    主動標示專屬的 User-Agent,公開 IP 範圍或使用 Web Bot Auth 驗證,並附上聯絡資訊,便於站方追蹤與溝通。
  • 克制 (Good Netizenship)
    不大量灌流量、不抓取敏感資料,也不使用隱藏或偽裝手段規避偵測。
  • 明確目的 (Clear Purpose)
    每一隻爬蟲都應說清楚用於哪項服務,例如語音助理、比價、無障礙輔助等,讓站方能判斷是否開放。
  • 分工清楚 (Separate Bots for Separate Activities)
    不同功能用不同爬蟲執行,避免讓站方陷入「全開或全關」的兩難。
  • 遵守規則 (Follow the Rules)
    必須檢查並尊重 robots.txt、維持合理速率,且不得繞過 WAF 或其他安全防護。

這五條囊括了對網站「可辨識、可控管、可信任」的核心要求,亦是 Cloudflare 評定爬蟲是否值得授予「已驗證機器人」資格的依據。

延伸閱讀:Lawsnote為什麼「判4年、賠1億」那麼重?律師解讀一審判決:爬蟲到底行不行?
影片|6萬次爬蟲只換來1次點擊!AI搜尋促成「流量大斷崖」:Google如何改寫搜尋行規?

資料來源:CloudflareTechChurch

本文初稿為AI編撰,整理.編輯/ 李先泰

往下滑看下一篇文章
從競賽激發創新力,第一銀行如何以AI打造差異化競爭優勢、型塑數位生活圈?
從競賽激發創新力,第一銀行如何以AI打造差異化競爭優勢、型塑數位生活圈?

Deloitte研究指出,導入人工智慧(AI)技術不僅有助於金融業者在短時間內提升5%到7%的營收,長期來看,漲幅高達10%到15%,換言之,AI不僅是科技趨勢,更是金融業邁向永續競爭的關鍵動能。

觀察到上述趨勢,第一銀行不僅透過AI加速創新轉型能量、提出名為GALA的生成式人工智慧行動方案,更舉辦「2025年第一銀行DigitALL黑客松」競賽,吸引總、分行單位逾50隊參賽,以內部競賽方式激發創新,打造一個全行共享、員工賦能的智慧金融場景服務。

聚焦三大面向,第一銀行以AI策略加速創新轉型能量

為什麼第一銀行能夠快速回應AI浪潮並做出最佳行動?原來,第一銀行早在2014年就展開數位轉型,並將AI視作驅動業務創新與流程優化的關鍵角色、廣泛應用在風險預測、詐騙防制、精準行銷,以及法金與個金的客群洞察等領域,持續擴大創新轉型能量與產業影響力。

為極大化AI帶來的創新轉型綜效,第一銀行將AI策略聚焦在三個面向:第一,將AI定位從工具轉變為全員賦能的關鍵,讓AI融入業務流程與決策機制,成為第一銀行的數位轉型基礎設施;第二,透過自研AI模型與外部合作的方式提升技術服務能量、加速AI賦能應用服務落地;第三,將AI應用場域從提升內部效率與優化風控擴展到客戶體驗與產品創新,化身成客戶最值得信賴的銀行。

例如,針對傳統授信開發過程中面臨的客戶評估流程繁瑣等議題,第一銀行以AI建立「法金潛力客戶模型」,透過分析金流強度與上下游關係,更快速且精準的辨識潛力客戶、提升招攬效率與成功率,進而創造更高的業務成效;根據統計,該模組自2023年下半年上線至今,不僅協助中小型分行招攬企業授信新戶逾百戶,核准授信額度達十億元以上,並且持續滲透其他產品成效。

隨著生成式AI崛起,第一銀行以生成式AI與擷取增強生成(Retrieval-Augmented Generation;RAG)技術整合各單位轄下規章並推出「企業內部智能詢答」系統,透過AI強化回覆能力,不僅有效縮短行員查找作業規範與詢答時間,也讓海外分行可以無時差的進行提問,系統上線已回應逾萬筆查詢,使用者普遍給予高度肯定,顯著提升整體作業效率。

除以AI優化內部營運效率,第一銀行於理財領域建置「e-First 智能理財」系統,其資產管理規模在國內銀行業的機器人理財服務中名列前茅,有效打破傳統理財服務仰賴人工諮詢、客戶對投資組合的理解及參與度有限的問題,深受投資人青睞與信任,至於在消金領域,則是透過「AI智能鑑價」,提升客戶即時取得房屋物件預估可貸金額及每月還款金額的效率。

從GALA到黑客松,第一銀行以AI創新文化打造未來金融新樣貌

在以AI加速創新轉型的過程中,第一銀行認為,目前最重要的不是追求技術,而是讓每一位員工可與生成式AI協作,因此,於2025年展開名為Project GALA(Generative AI Liberalize & Accelerate)的生成式AI行動計畫,透過定義GenAI價值金字塔,提升個人效率、創造集體智慧、改善部門流程及推動業務創新的方式,評估每一個應用案例的價值貢獻度,進而形塑生成式AI創新文化與思維,讓員工熟悉生成式AI並且願意使用。

為鼓勵員工以AI賦能工作與流程,第一銀行首次舉辦以「AI輔助工具」為主題的內部競賽活動「2025年第一銀行DigitALL黑客松」,以高額獎金吸引員工組隊參加,並提供技術支援與專業輔導,若方案具備高度可行性與發展潛力,將有機會進一步實作、推動落地並對外展示創新成果,傳遞第一銀行「全員創新、共創未來」的數位轉型精神。

第一銀行
第一銀行鼓勵員工以AI賦能工作與流程,首次舉辦「2025年第一銀行DigitALL黑客松」,提供技術支援與專業輔導,傳遞第一銀行「全員創新、共創未來」的數位轉型精神。
圖/ 第一銀行

不僅如此,第一銀行亦評估導入具備自主學習、多模態互動的AI Agent,如以NVIDIA高效能GPU與NeMo平台整合語音、文字與影像等多模態能力建立AI Agent,由其負責日常重複性工作並輔助複雜判斷與服務溝通,讓AI輔助並補足人力缺口,並保留關鍵知識以利經驗傳承。此外,導入Microsoft 365、Copilot、Power BI、Teammate等自動化工具與協作平台以提升作業效率,讓員工得以更專注於創造高價值的核心事務上。

以AI賦能數位轉型成效,第一銀行致力建置與完善數位生活圈

除以AI強化創新轉型能量,第一銀行亦十分重視「數據治理」、「資訊架構現代化」與「數位生態圈拓展」等議題,透過系列實作提升第一銀行的數位轉型能量,更精準且快速地提供客戶所需金融服務。例如,透過「銀行即服務(BaaS)」與「銀行即平台(BaaP)」雙軌模式,以應用程式介面(API)串聯電商、旅遊、房產等異業服務,將金融服務嵌入各種生活場景,如線上分期消費、旅遊險保障與房貸鑑價等,藉此擴大客戶接觸與優化使用體驗,逐步打造與完善以「金融即生活」為核心的數位生活圈,多項產品服務更陸續獲得「傑出金融業務菁業獎」、「國家品牌玉山獎」與「臺灣金融研訓院–我國銀行業金融科技創新與數位轉型大調查–《領先者》」等肯定。

為更好的連結與發揮數位生活圈帶來的影響力,第一銀行推出一個全面展示數位金融成就與異業合作成果的「數位生活圈」資訊整合平台,讓客戶與合作夥伴能更直觀地理解銀行在創新、產品服務與數位生態策略上的發展與實績,此外,第一銀行亦透過平台提供客戶眾多好康優惠「小確幸」以減少資訊分散痛點;根據統計,迄今已累積超過120檔以上成功合作案例,平台自4月上線短短三個月即累積超過18萬次瀏覽量,顯示市場對該平台的高度興趣與接受度,有利於數位生活圈的擴展工作。

展望未來,為更好回應「Banking Everywhere, Never at a Bank」以及客戶行為日益場景化與即時化等趨勢,第一銀行將以高度敏銳的策略眼光持續關注外部監管規範與新興科技發展,攜手員工與夥伴以AI等創新技術實踐與擴大「金融即生活」願景,以兼具溫度與科技力的全新金融服務形塑未來金融新世界。

第一銀行
第一銀行攜手員工與夥伴以AI等創新技術實踐與擴大「金融即生活」願景
圖/ 第一銀行

登入數位時代會員

開啟專屬自己的主題內容,

每日推播重點文章

閱讀會員專屬文章

請先登入數位時代會員

看更多獨享內容

請先登入數位時代會員

開啟收藏文章功能,

請先登入數位時代會員

開啟訂閱文章分類功能,

請先登入數位時代會員

我還不是會員, 註冊去!
追蹤我們
蘋果能再次偉大?
© 2025 Business Next Media Corp. All Rights Reserved. 本網站內容未經允許,不得轉載。
106 台北市大安區光復南路102號9樓