(2025.08.05 1700 更新Perplexity聲明)
重點一：雲端防護服務商Cloudflare指出AI搜尋引擎Perplexity以隱形爬蟲繞過robots.txt與WAF規則，仍能擷取受限網頁內容。
重點二：該爬蟲偽裝成Chrome瀏覽器並頻繁更換 IP、ASN，每日仍對全球網站送出約2,000至 2,500萬請求。
重點三：Perplexity強調其「user-driven agent」只在用戶發出請求時才抓取內容，且僅用於當下回答，不會長期保存或訓練模型。
Cloudflare (雲端防護服務商) 4 日發表最新觀測， 揭露 Perplexity 在遭封鎖後，改以偽裝瀏覽器的未宣告爬蟲繞過 robots.txt 與 WAF 限制，仍成功抓取原本禁止擷取的內容。此舉不僅違背 RFC 9309 所訂網路共識，也衝擊網站對合法爬蟲的基本信任機制。
換句話說，Perplexity 在被網站擋下後，沒有守規矩地停止，而是讓一支假扮成一般 Chrome 瀏覽器 的爬蟲再偷偷抓取資料。
Cloudflare指出，包括PerplexityBot和Perplexity-User兩種爬蟲，會忽視網站寫在 robots.txt 裏面「禁止抓資料」的指令，連 WAF（Web 應用程式防火牆）的封鎖也設法繞開。
結果就是： 網站原本不想被抓走的內容，仍被抓走；而這種故意違反網路約定（見 RFC 9309）的行為，會削弱網站對「守規矩的爬蟲都會自我標示、遵守限制」這套信任機制。
對於上述指控，Perplexity 發言人 Jesse Dwyer 反駁稱相關貼文只是 Cloudflare 的「銷售話術」，並否認爬蟲為自家所有。不過，Perplexity 去年確實因《Wired》等媒體指其未經授權引用全文而陷入「抄襲」爭議，執行長 Aravind Srinivas 也被質疑對「抄襲」定義語焉不詳。
Cloudflare 近月祭出「AI爬蟲按次付費」功能，讓出版社與網站能為資料存取設定明確定價；同時在旗下免費「Bot Fight Mode」新增 AI-bot 專用封鎖規則，網站只需一鍵即可拒絕或限速未付費的爬蟲，藉此把「給錢才給料」的談判主導權拉回內容擁有者。
Cloudflare如何抓包Perplexity？
Cloudflare 先接獲多家客戶反映，指出即便已在「禁止機器抓取」的 robots.txt 檔案與防火牆（WAF）中封鎖 Perplexity 的官方爬蟲，網站內容仍遭擷取。公司先行確認客戶設定無誤後，進一步購買數個全新且對外完全隱藏的測試網域，並在其中同樣下達「全面禁止爬蟲」指令。
接著，Cloudflare 直接向 Perplexity 詢問這些測試網域的內容，結果卻收到詳盡回答，證實有未經宣告的爬蟲進入。最後，Cloudflare 透過流量分析比對，發現這批爬蟲假冒一般瀏覽器身分，每日仍對全球網站發送約兩千萬次請求，且頻繁更換 IP 與網路識別碼。
綜合上述三項證據，Cloudflare 認定 Perplexity違反公開爬蟲規範，隨即取消其「已驗證機器人」資格並將相關流量列入封鎖清單。
Perplexity 遭剔除「已驗證機器人」名單
Cloudflare 隨即將 Perplexity 剔除「已驗證機器人」名單，並於所有方案推送新簽章，協助站點自動阻擋或挑戰此類隱形爬蟲。公司同時呼籲業者遵守「透明、節制、單一目的」等五大善意爬蟲原則，並與 IETF 共同推動擴充版 robots.txt。
官方亦肯定 OpenAI (開放人工智慧) 旗下 ChatGPT-User 嚴格尊重封鎖指令，並採用 Web Bot Auth 身分簽章，作為業界良好示範。
Perplexity反嗆：我看你是完全不懂AI助理
針對Cloudflare指控，Perplexity在X聲明反擊，直言傳統網路爬蟲（bot）與現代AI助理（agent）的本質不同。傳統爬蟲會自動、大規模地抓取網頁內容並建立資料庫，而AI助理（如Perplexity）則是根據用戶即時需求，臨時抓取並回應，不會儲存或用於訓練。
Perplexity強調其「user-driven agent」只在用戶發出請求時才抓取內容，且僅用於當下回答，不會長期保存或訓練模型。
Perplexity批評Cloudflare將AI助理誤認為惡意bot，認為這種做法會傷害用戶權益，阻礙資訊自由流通，甚至可能影響如醫療、新聞等重要資訊的取得。
聲明指出，Cloudflare在技術分析上有重大錯誤，將第三方流量誤歸因於Perplexity，並發布不正確的技術圖示，顯示其對現代AI助理運作方式缺乏理解。
Perplexity認為，若基礎設施供應商無法區分合法AI助理與惡意爬蟲，將危及開放網路的創新與用戶選擇權。
合規爬蟲的5大原則
依據 Cloudflare 的說明，守規矩的爬蟲至少符合下列五項原則：
- 透明 (Transparency)
主動標示專屬的 User-Agent，公開 IP 範圍或使用 Web Bot Auth 驗證，並附上聯絡資訊，便於站方追蹤與溝通。 - 克制 (Good Netizenship)
不大量灌流量、不抓取敏感資料，也不使用隱藏或偽裝手段規避偵測。 - 明確目的 (Clear Purpose)
每一隻爬蟲都應說清楚用於哪項服務，例如語音助理、比價、無障礙輔助等，讓站方能判斷是否開放。 - 分工清楚 (Separate Bots for Separate Activities)
不同功能用不同爬蟲執行，避免讓站方陷入「全開或全關」的兩難。 - 遵守規則 (Follow the Rules)
必須檢查並尊重 robots.txt、維持合理速率，且不得繞過 WAF 或其他安全防護。
這五條囊括了對網站「可辨識、可控管、可信任」的核心要求，亦是 Cloudflare 評定爬蟲是否值得授予「已驗證機器人」資格的依據。
延伸閱讀：Lawsnote為什麼「判4年、賠1億」那麼重？律師解讀一審判決：爬蟲到底行不行？
影片｜6萬次爬蟲只換來1次點擊！AI搜尋促成「流量大斷崖」：Google如何改寫搜尋行規？
資料來源：Cloudflare、TechChurch
本文初稿為AI編撰，整理．編輯/ 李先泰
