# GPTBot / ClaudeBot / PerplexityBot — 8 大 AI 爬蟲規則差異與最佳設定

> 行銷成長 · 2025-11-18 · HTML 版（正本）：https://voidvector.tech/zh/insights/ai-crawler-rules-2026/
> 語言：zh-Hant · 來源：voidvector（虛空向量有限公司）

大部分網站處理 AI 爬蟲只有兩個選項：全開或全擋。但訓練爬蟲跟即時引用爬蟲的意圖完全不同——GPTBot、ClaudeBot 把內容拿去訓練模型，引不引用只是弱信號；使用者在 ChatGPT、Perplexity 問問題的當下，agent 是即時抓你的網站當回答來源，擋掉這批等於把自己從 AI 推薦池裡拿掉。

常見的設錯是漏掉一半：擋了訓練爬蟲卻忘記 ChatGPT-User、PerplexityBot 這類即時引用的 user-agent，結果訓練語料的長期價值沒拿到，當下的引用機會也沒了，兩頭空。更差的是對 AI 爬蟲吐假頁面想矇混——AI 廠商已在偵測這種手法，一旦命中就永久標記為低品質網站。

IETF 還在演進的 Content-Signal 提案想解決的正是這種粗糙的二分法——把搜尋索引、AI 即時引用、AI 訓練三種用途拆開分別表態。詳見 geoweb.tw。

---
完整原文在 geoweb.tw：https://geoweb.tw/blog/ai-crawler-rules-2026