行業新聞與部落格

最近，我們觀察到生成式 AI 抓取機器人活動激增，對網路環境產生了影響。新資料表明，這些“灰色機器人”越來越多地針對 Web 應用程式。

Barracuda 的最新報告 《生成式人工智慧機器人活動趨勢》強調，積極收集線上資料的人工智慧機器人日益增多。

灰色機器人的崛起

2024 年 12 月至 2025 年 2 月期間，網路應用程式收到了來自生成式 AI 機器人（例如 ClaudeBot 和 TikTok 的 Bytespider）的數百萬條請求。

在短短 30 天內，一個被跟蹤的 Web 應用程式記錄了 970 萬個機器人請求，而另一個 Web 應用程式在一天內就面臨超過 50 萬個機器人請求。進一步分析發現，一個 Web 應用程式在 24 小時內每小時會遇到 17,000 個機器人請求。

與突發性執行的傳統機器人不同，這些生成式 AI 抓取機器人保持穩定的流量水平。這種意外模式給 Web 應用程式帶來了巨大挑戰，使得預測和減輕其影響變得更加困難。

灰色機器人雖然不具有明顯的惡意，但卻具有極大的破壞性。

他們積極的抓取行為可以：

• 導致 Web 應用程式流量過大，中斷正常執行
• 未經授權提取和使用受版權保護的資料
• 扭曲網站分析，影響商業決策
• 由於 CPU 和頻寬使用率較高，增加了雲託管成本
• 增加處理敏感資料的行業（如醫療保健和金融）的合規風險

2025 年初檢測到的兩個最豐富的生成式 AI 抓取機器人是 ClaudeBot 和 Bytespider。

ClaudeBot 由 Anthropic 運營，收集資料來訓練其生成式 AI 模型 Claude。儘管 Claude 的抓取行為十分激進，但 Anthropic 還是提供了有關如何阻止其活動的資訊。

TikTok 的 AI 抓取機器人 Bytespider 會收集資料以改進其推薦演算法和廣告功能。報告顯示，Bytespider 的運作缺乏透明度，這使得網路應用程式難以管理其影響。

檢測到的其他值得注意的機器人包括 PerplexityBot 和 DeepSeekBot。

保護策略

隨著灰色機器人成為線上流量中持續存在的一部分，組織必須採取主動措施來管理其影響。一種常見的方法是部署 robots.txt，這是一種向抓取工具發出訊號以避免收集網站資料的工具。然而，這種方法在法律上不可行，許多機器人都會忽略它。

為了更有效的保護，公司正在轉向人工智慧機器人防禦系統，利用機器學習來實時檢測和阻止爬蟲機器人活動。

隨著有關人工智慧抓取機器人的倫理、法律和商業影響的爭論持續進行，組織必須優先考慮安全性以保護其資料和運營。