无视网站反 AI 抓取政策，Anthropic 爬虫机器人惹多个网站所有者不满 – IT之家

IT之家 7 月 27 日消息，据 The Verge 当地时间 26 日报道，anthropic 公司使用的 Claudebot 在短短 24 小时之内，就访问了 iFixit 网站近百万次，此举违反了该网站的使用条款。

这一显得有些疯狂的举动，引起 iFixit 的 CEO Kyle Wiens 直接在 X（推特）上开怼，IT之家附大意如下：

• “如果这些请求（指访问）中的任何一个访问了我们的使用条款，那么它会告诉你我们的内容被明确禁止使用。别问我，去问 Claude！”

• “我知道你渴望获得数据，Claude 也真的很聪明！但是，你真的有必要在 24 小时内访问我们的服务器 100 万次吗？你不仅在不付费的情况下获取我们的内容，还占用了我们的 devops 资源，一点都不酷！”

• “如果你想要跟我们谈谈内容许可和商业用途的话，我们就在这呢。”

iFixit 的使用条款政策声明，“未经公司事先明确的书面许可，严格禁止复制、复制或分发”网站上的任何内容，特别包括“用于训练机器学习或 AI 模型”。

Wiens 此后表示，iFixit 已经在其 robots.txt 文件中添加了“爬行延迟”扩展。

然而，iFixit 并非唯一的受害者。Read the Docs 联合创始人 Eric Holscher 和 Freelancer.com CEO Matt Barrie 在 Wiens 的帖子中表示，他们的网站也曾被 Anthropic 的爬虫频繁抓取。

这些行为并非 ClaudeBot 的“初犯”。早在今年 4 月，Linux Mint 网站论坛就将一次网站故障归因于 ClaudeBot 的抓取活动造成的压力。

广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，IT之家所有文章均包含本声明。