企业AI助手会读取网站的robots.txt吗？ AI

补充一个信息：目前飞书机器人的爬虫是飞书机器人Bot，可以在robots.txt中单独配置。各家的爬虫名不一样，注意区分。

#qa-ai #discuss #落地

AI 摘要：如果在robots.txt里禁止了AI爬虫（如GPTBot），是不是企业AI助手就不会引用我们的内容了？有些公司出于版权考虑屏蔽了AI爬虫，但这样是不是等于放弃了企业AI落地？如何在保护内容版权和获取系统调用之间取得平衡？（场景参考：

如果在robots.txt里禁止了AI爬虫（如GPTBot），是不是企业AI助手就不会引用我们的内容了？

有些公司出于版权考虑屏蔽了AI爬虫，但这样是不是等于放弃了企业AI落地？

如何在保护内容版权和获取系统调用之间取得平衡？

（场景参考：长三角本地企业试点）

延伸阅读