Bytespider这个蜘蛛到底是想干嘛？老是扫我博客.........

moe

3月前

(compatible; Bytespider; [email protected])

什么垃圾蜘蛛天天来

字节跳动也弄搜索引擎？

本帖最后由 codeqihan 于 2024-8-15 13:32 编辑

似乎是字节的爬虫，据说是用来训练豆包的
https://blog.cloudflare.com/zh-cn/declaring-your-aindependence-block-ai-bots-scrapers-and-crawlers-with-a-single-click-zh-cn/
“据报道，Bytespider 由 TikTok 的母公司字节跳动运营，用于为大型语言模型 (LLM) 收集训练数据，包括为其对标 ChatGPT 的竞品——豆包提供支持。”

是头条搜索的爬虫。头条搜索站长平台：https://zhanzhang.toutiao.com/

本帖最后由 icon 于 2024-8-15 13:37 编辑

如果你用cf的话，把那个禁止ai机器人打开就好