话说在2024年那会儿,AI在网上到处爬数据的事儿闹得挺大。原本大家以为的互惠模式变味了,变成了一些平台只想着怎么多捞点数据,给原始网站的回报却少得可怜。特别是像Anthropic和OpenAI这种大公司,他们发出去的数据请求量特别高,真正能给网站带来的实际访问量却很少。这就好比有些人拿着资料到处用,却连个“感谢”都没说。Cloudflare在2025年开始做了个专项监测,算出了一个“抓取与回流比”,这一数据就把这种失衡给摆到了台面上。现在大家用AI抓取的频率越来越高,反而成了网站运营的负担。有网站主反映说云服务费用因为爬虫太多蹭蹭往上涨,这种做法其实是把成本转嫁到了别人身上。《商业内幕》去年年底也报过这档子事,说有些爬虫访问太猛了,根本没法给网站导流。 这种“只取不予”的做法打乱了互联网原本的生态平衡。专家说现在数据使用的规矩还得再定一下。这时候技术上也在想办法了,Cloudflare给网站主提供了工具让他们可以精准控制爬虫访问。总之嘛,AI发展得这么快不能毁了互联网的规矩。大家得赶紧把数字时代的数据规范建立起来才行。只有把机制建得更公平、更透明了,技术才能创新下去,数字文明的基础才能打得稳当当。这需要技术企业、行业组织还有大伙儿一块儿努力才行。