生成式人工智能技术的快速崛起正在深刻改变我们获取信息的方式。越来越多的用户习惯于通过AI聊天机器人获取即时答案，而不再主动访问原始内容发布者的网站。Cloudflare CEO Matthew Prince在接受Axios采访时直言不讳地指出，人们正在逐渐忽视AI聊天机器人回答中附带的来源链接，这种行为给传统内容发布行业带来了严重的流量流失和生存压力。过去，互联网用户往往通过搜索引擎点击指向具体网页的链接进行深度阅读和消费，而如今，AI聊天机器人却通过浓缩、总结和生成信息，直接满足了用户的需求，甚至让用户无需点击阅读原文。根据Prince的观察，十年前，谷歌为每抓取两页内容带来一名访问者，这一比例在近年骤降，六个月前已变为每六页内容仅带来一名访问者，而目前情况更为严峻，每十八页内容单独转化一名访问者。对比之下，诸如OpenAI和Anthropic等AI技术公司对内容拉取与访问的比例甚至更高，OpenAI目前大约每抓取1500页内容只带来一名访问者，而Anthropic则是每60000页内容带来一名访问者。
这个数字反映出AI聊天机器人在内容利用上的极度不均衡，他们大量抓取网页内容用于模型训练和生成答案，却极少驱动用户点击访问原始页面。由于这个因素，诸多新闻网站、博客和其他内容发布平台正面临现金流锐减的困境，因为广告收入和会员转换的基础——直接流量正在减少。Prince形容这种现象为“存在性威胁”，强调如果内容发布者不能有效应对，未来优质内容的生产将难以持续。从技术层面来说，AI模型依赖于大量的互联网数据进行训练，然而现有的网络排除机制如robots.txt未能对这些AI爬虫起到应有的约束作用。据2024年的多方报道，部分AI公司无视网站设置的爬取禁止规则，仍然自动采集内容用于模型训练。针对这一情况，Cloudflare推出了一系列创新防护措施。
去年起，Cloudflare开始研究如何阻止大规模内容采集爬虫，甚至当网页已声明不被爬取时，依然有效执行拦截。2025年3月，Cloudflare正式推出AI迷宫（AI Labyrinth）技术，通过生成大量虚假且极具迷惑性的AI内容页面，引导非法爬虫陷入“迷宫”，从而浪费其时间和资源。这种策略不仅能有效降低爬虫的效率，也为被保护网站赢得了技术主动权。Matthew Prince在采访中还坦言，他每天都在与来自多个国家的政府黑客作战，包括中国、俄罗斯、伊朗、朝鲜、美国和以色列等，这些威胁无时无刻不在挑战Cloudflare和客户的网络安全防线。他戏言，“面对这些国家级黑客，我还得每天战斗难道还不能阻挡一个加州某街头的技术宅？”。这种态度体现了Cloudflare对网络安全和内容保护的高度重视。
然而，仅靠技术手段并非解决所有问题的万能钥匙。正如Prince指出的，内容发布者同样需要从商业模式和版权保护上做出创新与调整，以确保AI技术不致成为吞噬自身资源的怪兽。未来的互联网生态，很可能要通过版权许可、内容合作以及收益分配机制的完善，实现AI公司与内容创作者间的双赢。用户教育也是不可忽视的环节。随着AI聊天机器人诊断能力和对话体验的提升，普通用户对信息的依赖方式发生根本改变。他们更相信一番简明扼要的答案，而不愿意耗费时间去查证和深度阅读。
这种习惯使得“信息消费”变得更加便捷却也更为浅层化，忽视链接点击和来源核实的行为逐渐普遍。面对这一趋势，呼吁用户不仅要“相信”AI的回答，更应养成验证信息出处的良好习惯，避免被误导或接受片面信息。此外，媒体公司和内容创作者也需要积极探索多元化盈利渠道，减少对传统广告点击的依赖，譬如通过付费订阅、内容增值服务和品牌合作，提升自身竞争力。Cloudflare CEO的观点清晰地揭示了当前AI技术发展带来的机遇与危机并存的现实局面。生成式AI为用户带来了便利和全新互动体验，同时也对互联网内容生态造成了冲击。对于内容创作者而言，如何在AI浪潮中保护原创成果、实现商业价值，是今后亟待解决的重要课题。
随着技术手段不断升级，法规和行业规范逐渐完善，我们有理由期待一个更加健康、公平的数字内容环境。总体来看，AI聊天机器人背后被忽视的链接问题不仅仅是一个技术或流量统计的冷冰冰数字，它反映了整个数字信息时代用户行为、内容产业结构及法律政策的深刻变革。唯有各方合作，共同打造可持续发展的生态体系，才能使优质内容生产与人工智能进步实现良性互动，让技术进步真正惠及所有利益相关者。
