近年来，人工智能（AI）的飞速发展彻底改变了我们获取信息、创作内容和互动交流的方式。AI技术使得开发者能够更快地构建软件，非专业人士也能利用AI工具创造作品，研究进展加速，甚至人类沟通方式都在悄然转变。预计未来十年，AI需求将激增千倍，正因其巨大潜力，像Drupal这样的开源项目正积极加大对AI的投资力度。然而，与AI飞速发展相伴的，是网络与AI企业之间那份长期脆弱且逐渐破裂的经济合作契约。多年来，开放网络依托着一个隐性协议：搜索引擎可以抓取网络内容，以帮助用户找到信息，但最终仍会将流量送回内容创作者的网站，形成内容提供与流量回流之间的公平交换。这一模式既支撑了博客、新闻站点和开源项目，也促进了整个互联网生态的繁荣。
如今，越来越多的AI公司开始直接从网络内容中提取信息，未经内容创作者允许也不进行报酬支付，将答案直接呈现在自己的界面上，绕过了传统引导用户访问原网站的环节。以Anthropic为例，其爬虫为了获得单个访客，平均需要发出7万个网站请求，这种做法明显是资源的单向索取而非互惠交换。此现象让人不由联想到“创造者与掠夺者”的老问题。网络内容的创作是一项投入大量时间、精力和智慧的劳动，创作者们依赖访客流量来通过广告、订阅或其他方式变现。然而，当AI平台直接给出答案，用户无需点击进入原站，内容创建者的流量和收入急剧减少。像在线学习平台Chegg已针对此类AI回答服务提起反垄断诉讼，称谷歌的AI搜索功能严重侵蚀了其用户访问量和收益。
开发者社区Stack Overflow也遭遇了类似困境，其日活跃用户和新问题数量骤减四分之一至一半，因为开发者更倾向于使用ChatGPT等AI工具快速获得答案。个人内容创作者亦不幸受挫，一位独立运营的食谱博主坦言，访客骤降导致广告收入大幅下滑，面临生存危机。根据Similarweb的数据，自2024年5月谷歌发布“AI总览”服务以来，网络搜索产生“零点击”情况激增，从56%攀升至2025年5月的69%。也就是说，用户越来越多地在搜索结果页面直接获得答案，无需访问任何网站。这种零点击现象反映了网络生态中一场根本性的转变——用户被“留住”在大型平台和AI工具内，而非被引导至独立网站。事实上这一趋势的本质可追溯到作者2015年的“网络大逆转”观点：互联网正从鼓励用户流量分散到多元站点，向集中化平台迁移，动因是提升用户体验速度和便捷性。
尽管存在上述挑战，部分公司报告从AI工具引入的流量虽然不多，但转化率显著高于传统访客，表明AI流量的商业价值不可小觑。以Acquia为例，其AI聊天机器人的访客不到总流量1%，但转化率超过6%，远高于普通2%-3%的水平。然而，这种转化率提升不能掩盖对开放网络持续性构成的威胁。AI带来的直接信息服务固然深得用户青睐，但当价值被抽取而无偿分配至原始内容创造者时，整个网络的内容生态与创新动力将受到侵蚀。解决这一问题的关键在于寻求新的平衡点，使用户体验、AI公司利益与内容创作者权利三者取得合理配置。我们需要设计出既能满足用户对即时信息服务需求，又能确保创作者公平收益的经济体系。
虽然部分人认为现在AI巨头已握有庞大且不断增补的训练数据集合，甚至能撑起合成数据填补内容空白库，重建平衡为时已晚，但实际情况或许并非如此。网络内容需不断更新与创新，没有高质量原创内容，任何AI模型的长期价值都难以维持。历史与未来发展的经验告诉我们，内容生态的活力需要创新者的持续付出和激励。过去，网站管理员靠robots.txt文件向爬虫发送访问指令，但该协议属于自愿范畴，缺乏强制力，执行难度大。类似地，创意共享组织近期推出的CC Signals协议允许内容作者明确表态能否让AI使用自己的作品，但同样属于难以强制的社会契约范畴。面对持续的内容无偿采集问题，启动实际的技术与政策手段尤为关键。
近日，互联网安全公司Cloudflare宣布默认屏蔽所有未经授权的AI爬虫访问，其服务器作为中介，能精准识别那些无视robots.txt指令的爬虫，阻止其大规模扒取内容。Cloudflare掌管全球约20%的网络流量，这一举措标志着网络环境从纯粹自愿协议向技术强制执法的实质转变。个别大型平台已有能力自建检测系统或直接与AI企业商讨授权协议。例如，Reddit与谷歌签订了年付六千万美元的内容授权许可协议，体现内容授权的商业潜力。然而，绝大多数中小型创作者和个人网站很难拥有这样的谈判能力及技术资源。Cloudflare的做法首先确立了一个极为重要的原则：AI训练数据有其价值，创作者应当共享AI由其作品创造的经济利益。
解决方案的下一步，是建立内容授权市场——一个能够连接内容创作者和AI企业的高效平台，支持规模化、程序化的授权交易。这一市场目前尚处于萌芽阶段，但已有若干基础设施与创新方向在酝酿之中。Cloudflare CEO Matthew Prince曾暗示公司积极探索搭建类似Shutterstock（专业图片授权平台）与谷歌广告程序化定价系统结合的新型内容授权市场的可能性。在这样的市场中，创作者能上传内容，设定授权条款，AI企业通过自动化系统完成内容交易与付款，极大降低交易成本和门槛。该模式让更多创作者，无论大小型网站，都能获得实际的版权收益，摆脱无偿采集的被动境地。内容授权市场的建立，将转变目前AI与内容创建者之间对立的局面，促成合作共赢。
AI企业获得合法、优质的训练数据，创作者实现合理回报，用户享受更优质、更有道德保障的AI产品服务。开放网络自诞生以来，便致力于实现知识的民主化共享与自由发布。AI的出现本应进一步推动这一目标，但如果不建立健全的经济体系支持内容创作者，我们极有可能将内容创新者推向边缘化，进一步破坏网络生态的多样性和活力。无论是独立博客作者、传统新闻媒体，还是维护开源项目的技术人员，他们共同构筑了现代网络的基石。AI技术依托他们的贡献，而没有相应回馈，无异于消耗性的掠夺。诚然，AI公司并非不愿意合作，现实难题是：缺乏可扩展的系统去识别、联系和支付数以百万计的创作者。
创作者缺少有效的版权管理与变现工具，AI企业则缺少统一的内容发现与授权平台，双方需求亟待融合。Cloudflare的技术保护动作是迈出的重要第一步，更高效的内容授权市场将是下一关键环节。只有构筑起支持网络创作力量的经济体系，开放网络才能实现真正的可持续发展。我们面临一个空前机遇：唯有通过内容创作者与AI企业协同创新合作，才能打造一个更加公平、健康、韧性更强的网络生态系统，超过过去25年所建立的格局。尽管挑战重重，也许这正是网络未来的曙光。作为关注开放技术与变革的从业者，我们期待并努力促成这一进程的发生，让开放网络焕发新的生机与活力。
。
