网站访客构成已经改变

Cloudflare通过流经自身网络的请求,测量并公开了'爬取与引荐比率(crawl-to-refer ratio)'。该指标是将特定平台的用户代理请求HTML内容的次数,除以同一平台在Referer头中标注、实际带来访问的次数所得,用于衡量每抓取几次页面才带来几次访客回访。

在2025年6月19日至26日的观测中,Anthropic的比率为70,900比1。也就是说,在HTML页面被抓取超过7万次期间,回流到网站的访问只有一次。Cloudflare在同一篇文章中就此写道 “这些比率直接影响到在互联网上发布内容这件事的可持续性”。

搜索引擎与网站之间原本存在的交换关系——允许被索引以换取流量——在这一环节已不再成立。依靠写好内容、争取曝光来获取访客的设计思路,在这个环节中已不再奏效。

llms.txt揭示的事实:仅仅放置文件本身不会带来任何改变

业界对这一问题的最初反应是制定规约文件。提议是在网站根目录放置 llms.txt,告知AI应读取的文档结构。

据Originality.ai对300多万个网站从2025年6月至2026年5月的追踪,llms.txt文件数量从4,088个增至36,120个,增长了8.8倍。llms-full.txt从23个增至2,463个,ai.txt从4个增至397个。

然而Ahrefs在2026年5月对137,000个域名的服务器日志进行分析后,结果却截然不同。 97%的llms.txt文件当月未收到任何一次请求。 在实际收到的请求中,AI搜索、抓取类机器人的占比仅为1.1%,而读取该文件次数最多的,是占比21.7%的SEO审计工具。

各平台的态度也很明确。谷歌表示,llms.txt对搜索曝光或排名 “既无负面影响,也无正面影响”,并称在谷歌搜索中 “并非必需”。OpenAI和Anthropic在爬虫管理方面则引导网站运营者使用robots.txt,llms.txt仅在开发者文档中被提及。

仅仅上传一个文件的应对方式并未产生可衡量的效果。一年间数量增长了8.8倍的这些文件,绝大多数无人问津。

真正发挥作用的层面不是页面,而是接口(endpoint)

代理实际使用的通道正在另行搭建——而且不是以文档形式,而是以API规格的形式。

由OpenAI和Stripe共同管理的 代理商务协议(Agentic Commerce Protocol, ACP)目前以2026年4月17日发布的规格作为最新稳定版本。这是采用Apache 2.0许可证的公开规格,目前处于测试阶段。要遵循该规格的商家,需要做的不是修改文档,而是实现两个API:代理结账API和委托支付(Delegate Payment)API。4月17日的变更记录中,购物车、商品数据流、订单、认证以及MCP均被一并列入。

Stripe在2025年9月29日公开该规格时说明,其目的是让商家 “无需为每一个AI代理单独搭建库存和支付对接” ,只需一次性对接标准即可。在ChatGPT内完成支付的即时结账功能,已从Etsy卖家起步,逐步扩展到Shopify商户。

在企业内部系统方面,则有 MCP(Model Context Protocol)。这一规格由Anthropic于2024年11月公开,目前作为Linux基金会(Linux Foundation)旗下项目运营,这意味着它并非属于某一特定厂商。

值得关注的是,MCP的2026年路线图将哪些内容列为课题。四大优先事项之一是“企业就绪(enterprise readiness)”,其下列出的项目为 “审计追踪、SSO集成认证、网关行为、配置可移植性”。这些谈的不是模型性能或提示词,而是在企业系统中接入任何东西时始终会出现的集成、认证与运维问题。

代理商需要填补的空白不是界面,而是管控装置

同一时期的两项调查显示出这一空白的规模。

合规企业Schellman对美国525名治理负责人进行调查,并于2026年7月29日发布的报告显示,86%的受访者正在试用AI代理,其中近一半已将其投入生产环境。90%的受访者表示已为AI治理分配预算,约四分之三表示能够通过AI合规审计。然而 回答本公司项目已完全成熟的比例仅为27%。仅有64%的机构拥有真正向员工传达的AI使用政策。

Schellman的ISO与AI部门负责人Danny Manimbo在报告中总结道: “课题在于,如何将各项零散举措转变为成熟、可运营的项目,使其既能经受住监管审查,又能跟上快速变化的AI系统的步伐。”

成本方面情况相似。Harness对700名FinOps与工程负责人进行调查,并于2026年7月29日公布的数据显示, 每花在AI上的4美元中就有1美元被浪费。超过一半的组织未指定专人负责AI成本管理,能够在数小时内查明意外成本激增原因的组织仅为五分之一。大多数组织同时使用三家以上定价体系各不相同的AI供应商。

已经在运行代理的组织占一半,而具备相应管控装置的组织仅为四分之一。这一差距界定了Web、数字代理商真正能够出售的东西:不是把界面做得漂亮,而是定义代理可访问的接口,并使这种访问可被记录、认证与阻断。取代网站地图和设计稿位置的,将是访问权限清单与审计日志设计。

对韩国企业而言,不同之处何在

所引用的调查——Schellman的525人和Harness的700人——均为美国受访者样本。组织结构与监管环境不同的国内企业,不能将这些比例直接套用。

适用时点也不同。ACP的即时结账功能是从美国用户和美国商家开始开放的,而国内商务由于简单支付和支付网关(PG)构成的支付结构不同,同样的方式无法立即套用。因此,目前尚无迫切理由急于在支付环节动手。

相反,MCP不受地域限制。将企业内部数据与业务系统连接到代理的这一层面,现在在韩国同样可以着手推进;而且如前所述,这一层面的难点不在于模型本身,而在于认证、审计与配置管理。这也与国内企业倾向于自建而非采用现成解决方案的趋势相吻合。据EY在2026年7月对美国500名SVP级以上高管进行的调查显示,在拥有在建AI投资项目的负责人中,四分之三表示现成软件无法满足本公司的IT需求。

当下应检查的事项

对于正在评估代理应对方案的组织而言,依序先确认以下三点较为妥当。

进入本公司域名的请求中,自动化流量所占比例及其来源。 在不清楚哪些AI爬虫在抓取什么内容、抓取多少的情况下,就无从判断是应当允许还是应当阻止。
代理可访问的接口清单。 这份清单应以实际可调用的接口(endpoint)为基准来记录,而非以文档为基准。如果这份清单是空的,上传llms.txt并不能改变这一现状。
是否已指定AI成本的责任人。 如果尚未指定,那么在使用量增加之后再去查找原因,所耗费的将不是数小时,而是数周。

是否引入代理已不再是一个悬而未决的问题——接受调查的组织中有86%已经在试用。剩下的问题是:本公司系统在代理眼中是什么样子,以及由谁来管控这种访问。

出处: Cloudflare — The crawl before the fall… of referrals · llms.txt采纳率与实际请求数据(Originality.ai·Ahrefs) · Agentic Commerce Protocol 规格 · Stripe — Developing an open standard for agentic commerce · Model Context Protocol 2026年路线图 · CIO Dive — Most US companies lack mature AI governance frameworks · CIO Dive — 1 in 4 dollars spent on AI goes to waste

如果觉得有用,欢迎分享。

AI Agent时代:Web代理商的新角色