核心摘要
- Anthropic:开发加速可能超过安全措施
- 速度差异连指标也会滞后显现
- 当AI产出成为下一环节的输入时
- 先从AI撰写比例和审核速度查起
Anthropic在修订版证券注册说明书(S-1/A)中表示,利用AI开发更强AI的速度可能超过安全性、对齐和安保措施的开发与验证速度。TechCrunch于11月2日(当地时间)报道称,Anthropic在为首次公开募股(IPO)向美国证券交易委员会(SEC)提交的该修订文件中,具体补充了这一风险。
虽然10月26日的最初申报文件中也提及了递归自我改进(RSI)的可能性与风险,但修订版基于自我评估指出,公司可能很快达到AI研发加速的标准,并明确了由此带来的安全管理难题。
Anthropic在申报文件中写了什么
- “在利用AI开发更强AI的过程中,模型性能的提升速度可能快于安全性、对齐和安保措施的开发与验证速度”
- “过去也曾在开发速度大幅加快之后才察觉到这一变化,未来也可能再次发生同样的情况”
- “根据内部估算和对未来模型的预测,公司可能很快达到由AI带来的开发急剧加速的标准”
Anthropic解释称,衡量AI贡献度的指标可能滞后于实际变化出现,或者无法准确预测下一代模型对开发速度的影响。不过该公司也补充说,目前尚未有模型被判定超过该标准,公司正持续评估相关数据。
这里所说的标准并非指AI提高研究人员生产力的程度。根据Anthropic的“负责任扩展政策(RSP)”,当AI整体性能提升速度比既有预期和过往最高水平快一倍以上,且这种变化很大程度上归因于利用AI实现研发自动化时,即视为达到该标准。
AI目前在开发中参与到何种程度
Anthropic在申报文件中明确表示,公司已将软件编写、模型训练代码优化、研究实验等工作交由Claude处理,截至2026年9月,内部代码库中超过90%的贡献代码由Claude编写。这种自动化在提升生产力的同时,也带来了新的风险。如果当前模型的错误或偏差被带入后续模型的开发过程,并在之后的世代中反复出现,问题可能会变得难以发现或修正。
Anthropic解释称,如果竞争对手在利用AI实现研发自动化方面领先,开发速度差距的累积可能会影响技术竞争力。该公司还表示,正在审议修订安全政策以维持人类的监督与控制权,并称“即便技术上已经可行,我们也不认为在缺乏人类实质性监督和理解的情况下,可以安全地让Claude完全自主地开发下一代最先进模型”。这意味着在后续模型开发的重大决策上,公司将继续保留人类的控制权。
Anthropic正将AI研发自动化的范围扩展至芯片设计领域。The Information于11月3日援引多位相关人士消息报道称,Anthropic由15人组成的自有芯片设计团队正在利用Claude执行AI芯片的工程与设计工作。Anthropic已于2026年8月宣布将组建自有AI芯片设计团队。
对韩国企业AX的启示
在这份申报文件中,企业更应关注的并非RSI本身,而是其中承认的两点:其一,产出结果的速度可能超过验证结果的速度;其二,衡量加速的指标可能滞后于实际变化显现。这两点都不应仅被视为开发最先进模型的企业才需面对的问题。
对于并非自行开发模型、而是将AI引入业务的组织而言,可以将同样的结构理解为“AI生成的代码或文档成为下一环节工作输入”的情形。如果前一阶段的错误未经审核就进入下一阶段,日后可能难以发现和修正,因此在扩大引入范围之前,应先确定哪些决策需要保留人工审批,这才是合理的顺序。即便是内部代码超过90%由Claude编写的Anthropic,也明确表示将在重大决策上保留人类的控制权。
如果贵公司已经在使用AI编码工具或文档自动化,建议本周就确认:是否在实际统计AI生成结果的占比,以及审核人员的处理速度是否能跟上该占比的增长速度。要避免延迟察觉加速,衡量必须先于变化发生。
