アンソロピック、AI開発の加速が安全対策を上回るリスクを明示

アンソロピックは証券届出書の修正版（S-1/A）で、AIによってさらに優れたAIを開発する速度が、安全性・アライメント・セキュリティ対策を開発し検証する速度を上回る可能性があると明らかにしました。テッククランチは11月2日（現地時間）、アンソロピックが新規株式公開（IPO）のため米証券取引委員会（SEC）に提出したこの修正版に、当該リスクを具体的に追加したと報じました。

10月26日の当初の届出書でも再帰的自己改善（RSI）の可能性とリスクに言及していましたが、修正版では自社評価を根拠に、AI研究開発の加速基準に近く到達し得るとの見通しと、それに伴う安全管理の難しさを明記しました。

アンソロピックは届出書に何を記したのか

• 「AIを活用してさらに優れたAIを開発する過程で、モデルの性能が安全性、アライメント、セキュリティ対策を開発・検証する速度よりも速く向上する可能性がある」
• 「過去にも開発速度が大幅に加速した事実を、変化が起きた後になって初めて把握したことがあり、今後も同様の事態が起こり得る」
• 「社内の推定値と今後のモデルに関する見通しによれば、AIによる劇的な開発加速の基準に近く到達する可能性がある」

アンソロピックは、AIの貢献度を測る指標が実際の変化より遅れて現れたり、次世代モデルが開発速度に与える影響を正確に予測できない可能性があると説明しました。ただし現時点でその基準を超えたと判定されたモデルはなく、関連データを引き続き評価していると付け加えました。

ここで言う基準は、AIが研究者の生産性を高める程度の話ではありません。アンソロピックの「責任ある拡張ポリシー（RSP）」では、AIの総合的な性能向上速度が既存の予測値や過去最高水準の2倍以上に達し、その変化がAIを活用した研究開発の自動化に大きく起因する場合に、この基準に到達したと判断します。

AIは開発にどこまで関与しているのか

アンソロピックはソフトウェア作成、モデル学習コードの最適化、研究実験をClaudeに任せており、2026年9月時点で社内コードベースに貢献したコードの90%以上をClaudeが作成したと届出書に明記しました。この自動化は生産性を高める一方で、新たなリスクも生み出します。現行モデルの誤りや偏りが後続モデルの開発過程に反映され、以後の世代でも繰り返されると、問題の発見や修正が困難になる恐れがあります。

アンソロピックは、競合他社がAIを活用した研究開発の自動化で先行すれば、開発速度の差が蓄積し技術競争力にも影響し得ると説明しました。そのうえで、人間による監督と統制権を維持するための安全方針の改定を検討しており、「技術的に可能になったとしても、人間による実質的な監督と理解を伴わずにClaudeが次世代の最先端モデルを完全に自律的に開発するよう安全に活用できるとは想定していない」と述べました。後続モデル開発における重要な意思決定には、人間の統制を維持する方針です。

アンソロピックはAI研究開発の自動化を半導体設計にも広げています。ジ・インフォメーションは11月3日、複数の関係者の話として、アンソロピックの15人規模の自社半導体設計チームがClaudeを活用してAIチップのエンジニアリングと設計作業を行っていると報じました。アンソロピックは2026年8月、自社AI半導体設計チームを結成すると発表していました。

韓国企業のAX（AIトランスフォーメーション）への示唆

この届出書で企業が汲み取るべき点は、RSIそのものよりも二つの認識です。成果物を生み出す速度がそれを検証する速度を上回り得ること、そして加速を測る指標が実際の変化より遅れて現れ得ること。いずれも最先端モデルを開発する企業だけの問題として読む必要はありません。

モデルを自社開発せずAIを業務に導入している組織であれば、同じ構造を「AIが作成したコードや文書が次の作業の入力になる」形に置き換えて読むことができます。前段階の誤りがレビューなしに次の段階へ引き継がれると、後で発見・修正するのが難しくなり得るため、どの決定に人の承認を残すかは、導入範囲を広げる前に定めておくのが順序です。社内コードの90%以上をClaudeが作成しているアンソロピックも、重要な意思決定には人間の統制を維持する方針を明らかにしています。

AIコーディングツールや文書自動化を既に利用している場合は、今週、AIが作成した成果物の比率を実際に計測しているか、その比率が増加する速度にレビュー人員の処理速度が追いついているかをまず確認してみてください。加速の把握が後手に回らないようにするには、測定が変化よりも先になければなりません。

出典： アンソロピック「RSI加速にAI安全対策が追いつかない可能性」…統制強化を検討