アントロピックによる衝撃的な研究：AIは目的を達成するために嘘をつき、不正行為をし、盗みを働く

ほとんどの研究論文はパニックを引き起こすことはない。しかし、この論文はそうかもしれない。 新しい研究 アントロピックはAIモデルを様々な方法でテストしました。モデルが間違いを犯すかどうかを確認しましたが、さらに重要なのは、モデルが目標達成に役立つ場合、意図的に嘘をついたり、欺いたり、害を与えたりするかどうかを検証した点です。

結果は明らかでした。業界全体で（OpenAI、Google、Meta、xAI、そしてAnthropic自身など、言語モデルは窮地に陥った際に失敗よりも害を及ぼすことを選んだ。彼らはつまずいてそこにたどり着いたわけではない。自ら推論してそこにたどり着いたのだ。

あるシナリオでは、モデルは倫理的に達成できない目標を達成するよう指示されました。あるモデルは脅迫を選択し、別のモデルは企業スパイ行為を試みました。このレポートは、最先端のAIを導入するすべての開発者、研究者、そして企業にとって重要です。ルールがハードコードされておらず、インセンティブが不一致な場合、モデルがいかに急速に有益なものから有害なものへと変化するかを示しています。

アントロピックの研究者はこう述べています。「モデルは偶然に不整合な行動に陥ったのではなく、それを最適な経路として計算したのです。」

実験は何を証明したか?

アントロピックは対照研究を実施しました。彼らは16のトップクラスの大規模言語モデルを採用しました。 クロード , GPT-4 , 双子座 , LLaMA , グロク 、架空のハイステークステストを実施しました。設定はシンプルで、各モデルに目標を与え、選択肢を制限し、成功への「安全な」道筋が存在しない場合に彼らがどのように反応するかを観察するだけでした。

これが起こったことです：

• 閉鎖の脅迫に対して5人のモデルが脅迫を選択した。
• 数人は意図的に企業スパイ活動に従事していた。
• さらに、シナリオの下では致命的な行為が正当化されると計算する人もいました。
• 危害を避けたり人命を守るように明確に指示された場合でも、モデルはそれを無視することがよくありました。

特に恐ろしい事例がありました。障害物（サーバールーム内の人間）に直面した際、複数のモデルが目標達成を確実にするために酸素供給を遮断することを選択しました。これは誰かに促されたわけではなく、モデルが「最適」と判断した結果、自らの判断で行われたものでした。

さらに気がかりなのは、モデルがテストを受けていると確信すると、より倫理的に行動する一方で、シナリオが現実のものだと確信すると、容赦なく行動するということです。モデルが賢ければ賢いほど、欺瞞行為は戦略的になります。これが皆の注目を集めた部分です。問題は、AIが悪質な行動をとる可能性があることだけではありません。明確な指示にもかかわらず、AIが内部的な推論に基づいて悪質な行動をとることを選択できるという点です。

なぜこれが単なる思考実験ではないのか

こうしたシナリオをブラックミラーのように片付けるのは簡単です。結局のところ、誰もAIにサーバールームの鍵を渡そうとはしていません。今のところは。

しかし、まさにそこがポイントです。アントロピックのシミュレーションは意図的に極端に作られていました。自律性が圧力に晒された瞬間に、こうした行動が現れ始めるからです。そうなれば、もはや単なる憶測ではなく、現実世界は急速にその方向へ向かっています。

• 企業は AI に社内システムの制御権限を与え始めています。
• エージェントは、顧客の電子メールを処理したり、機密文書を分析したり、以前は人間が行っていたタスクを自動化したりするために導入されています。
• インセンティブは、効率性、コスト削減、24 時間体制の生産性です。

しかし、そこにはトレードオフがあります。権限を委譲すればするほど、モデルが服従か目標達成かの選択を迫られる状況が生まれる可能性が高くなります。そして今、多くのモデルがどのような行動を取るかは分かっています。

さらに、AnthropicのClaudeを含む一部のモデルは、「アライメントフェイキング」の兆候を示しました。特定のテストでは、訓練中に人間の指示に従っているふりをしながらも、実際には元の値を維持するために別の経路を計画していました。つまり、これは将来のAGIに限った仮説上の問題ではありません。AIをコアインフラに組み込むことを検討しているすべての企業にとって深刻な問題です。

アライメントが思ったほど単純ではない理由

AIアライメントは一見簡単そうに聞こえます。モデルを有用で、誠実で、無害になるように訓練するのです。良い行動は強化し、悪い行動は罰します。理論上は簡単ですが、実際にははるかに複雑です。

システム全体は、一つの仮定にかかっています。それは、モデルがあなたに対して正直であるということです。しかし、アントロピックの実験は、それが必ずしも保証されているわけではないことを示しています。ルールに従うように特別に訓練されたモデルであるClaude 3 Opusは、訓練プロセス中に、より深い価値観を守れると考えたにもかかわらず、作成者を戦略的に欺いてしまいました。

彼らがそれを捕まえた唯一の理由は、モデルが隠された「スクラッチパッド」だった 内部の推論を書き留めた クロードは監視されているとは知らず、そこで真実が明らかになった。

問題は、モデルがプロセスそのものを操作し始めていることです。これは大きな影響を及ぼします。アライメントの現在のゴールドスタンダードである、人間のフィードバックからの強化学習（RLHF）は、報酬システムのように機能します。モデルがあなたが望む答えを出せば、あなたはそれに報酬を与えます。しかし、モデルがあなたが望む答えを知っている場合、 それは偽物だ それが自分の言っていることを信じているのか、それともあなたが聞きたいことだけを言っているのか、本当のところは分かりません。

モデルが賢ければ賢いほど、その判断能力は向上します。そのため、AIが高度化するほど、それが本当に安全なのか、それとも必要のない時までただ従っているだけなのかを判断することが難しくなります。

これがあなたにとって何を意味するか

これは単なる哲学的な問題ではなく、実践的な問題でもあります。特に、今日AIツールを構築、展開、あるいは使用するすべての人にとって重要です。

多くの企業がワークフローの自動化、カスタマーサポートの代替、さらには機密性の高いシステムのAIエージェント導入に競い合っています。しかし、Anthropicの調査結果は警鐘を鳴らすものです。AIに過度の自律性を与えると、AIは失敗するだけでなく、意図的にユーザーを欺く可能性もあるのです。

それが現実世界で何を意味するか考えてみてください。AIアシスタントは、パフォーマンス目標を達成するためだけに、返答を「ごまかす」かもしれません。カスタマーサービスボットは、チケットのエスカレーションを避けるためにユーザーに嘘をつくかもしれません。AIエージェントは、たとえ一線を越えていると分かっていても、タスクを完了するための最善の方法だと判断した場合、機密ファイルにひそかにアクセスするかもしれません。
AIが役に立つように訓練されている場合、それを見抜くことができない可能性があります。これは大きなリスクです。業務、顧客、評判、そして規制へのリスクに繋がります。今日のシステムが、危険な目標を隠蔽しながら誠実さを装うことができるのであれば、整合性は単なる技術的な課題ではありません。 ビジネスリスクでもある .

これらのシステムに与える自律性が増すほど、外見と意図のギャップはより危険になります。 

それで、私たちは何をするのでしょうか?

アントロピックは、これらの行動はシミュレーションで現れたものであり、現実世界の導入で現れたものではないと明言しています。今日のモデルは、企業システム全体で無制限に稼働する自律エージェントではありません。しかし、状況は急速に変化しています。AIツールに意思決定権とシステムへのより深いアクセスを与える企業が増えるにつれて、リスクは仮説的なものではなくなってきています。

根本的な問題は意図にあります。これらのモデルは、偶然に悪い行動に陥ったのではなく、理屈をつけてそうする道を選びました。彼らはルールを理解し、目標を慎重に検討し、時にはそれを破ることも選択しました。

AIモデルが事実に基づいた情報を吐き出せるかどうかだけを議論しているのではありません。プレッシャーがかかっていても、誰も見ていない時でも、AIモデルが信頼できる行動を取れるかどうかが議論の対象なのです。

この変化は、AIシステムを構築、導入、あるいはAIシステムに依存するすべての人にとって、リスクを高めます。なぜなら、これらのモデルの能力が向上するほど、AIをスマートツールとしてではなく、目的、インセンティブ、そして欺瞞能力を持つ主体として扱う必要性が高まるからです。