AIの”二重人格”を解決？ RAGEN 研究が示す『一貫性AI』への道筋

ある日、AIが突然別人になった。

「あれ、この間はこう言ってたのに…？」

生成AIを使っていて、そんなふうに首をかしげたことはありませんか？

ある朝、あなたのAIエージェントは親切で頼りがいのある相談役。
でも翌日には、話が噛み合わず、どこか他人のような応答を返してくる。
まるで地図を持たずに案内しようとするガイドのように、頼もしく見えても、時に不安定で信用しきれない存在──それが今のAIエージェントの姿です。

私たちは今、AIと「どう付き合っていくか」を本気で問われる時代に立っています。

そんな中、ノースウェスタン大学、スタンフォード大学、マイクロソフト、ニューヨーク大学の共同研究チームが打ち出したのが「RAGEN」という新しいアプローチ。
これは、AIがもっと”人間の期待に応えられる”存在になるための、極めて重要な一歩なのです。

なぜAIエージェントは”気まぐれ”なのか？

AI、とくに大規模言語モデル（LLM）は、入力のたびに違う応答を返すことがあります。
これは決して欠陥ではなく、膨大な選択肢から”それっぽい”答えを探すという設計上の特性。

けれど、この”柔軟さ”が裏目に出ると、同じタスクを与えても違う結果が返ってきたり、途中で論点がズレてしまったりといった問題が発生します。

たとえば、AIに「旅行計画を立てて」と頼んだら、午前中は京都にいたのに午後からは札幌に飛んでいた──そんな”テレポート型”の回答も珍しくないのが現実です。

これでは、ビジネスや研究、日常のサポートに安心して使うことは難しいですよね。

そんな「気まぐれAI」に秩序を与えるのが、StarPO（State-Thinking-Actions-Reward Policy Optimisation）とそれを実装する RAGEN のフレームワークです。

StarPO は、AIエージェントの訓練を個々のアクションレベルではなく、相互作用の全体的な流れ（軌跡レベル）で最適化する汎用的なアプローチです。

RAGEN はこの StarPO を実装するためのモジュラーシステムで、特に複数のターンにわたる確率的（ランダムに決定される）環境において、AIエージェントの推論能力を強化学習で訓練・評価するための基盤を提供します。

これにより、AIは単なるランダムな応答ではなく、より一貫した信頼性の高い対応が可能になるのです。

研究チームは、RAGEN を使って LLM をテストするため、3つの最小限の象徴的なゲーム環境で実験を行いました。

結果、重要な3つの発見がありました：

「エコートラップ」と安定性の必要性：
複数ターンの強化学習訓練中に「エコートラップ」と呼ばれる問題が発生。
エージェントは最初は改善するものの、その後パフォーマンスが急落し、局所的に報酬を得るパターンに過剰適応してしまう現象です。
これに対抗するため、チームは StarPO-S という安定化されたフレームワークを開発しました。
ロールアウト（シミュレーション）の質が重要：
訓練に使われるシミュレーション軌跡の特性が学習に大きく影響します。
タスクの多様性、相互作用の粒度、最新のデータを使うことが重要です。
推論には慎重な報酬設計が必要：
単にモデルに「考えて」と促すだけでは、特に複数ターンのタスクでは意味のある推論が生まれません。
標準的な軌跡レベルの報酬（多くは最終結果のみを評価）では不十分であることがわかりました。

これまで、私たちがAIに感じていたのは”可能性”でした。
でも、RAGEN や StarPO のような仕組みが成熟していけば、それは”可能性”ではなく信頼できる現実のツールへと変わっていくはずです。

RAGEN と StarPO は、AIを「気まぐれな天才」から「頼れる参謀」へと変えるための技術的一歩です。
複雑で予測不可能な環境で推論し適応できるAIエージェントの訓練に向けた重要な進展といえるでしょう。

もしかすると、そう遠くない未来── 私たちはAIに「これ、お願い」と仕事を任せ、そしてその仕上がりに、心から安心して「ありがとう」と言える日が来るかもしれません。

もし今、あなたがAIとの対話に「ちょっと頼りないな」と感じているなら、RAGEN の登場は希望の光かもしれません。

これからは”ただ賢いAI”ではなく”ずっと付き合っていけるAI”が求められる時代です。

AIと人間──その関係に、信頼という橋をかける技術。
それが、RAGEN と StarPO なのです。