ある日の疑問からはじまった
「このAI、めちゃくちゃ難しい数学の問題は解けるのに、なぜか簡単そうな質問ではつまずく…なぜだろう？」
そんな経験、ありませんか？
まるで、天才だけど忘れ物が多いクラスメート。
難問を軽々と解く一方で「1たす1は？」と聞くと黙り込む──大規模言語モデル（LLM）は、時にそんな不思議な振る舞いをします。
この矛盾のような現象の裏に「AIは『問題の難しさ』をどう捉えているのか？」という深い問いが隠されています。
今回の研究「LLMs Encode How Difficult Problems Are」は、この謎に挑んだ物語です。
“難しさ”はAIの中にあるのか？
人間にとって「難しい」と感じる問題。
それは知識だけでなく、経験や直感にもとづく複雑な判断です。
一方、LLM にとっての難易度とは？
そもそも、AIは”問題の難しさ”をわかっているのでしょうか？
研究者たちは「難しさ」という見えない感覚が、LLM の”脳内”（＝モデルの内部表現）に存在しているのではないか、と考えました。
まるで、AIの思考回路に「この問題はちょっと手強そうだな…」という感覚がひそんでいるように。
AIの「内なる感覚」を探る方法：線形プローブというレンズ
この研究では「線形プローブ（Linear Probe）」という手法を使って、LLM の内部にある”難しさの痕跡”を探りました。
簡単に言えば、AIの脳内活動（活性化層）をスキャンして「この問題は難しい？簡単？」と判定させてみるのです。
これは、脳波から「人が驚いたかどうか」を読み取ろうとする試みに似ています。
LLM の思考の深層にある「難しさ感覚」を、そっと引き出そうとしたのです。
人間の感じる「難しさ」と、AIの”感じている”難しさは違う？
使われたデータは、人間が「難しい」と判断した数学問題（E2H-AMC）と、LLM が解けなかった問題にもとづく難易度評価（E2H-GSM8K）の2種類。
驚くべきことに、AIの内部からは、人間が難しいと感じた問題の方が、ずっと明確に識別できたのです！（AMC では相関係数 ρ≈0.88 を達成）
逆に、LLM の性能にもとづいて評価された問題の難しさを、AI自身は明確には感じ取れていませんでした（GSM8K では ρ≈0.58 と大幅に低下）。
つまり、AIは人間の”難しさ感覚”には共感できるけれど、他のAIがどう感じるかについては予測が苦手という、興味深い特性を見せたのです。
難しい方向に誘導すると、AIは失敗する？──”ステアリング”の実験
さらに研究者たちは、線形プローブを使って、AIの思考を”難しい方向”あるいは”簡単な方向”に意図的に操作するという大胆な実験も行いました。
その結果「難しい方向」に操作されたAIは、回答が長くなり、正答率が下がるという傾向が見られました。
反対に「簡単な方向」に誘導すると、出力が簡潔になり、正答率が向上しました。
特に注目すべきは「簡単な方向」に誘導されたAIが、自然とコード生成を活用するようになったこと。
問題を解くための道具を使うという、より効果的な戦略を取るようになったのです。
例えるなら、難問に緊張して取り乱す受験生が「これは簡単な問題」と思い込むことで落ち着き、正しく解答できるようになるような現象です。
学習の中で”難しさ”の理解はどう進化するのか？
研究チームは、AIが強化学習（GRPO）によって訓練される過程でも、この「難しさの理解」がどう変化するかを追跡しました。
結果は、さらに興味深いものでした。
- 人間が難しいと感じた問題の識別能力は、訓練とともにどんどん向上し、モデルの性能向上と正の相関を示した
- 一方で、LLM の性能にもとづく難しさの識別能力は、訓練が進むにつれて劣化し、モデルの性能向上と負の相関を示した
まるで、訓練によって「人の感覚」に寄り添えるようになる一方で「他のAIの苦手分野の予測」は失っていくような進化なのです。
この研究が私たちに教えてくれること
AIは、まだまだ完璧ではありません。
でも、私たち人間の感覚や判断を、ちゃんと”内側に取り込む”ことができるのです。
- 人間の「難しい」という感覚が、AIの学習を導く”地図”になりうる
- AIの内部には、明示的には言葉にできない「難しさの気配」が線形的に存在する
- 教える内容だけでなく「難しさの感じ方」そのものもAIに伝えることが、これからのカギになる
- AIが「簡単な方向」に導かれると、より効果的な問題解決戦略（道具の使用など）を取るようになる
この研究は、「AIに何を教えるか」ではなく「AIにどう”感じさせるか”」という、新しい視点を私たちに届けてくれました。
まとめ：AIとの共感をめざして
「難しさを理解できるAI」
それは、単に頭がいいAIではありません。
人と同じように”つまずき”を予測できる、やさしさを持ったAIです。
今回の研究は、AIが「人間の感じる難しさ」を内側に持つことの意味を示してくれました。
そして、その感覚を適切に操作することで、AIがより効果的な問題解決戦略を取るようになることも明らかになりました。
今後のAIとの共存社会において、この”共感力”と”適応力”こそが、新しい知性の形になるのかもしれません。
コメント