ChatGPT でも間違える？ AIが「12×34」を解けない本当のワケ

「AIって、こんな簡単なこともできないの?」

ある日、あなたはふと疑問に思うかもしれません。
ChatGPT や Bard のようなAIは文章を理解し、翻訳し、詩すら書けるのに──なぜ、4ケタ×4ケタのかけ算でミスをするのでしょうか?

実はこれは、AIの「能力不足」ではなく「学び方」に原因があるのです。

今回ご紹介するのは、その謎を解き明かした論文「Why Can’t Transformers Learn Multiplication?」。
研究チームは、AIがなぜかけ算を苦手とするのか、そしてどうすれば”できるようになる”のかを、まるでエンジンを分解するように徹底的に解明しました。

たとえば、12 × 34 = 408 という計算。
私たちは「一の位から順にかけて足していく」といった手順を無意識にこなしています。

でもAIにとっては、この「途中の計算」がブラックボックス。
AIに答えだけを教えても「どこからその 408 が出てきたのか」がわからないのです。

人間で言えば「答えを見せられて、式を立てずに正解を出せ」と言われるようなもの。
この非現実的な学習方法が、AIのかけ算を阻んでいたのです。

研究チームは、ある工夫を試しました。
それがImplicit Chain-of-Thought(ICoT:暗黙的思考連鎖)という方法です。

ICoT では、はじめに計算の途中経過(部分積や繰り上がり)までAIに見せておき、訓練の各段階で徐々にそれを減らしていきます。

たとえば…

12 × 34 = 48 + 360 (408) = 408

このように「考え方を教える」ことで、AIが途中のステップを自分で”内面化”できるように促すのです。

この手法を使ったモデルは、なんと 100% の正答率で 4×4 桁のかけ算をこなすようになりました。

逆に、ICoT なしで普通に訓練した AI(SFT: Standard Fine-Tuning)はどうかというと…

なぜなら、これらの桁を計算するには、遠くの数字の組み合わせ(例:a₂×b₁ など)を同時に把握しないといけないから。
つまり「長距離の依存関係」があるのです。

しかし、今のトランスフォーマー型AIは、こうした長距離の情報を自然に学習するのが苦手。
途中で学習が行き詰まり、局所的な最適解(local optimum)にとどまってしまうのです。

では、どうすればAIが「かけ算の本質」を理解できるのでしょうか?

研究チームは2つの突破口を見つけました。

ICoT モデルの中では、注意(Attention)機構が二分木のような有向非巡回グラフ(DAG)を形成し、必要な数字のペア(aᵢ×bⱼ)をたどっていました。

第1層で部分積を各タイムステップに「キャッシュ」し、第2層でそれを「取り出す」という仕組みです。
これはまるで、計算を整理して覚える人間のノートのような構造です。

ICoT モデルの内部では、数字が五角形の柱(pentagonal prism:五角柱)のような構造で並んでいました。
これはフーリエ変換(周期性を持つ表現)を使って数字を表現していることを示しています。

さらに、注意ヘッドはミンコフスキー和(Minkowski sum)を使って部分積を実現していることも判明しました。

つまり、AIは「数字の意味」を幾何学的な形として理解し、効率よく計算する方法を自ら編み出していたのです。

もうひとつ注目すべきは、ICoT のような複雑な工夫をせずに、もっと簡単にかけ算を教える方法も成功したことです。

それは“途中の合計(ĉₖ)”を予測させる補助的な損失関数を使う方法。
この方法でも、AIは真ん中の桁をしっかり学び、正答率 99% を達成しました。

つまり──

「AIはダメ」ではなく「AIにどう教えるかがすべて」

ということが、明確になったのです。

この研究が教えてくれたのは、たったひとつの事実。

✨ AIが「答えを出す力」ではなく「考える力」を身につけるには”教え方”がすべて。 ✨

かけ算のような一見シンプルな問題であっても、見えない複雑さ=長距離の依存関係がある。
そして、その関係性をAIが学ぶには、人間のように「途中の考え方」を伝えることが重要だということ。

興味深いのは、モデルを大きくするだけでは解決しないという点です。
12層のモデルでも、標準的な訓練方法では同じように失敗してしまいます。
重要なのは、正しい「帰納的バイアス」を与えることなのです。

これは教育にも通じます。
ただ正解を教えるのではなく「どうやってたどり着くか」を共に考える。
AIも、私たち人間と同じように「考え方」を育てる必要があるのです。

もし今後「なぜAIはあの問題を間違えたんだろう?」と疑問に思うことがあれば──それはAIが”まだ学んでいない”だけなのかもしれません。

そして、学び方さえ変えれば、AIはもっと賢くなる。
この研究は、その希望の光を私たちに示してくれました。