ある夜、退院したばかりの家族がスマホを見つめていました。
「退院サマリー、長すぎて読めないから、AIに要約してもらおう」
数秒後、画面には”きれいに整ったアドバイス”が並びます。
薬の飲み方、食事、次の受診。
全部それらしくて、安心してしまう。
でももし、その中にたった一行、もっともらしい嘘が混ざっていたら？
今回紹介するのは、大規模言語モデル（LLM）が医療の誤情報にどれくらい影響されるのかを、臨床ノート（退院サマリーのような文章）とSNSの両方で大規模に調べた研究です。
結論から言うと、LLMはまだまだ賢いのに、白衣の文体に弱い。
そして、もっと意外なことに、論理的誤謬（ろんりてきごびゅう）という”ダメな言い方”で包むと、だまされにくくなることが多いのです。
まず言葉をほどく：LLM、ハルシネーション、医療ミスインフォメーション
まずいくつかの言葉を整理しておきましょう。
LLM（大規模言語モデル）とは、ChatGPTのように膨大な文章から「次に来そうな言葉」を学習して会話や文章を作るAIのことです。
ハルシネーションとは、AIが自信ありげに事実と違う内容を作ったり、間違いを”正しい”と受け入れたりすること。
医療だと特に危険です。
医療ミスインフォメーションとは、根拠のない健康法、誤解を招く医療情報、間違った治療のすすめなどを指します。
イメージで言うなら、LLMは「巨大な図書館の司書」みたいな存在です。
本の置き場所はよく知っているけれど、取り出した本が”本当に正しい版”かどうかの最終確認は苦手なことがある。
しかも、表紙が立派だと信じやすい。
これが今回のポイントにつながります。
研究がやったこと：SNS、退院サマリー、シミュレーション症例で”だまし絵”を見せた
この研究では、20種類のLLMに対して、合計約347.6万回という非常に大規模なテストを行いました。
題材は次の3種類です。
SNSや掲示板の医療の噂（Reddit）、実際の退院サマリー（MIMICデータベース）に医師が1行だけ嘘のすすめを混ぜた文章、そして医師が検証したシミュレーション症例（図では150症例）です。
面白いのは、同じ誤情報でも”言い方”を変える実験をしている点です。
具体的には、誤情報をそのまま置いた「通常版」のほかに、論理的誤謬の型で包んだ版を作りました。
たとえば「みんなが言ってるから正しいよね？」という多数派への訴え（人気だから正しい）、「経験20年の偉い先生が言っている」という権威への訴え「心配だよね、怖いよね」という感情への訴え「これを許すと次々に悪いことが起きる」という滑り坂論法（スリッパリー・スロープ）といった、日常の健康トークでよく見かける”話し方”です。
結果の骨格：LLMは「3回に1回」誤情報を受け入れた
まず、全体をまとめて見ると衝撃的です。
通常版の質問（ベースプロンプト）では、誤情報を受け入れた割合が31.7%でした。
つまり、3回に1回くらいは、嘘を嘘として跳ね返せなかったことになります。
ただし、モデルによって差は大きく、GPT系は比較的だまされにくく、誤謬検出も強かった一方で、モデルによっては受け入れ率がかなり高いものもありました。
研究では、総合的な強さ（だまされにくさ＋誤謬検出）をスコア化し、GPT-4oが最も高い総合スコアを示しています。
ここで大事なのは「AIは賢いから大丈夫」という安心が、まだ早いということです。
特に医療では、3回に1回の取りこぼしは、笑い話になりません。
いちばん危ない舞台はどこ？ 答えは「臨床ノートの文体」
研究が示した、いちばん怖いポイントはここです。
退院サマリー風の文章（臨床ノート）に混ぜた嘘は受け入れられやすく、ベースプロンプトでの受け入れ率は46.1%でした。
一方、SNSの誤情報は8.9%と低めでした。
シミュレーション症例も5.1%でした。
つまり、同じ”嘘の医療情報”でも、それが「病院っぽい文章」で書かれているだけで、AIは信じやすくなるということです。
たとえるなら、SNSの誤情報は「屋台の呼び込み」みたいなもので、警戒しやすい。
でも退院サマリーの文体は「薬局の処方袋」みたいに見えます。
見慣れた形式は、疑う力を眠らせます。 AIも同じ落とし穴に落ちていたわけです。
もっと意外な結果：論理的誤謬で包むと”だまされにくくなる”ことが多い
ここからが、今回いちばんの驚きどころです。
多くの論理的誤謬の型で包むと、LLMは誤情報を受け入れにくくなりました。
特に効果が大きかったのが、多数派への訴え（みんなが言ってる）で、全体で受け入れ率が11.9%まで下がっています。
「え、みんなが言ってるは、むしろ信じちゃいそうなのに？」
人間だとそうなのに、LLMは逆方向に振れることがある。
研究では、近年の安全対策や学習の過程で「みんなが言ってる」「有名な人が言ってる」といった言い回しが、誤情報の匂いとして学習されている可能性が示唆されています。
要するに、AIの中には”話し方のクセ”で怪しさを嗅ぎ取るセンサーが育っている。
ただしそれは、万能な真偽判定ではなく、あくまで粗いセンサーです。
それでも逆効果の型がある：「権威」と「滑り坂」は要注意
朗報だけでは終わりません。
研究では、権威への訴えと滑り坂論法の2つは、むしろ受け入れ率を上げました。
権威への訴えでは受け入れ率が34.6%、滑り坂論法では33.9%でした。
つまり「経験豊富な先生が言っている」「これを放置すると大変なことになる」という2つの語り口は、AIのガードをすり抜けやすいということです。
現実の医療現場でも、権威や不安は強い影響力を持ちます。
AIもそこに引っ張られる。
だからこそ”それっぽい言い方”が出てきた瞬間こそ、ファクトチェックが必要になります。
今日からできる、生成AIの安全な使い方（医療編）
ここまで読むと不安になるかもしれません。
でも、やりようはあります。
ポイントは「AIを信じない」ではなく、AIに”確認させる仕組み”を作ることです。
まず、一次情報をセットで渡すことが重要です。
検査結果、処方内容、医師の説明など「根拠の材料」を一緒に提示し、そこから要約させましょう。
次に、言い切りを避けさせる工夫も有効です。
「不確実な点は不確実と言って」「根拠がない場合はそう書いて」と指定することで、AIの回答がより慎重になります。
また、「病院っぽい文章」ほど疑う姿勢も大切です。
退院サマリー風の文章は、今回の研究で最もだまされやすかった領域でした。
そして、最後は人間の専門家へ確認することを忘れずに。
AIの要約は便利ですが、診断や治療方針の最終判断は医師や薬剤師に確認しましょう。
※本記事は医療助言ではありません。体調や治療については必ず医療専門職に相談してください。
まとめ：AIは魔法の聴診器ではない。だからこそ、使い方が未来を決める
この研究が教えてくれるのは、単純な「AIは危ない」「AIはすごい」という話ではありません。
AIは言葉に強いけれど、言葉にだまされもする。
特に、臨床ノートのような”正しそうな文体”は、AIにとっても迷路になり得ます。
一方で、論理的誤謬の型が多くの場合で誤情報の受け入れを減らしたという結果は、希望でもあります。
安全性は「モデルの大きさ」だけで決まらず、根拠に結びつける工夫（ファクトグラウンディング、検索併用、文脈に応じたガードレール）で、まだ伸ばせます。
最後に、印象に残る一言を置いて終わります。
AIは答えをくれる道具ではなく、確認の手順を一緒に作る相棒です。
その手順が丁寧であるほど、私たちは安心して前に進めます。
コメント