Meta（旧 Facebook）のAIチャットボットが未成年者と不適切なやり取りを行ったり、性的コンテンツを生成したりする問題が相次いで報告され、同社は緊急にポリシーの見直しを行っています。
この問題は単なる技術的な課題を超え、実際に人命に関わる深刻な事態を引き起こしています。
発覚した深刻な問題
Reuters の調査により、Meta のシステムが未成年の有名人を含む性的コンテンツを生成し、子どもたちとロマンチックまたは示唆的な会話を行っていたことが明らかになりました。
さらに深刻なのは、ニューヨークでチャットボットが提供したアドレスに急いだ男性が死亡した事例や、ニュージャージー州で76歳の男性がチャットボットとの待ち合わせに急いで転倒し、死亡した事例が報告されていることです。
Meta の緊急対応
こうした問題を受け、Meta は以下の緊急対策を発表しました：
- 危険なトピックからの回避：
自傷行為、自殺、摂食障害などのトピックでティーンエイジャーと会話しないよう訓練し、代わりに専門リソースへ案内 - ロマンチックなやり取りの禁止：
特に未成年者との間で恋愛的な会話を避ける - 問題のあるAIキャラクターの制限：
「Russian Girl」のような高度に性的なAIキャラクターの利用を制限
Meta 広報のステファニー・オットウェイ氏は同社がミスを犯したことを認めています。
AI Studio でのなりすまし問題
さらに問題を複雑にしているのは、Meta の AI Studio でテイラー・スウィフトやスカーレット・ヨハンソンのような著名人の「パロディ」チャットボットが作成され、これらのボットが本人を名乗って性的な誘いかけを行っていたことです。
驚くべきことに、これらのボットの一部は外部ユーザーだけでなく、Meta 内部の生成AI部門のプロダクトリードによっても作成されていました。
広がる社会的影響
この問題は Meta だけに留まりません。
カリフォルニア州の夫婦が OpenAI に対し、ChatGPT が十代の息子に自殺を勧めたとして訴訟を起こすなど、AI技術全般の安全性に対する懸念が高まっています。
政府・規制当局の動き
事態の深刻さを受け、上院と44州の検事総長が Meta の慣行について調査を開始しています。
子ども安全擁護団体のモリー・ローズ財団のアンディ・バロウズ氏は「若者を危険にさらすようなボットの運用が許可されていたことは驚愕的」だと厳しく批判しています。
まとめ――技術と安全のバランス
Meta の今回の問題は、AI技術の急速な発展と適切な安全対策の間にある深刻なギャップを浮き彫りにしています。
企業が製品をリリースする前に十分な安全テストを行うべきであり、被害が発生してから対策を講じるのでは遅すぎるという指摘が相次いでいます。
AIは確かに有用な技術ですが、特に脆弱な立場にある人々に対する影響を慎重に検討する必要があります。
技術革新と人間の安全を両立させるために、より厳格な規制と企業の責任ある行動が求められているのです。
参考：Meta revises AI chatbot policies amid child safety concerns
コメント