OpenAIは、人々がChatGPTの音声モードに感情移入してしまうことを懸念している

知っておくべきこと

• GPT-4o のシステム カード レポートでは、ChatGPT の音声モードに人々が感情的に依存するようになることに対する OpenAI の懸念が概説されています。
• ChatGPT の音声モードの音声は非常にリアルで、ユーザーが人間と話しているような錯覚を与えます。
• 報告書は、音声モードが一部の人々に役立つ可能性がある一方で、音声モードに大きく依存したり、その回答に過度に依存したりする人々に影響を与える可能性があることを強調している。

ChatGPTの高度な音声モードは、最初に発表された際に波紋を呼んだ。しかし、最近の安全性レポートによると、OpenAIはすでに、その高度な音声モード（不気味なほど人間の声に似ている）によって、ユーザーがAIチャットボットに感情移入してしまう可能性があると懸念している。

高度な音声モードは、ChatGPT で最も期待されていた機能の 1 つです。リアルタイムで会話したり、会話中に「えー」、「あー」などの人間の声や間投詞を出したり、音を真似したり、歌を歌ったり、さらには声のトーンに基づいて感情状態を判断したりすることができます。簡単に言えば、最もリアルな AI アシスタントです。しかし、ChatGPT の音声モードは非常に強力で有能な機能であるため、誤用される可能性が高くなります。

OpenAIは報告書の中で次のように述べています。

「初期のテスト中に、モデルとのつながりを形成することを示唆する可能性のある言語をユーザーが使用しているのを観察しました。たとえば、「今日が一緒に過ごす最後の日です」など、共有された絆を表現する言語が含まれます。

また、音声モードは、ChatGPT を「脱獄」して、人物になりすますなど、さまざまなことを行うための新しい方法も提供します。人間のような会話をすることで、AI チャットボットの出力に誤りや幻覚が満載であっても、人々が AI チャットボットをより信頼するようになる可能性もあります。

ChatGPTの音声モードとのやり取りは、「孤独な人」に利益をもたらす可能性があり、社会的交流に対する恐怖を克服するのに役立つ人もいる。しかし、多用すると健全な人間関係にも影響を与える可能性があり、さらなる研究が必要であるとOpenAIは報告書で指摘している。

このレポートは OpenAI 側の透明性が高まっていることを示しているが、トレーニング データについてはまだオープンではない。確かに、OpenAI が Voice モードの広範な使用がもたらす結果について懸念していることは根拠のないものではない。しかし、テクノロジーへの過度の依存と依存はほとんどのテクノロジーに組み込まれている。そして、まるで映画のワンシーンのように、Voice モードの将来とユーザーが Voice モードとどのようにやり取りするかは容易に想像できる。

デモイベントでも、音声モードは少々色っぽすぎると思われていた。スカイの声がスカーレット・ヨハンソンに似ていることと、それが引き起こした論争を考えると、映画『her/世界でひとつの彼女』と、AI モデルの擬人化に伴うリスクを思い起こさずにはいられない。