OpenAI, 사람들이 ChatGPT의 음성 모드에 감정적으로 애착을 가질 수 있다고 우려

알아야 할 사항

• GPT-4o의 시스템 카드 보고서는 사람들이 ChatGPT의 음성 모드에 감정적으로 의존하게 되는 것에 대한 OpenAI의 우려에 대해 설명합니다.
• ChatGPT 음성 모드에서 사용되는 음성은 매우 실제와 같아서 사용자가 실제로 사람과 대화하는 것 같은 환상을 줍니다.
• 보고서는 음성 모드가 일부 개인에게 도움이 될 수 있지만, 음성 모드에 지나치게 의존하거나 음성 모드의 답변에 지나치게 의존하는 사람들에게는 영향을 미칠 수 있다고 강조합니다.

ChatGPT의 고급 음성 모드는 처음 발표되었을 때 파장을 일으켰습니다. 하지만 최근 안전 보고서 에 따르면 OpenAI는 이미 인간의 목소리와 소름 돋을 정도로 비슷하게 들리는 고급 음성 모드가 잠재적으로 사용자가 AI 챗봇에 감정적으로 매료될 수 있다는 것을 우려하고 있습니다.

고급 음성 모드는 가장 간절히 기대했던 ChatGPT 기능 중 하나였습니다. 실시간 대화를 할 수 있고, 말하는 동안 ‘음’, ‘아’와 같은 인간의 소리를 내거나 다른 감탄사를 내거나, 소리를 흉내 내거나, 노래를 부르거나, 심지어 음성 톤에 따라 감정 상태를 판단할 수도 있습니다. 간단히 말해서, 그것은 가장 실제적인 AI 비서입니다. 하지만 ChatGPT의 음성 모드는 강력하고 유능한 기능이기 때문에 오용될 가능성이 높습니다.

OpenAI는 보고서에서 다음과 같이 언급했습니다.

“초기 테스트 중에… 우리는 사용자들이 모델과의 연결을 형성하는 것을 나타낼 수 있는 언어를 사용하는 것을 관찰했습니다. 예를 들어, 여기에는 “오늘이 우리가 함께하는 마지막 날입니다”와 같이 공유된 유대감을 표현하는 언어가 포함됩니다.

음성 모드는 또한 사람들이 ChatGPT를 ‘탈옥’하여 사람을 사칭하는 것을 포함한 모든 종류의 일을 할 수 있는 새로운 방법을 열어줍니다. 인간과 같은 대화자가 되면 사람들이 AI 챗봇을 더 신뢰하게 될 수도 있는데, 출력에 오류와 환각이 가득 차 있어도 마찬가지입니다.

ChatGPT의 음성 모드와의 상호작용은 “외로운 개인”에게 도움이 될 수 있고, 어떤 사람들은 사회적 상호작용에 대한 두려움을 극복하는 데 도움이 될 수 있습니다. 하지만 광범위한 사용은 건강한 관계에도 영향을 미칠 수 있으며, 추가 연구가 필요하다고 OpenAI는 보고서에서 언급합니다.

이 보고서는 OpenAI의 투명성이 커지고 있음을 보여주지만, 여전히 훈련 데이터에 대해서는 그렇게 공개적이지 않습니다. 물론, OpenAI가 Voice 모드를 광범위하게 사용하면 어떤 일이 일어날지 두려워하는 것은 근거가 없는 것은 아닙니다. 하지만 기술에 대한 과도한 의존과 의존은 대부분의 기술에 내재되어 있습니다. 그리고 영화에서 곧장 나온 것처럼 Voice Mode의 미래와 사용자가 Voice Mode와 어떻게 상호 작용하는지 보는 것은 어렵지 않습니다.

데모 이벤트에서도 음성 모드는 약간 너무 유혹적이라고 여겨졌습니다. Sky 음성이 Scarlett Johansson의 음성과 비슷하고 그에 따른 논란이 있었기 때문에 영화 Her와 AI 모델의 의인화에 따르는 위험을 언급하지 않기가 어렵습니다.