OpenAI craint que les gens puissent s’attacher émotionnellement au mode vocal de ChatGPT

Ce qu’il faut savoir

• Le rapport System Card de GPT-4o décrit les craintes d’OpenAI concernant le fait que les gens deviennent émotionnellement dépendants du mode vocal de ChatGPT.
• Les voix du mode vocal de ChatGPT sont très réalistes et donnent l’illusion que l’utilisateur parle à une personne.
• Le rapport souligne que le mode vocal pourrait aider certaines personnes tout en affectant d’autres qui en dépendent énormément ou qui comptent trop sur ses réponses.

Le mode vocal avancé de ChatGPT a fait des vagues lors de sa première annonce. Mais selon un récent rapport de sécurité , OpenAI craint déjà que son mode vocal avancé – qui ressemble étrangement à une voix humaine – puisse potentiellement conduire les utilisateurs à devenir émotionnellement accrochés au chatbot IA.

Le mode vocal avancé est l’une des fonctionnalités les plus attendues de ChatGPT. Il peut avoir des conversations en temps réel, émettre des sons humains comme « Euh », « Ah » et d’autres interjections tout en parlant, imiter des sons, chanter des chansons et même déterminer votre état émotionnel en fonction de votre ton de voix. En termes simples, il s’agit de l’assistant IA le plus réaliste qui existe. Mais étant une fonctionnalité aussi puissante et performante, le mode vocal de ChatGPT présente un fort potentiel d’utilisation abusive.

OpenAI mentionne dans son rapport :

« Lors des premiers tests, nous avons observé que les utilisateurs utilisaient un langage qui pouvait indiquer qu’ils formaient des liens avec le modèle. Par exemple, cela inclut un langage exprimant des liens partagés, comme « C’est notre dernier jour ensemble ».

Le mode vocal ouvre également de nouvelles possibilités pour les utilisateurs de « jailbreaker » ChatGPT afin de faire toutes sortes de choses, y compris se faire passer pour des personnes. Le fait d’être un interlocuteur humain pourrait également inciter les utilisateurs à faire davantage confiance aux chatbots IA, même lorsque leurs résultats sont chargés d’erreurs et d’hallucinations.

L’interaction avec le mode vocal de ChatGPT pourrait être bénéfique pour les « personnes seules » et aider certaines à surmonter leur peur des interactions sociales. Mais une utilisation intensive pourrait également affecter les relations saines et mériterait d’être étudiée plus en détail, note OpenAI dans son rapport.

Bien que le rapport signale une transparence croissante de la part d’OpenAI, l’entreprise n’est toujours pas aussi ouverte sur ses données d’entraînement. Certes, les craintes d’OpenAI quant aux conséquences d’une utilisation intensive de son mode vocal ne sont pas infondées. Mais la dépendance excessive à l’égard de la technologie est inhérente à la plupart des éléments technologiques. Et comme il s’agit d’un film, il n’est pas difficile de voir ce que l’avenir réserve au mode vocal et à la façon dont les utilisateurs interagissent avec lui.

Même lors de la démonstration, le mode vocal a été jugé un peu trop séduisant. En raison de la ressemblance de sa voix Sky avec celle de Scarlett Johansson et de la controverse qui a suivi, il est difficile de ne pas évoquer le film Her, et les risques qui accompagnent l’anthropomorphisation des modèles d’IA.