OpenAI teme che le persone possano affezionarsi emotivamente alla modalità vocale di ChatGPT

Cosa sapere

• Il rapporto sulla System Card di GPT-4o evidenzia i timori di OpenAI circa la possibile dipendenza emotiva delle persone dalla modalità vocale di ChatGPT.
• Le voci nella modalità vocale di ChatGPT sono estremamente realistiche e danno l’illusione che l’utente stia parlando con una persona.
• Il rapporto sottolinea che la modalità vocale potrebbe rivelarsi utile per alcune persone, ma potrebbe avere ripercussioni su altre che ne fanno largo uso o che fanno eccessivo affidamento sulle sue risposte.

La modalità vocale avanzata di ChatGPT ha creato scalpore quando è stata annunciata per la prima volta. Ma secondo un recente rapporto sulla sicurezza , OpenAI teme già che la sua modalità vocale avanzata, che suona inquietantemente come una voce umana, potrebbe potenzialmente portare gli utenti a rimanere emotivamente agganciati al chatbot AI.

La modalità vocale avanzata è stata una delle funzionalità di ChatGPT più attese. Può avere conversazioni in tempo reale, emettere suoni umani come “Umm”, “Ah” e altre interiezioni mentre parla, imitare suoni, cantare canzoni e persino determinare il tuo stato emotivo in base al tono della tua voce. In parole povere, è l’assistente AI più realistico che ci sia. Ma essendo una funzionalità così potente e capace, la modalità vocale di ChatGPT ha un alto potenziale di uso improprio.

OpenAI ha menzionato nel suo rapporto:

“Durante i primi test… abbiamo osservato che gli utenti utilizzavano un linguaggio che potrebbe indicare la formazione di connessioni con il modello. Ad esempio, questo include un linguaggio che esprime legami condivisi, come “Questo è il nostro ultimo giorno insieme”.

Voice Mode apre anche nuovi modi per le persone di “jailbreakare” ChatGPT per fare ogni genere di cose, incluso impersonare altre persone. Essere un conversatore simile a un essere umano potrebbe anche rendere le persone più fiduciose nei confronti dei chatbot AI, anche quando il loro output è pieno di errori e allucinazioni.

L’interazione con la modalità Voice di ChatGPT potrebbe giovare agli “individui solitari” e aiutare alcuni a superare la paura delle interazioni sociali. Ma un uso intensivo potrebbe anche influenzare relazioni sane e giustifica ulteriori studi, come nota OpenAI nel suo report.

Sebbene il rapporto segnali una crescente trasparenza da parte di OpenAI, non è ancora così aperto sui suoi dati di addestramento. Certo, i timori di OpenAI su cosa potrebbe comportare un uso estensivo della sua modalità Voice non sono infondati. Ma l’eccessiva dipendenza dalla tecnologia è insita nella maggior parte dei pezzi di tecnologia. Ed essendo uscito direttamente da un film, non è difficile vedere cosa potrebbe riservare il futuro per Voice Mode e come gli utenti interagiscono con essa.

Anche all’evento dimostrativo, la modalità vocale è stata considerata un po’ troppo civettuola. A causa della somiglianza della sua voce di Sky con quella di Scarlett Johansson e della controversia che ne è seguita, è difficile non evocare il film Her e i rischi che derivano dall’antropomorfizzazione dei modelli di intelligenza artificiale.