Est-ce que GPTZero est précis ? Peut-il détecter le chat GPT ? Voici ce que nos tests ont révélé

ChatGPT a pris d’assaut le monde depuis qu’il a fait l’actualité en novembre 2022. Les gens ont commencé à l’utiliser dans leur routine quotidienne car il peut être d’une grande aide pour obtenir des réponses logiques à vos questions sur les choses qui vous entourent. Avec sa popularité croissante, l’outil a inspiré de plus grands modèles de langage, même de Google et Meta, qui peuvent être tout aussi préoccupants qu’excitants.

Dans les mois qui ont suivi son lancement, il y a eu plusieurs cas d’étudiants qui ont abusé de ChatGPT pour créer des essais et soumettre des devoirs, car l’outil peut générer un contenu complet avec une simple invite. Pour contrer l’utilisation abusive du contenu généré par l’IA, il existe désormais un nouvel outil – GPTZero que les éducateurs et les journalistes peuvent utiliser pour vérifier si un texte a été créé à l’aide de l’IA ou non.

Dans cet article, nous expliquerons ce qu’est GPTZero, comment vous pouvez l’utiliser et dans quelle mesure vous pouvez lui faire confiance pour détecter et distinguer de manière fiable un article humain du contenu généré par l’IA.

Qu’est-ce que GPTZero ?

Développé par Edward Tian, ​​étudiant à l’Université de Princeton, GPTZero est un logiciel qui utilise l’analyse statistique pour détecter si un texte a été écrit par un humain ou a été copié à partir d’un générateur de contenu IA comme ChatGPT. L’outil a été conçu pour aider les personnes dans l’éducation, le journalisme et d’autres secteurs à lutter contre le plagiat de l’IA et à savoir quand ils visualisent des textes générés par de grands modèles de langage (LLM), dont ChatGPT.

Avec la popularité croissante d’outils comme ChatGPT, de nombreuses personnes ont abusé du contenu écrit généré par les services d’IA et l’ont fait passer pour le leur. GPTZero s’engage à rendre l’utilisation du travail de l’IA transparente en détectant la complexité des textes avec deux facteurs majeurs – la perplexité et l’éclatement.

Perplexité – fait référence à la mesure du caractère aléatoire du texte d’entrée que GPTZero comparera avec l’apparence du texte d’un modèle de langage. Plus ce score est élevé, plus il y a de chances que le texte ait été écrit par un humain et non par une machine.

Burstiness – fait référence aux distributions de textes dans un texte. Alors que le texte généré par l’IA est de longueur uniforme tout autour, ceux écrits par les humains peuvent inclure à la fois des phrases longues et courtes avec des motifs fluides. Plus le score de Burstiness d’un texte est élevé, plus il est probable qu’il ait été écrit par un humain.

En plus de déterminer si le texte que vous avez copié dans l’outil est écrit par l’IA ou par des humains, GPTZero peut également détecter des parties du texte qui peuvent avoir été générées à l’aide d’un LLM. Si un article a été écrit en utilisant à la fois l’IA et le travail humain, l’outil mettra en évidence les parties qui, selon lui, pourraient être créées à l’aide de l’intelligence artificielle. Dans certains cas, GPTZero peut également déterminer que le texte d’entrée est « plus probablement écrit par un humain », mais inclut des « phrases à faible perplexité » afin que vous puissiez les améliorer.

Comment pouvez-vous utiliser GPTZero ?

Bien que vous ayez besoin d’un compte pour utiliser ChatGPT, l’utilisation de GPTZero est assez simple car vous n’avez pas besoin d’un compte ou d’un abonnement pour vérifier si un texte a été écrit par AI. Cela signifie que vous n’avez pas à partager vos informations personnelles, comme votre adresse e-mail ou votre numéro de téléphone, pour commencer à utiliser le service. Tout ce dont vous avez besoin pour utiliser GPTZero est :

• Un appareil comme un ordinateur ou un téléphone qui peut se connecter à Internet
• Une connexion Internet active
• Un navigateur Web pour lancer le site Web GPTZero

Une fois ces exigences triées, lancez GPTZero sur un navigateur Web sur l’un de vos appareils. Nous l’utilisons sur Firefox sur un Mac dans ce cas, mais vous pouvez utiliser n’importe quel navigateur sur n’importe quel ordinateur ou téléphone.

Lorsque le GPTZero se charge, faites défiler jusqu’à la section Essayez-le . Dans la zone de texte visible en dessous, copiez et collez le texte que vous souhaitez vérifier pour le plagiat de l’IA. Le texte que vous collez ici doit comporter au moins 250 caractères pour que le détecteur puisse l’analyser.

Vous pouvez également vérifier les textes d’un document que vous avez sur votre appareil pour l’implication de l’IA en cliquant sur Parcourir sous la zone de texte. À partir de là, vous pouvez télécharger un fichier dans ces formats pris en charge – PDF, DOCX et TXT pour permettre à GPTZero de l’analyser.

Une fois que vous avez saisi un texte que vous souhaitez vérifier, cliquez sur Obtenir les résultats .

GPTZero vérifiera instantanément le texte que vous avez partagé et déterminera ses résultats. Vous obtiendrez le résultat ci-dessous vous permettant de savoir si le texte a été écrit par un humain ou a été généré par l’IA.

En fonction du texte saisi, vous pouvez obtenir l’un des résultats suivants :

• Votre texte est susceptible d’être entièrement rédigé par un humain.
• Votre texte est susceptible d’être entièrement écrit par Al.
• Votre texte est très probablement écrit par un humain, mais il y a quelques phrases avec de faibles perplexités.
• Votre texte peut inclure des parties écrites par Al.

Vous verrez plus de détails sur les résultats en faisant défiler vers le bas. Si GPTZero détecte une implication de l’IA dans votre texte, la partie que l’outil a déterminée comme écrite par l’IA sera surlignée en jaune.

Lorsque vous faites défiler plus loin, vous verrez une analyse détaillée du texte saisi avec ses mesures de perplexité et d’éclatement dans la section « Statistiques ». Ces mesures seront indiquées en chiffres et vous verrez comment cela se passe dans un graphique à barres. Plus un texte obtient un score faible dans les valeurs de perplexité et d’éclatement, plus il est probable qu’il ait été écrit à l’aide d’un générateur de contenu IA.

À la fin de la section Statistiques, GPTZero affichera également la phrase avec la plus grande perplexité ainsi que son score individuel. Cela ne signifie pas nécessairement que cette partie du texte a été écrite par des humains, mais c’est un indicateur que cette partie a le moins de possibilité d’être écrite à l’aide de l’IA.

GPTZero est-il précis ?

Version TL; DR : Dans notre temps limité de test du logiciel, nous avons pu déduire que GPTZero détermine avec précision les textes générés par ChatGPT presque tout le temps. Et lorsqu’il s’agit de vérifier des textes écrits par des humains, c’est là que cela se heurte à un obstacle.

Bien que GPTZero puisse facilement détecter le contenu généré par l’IA, il signale également le contenu écrit par des humains comme « écrit par l’IA » même lorsqu’il ne l’est pas. Cela dépasse l’objectif d’utiliser cet outil pour vérifier le contenu généré par l’IA, car GPTZero peut également marquer les faux positifs lorsque le résultat réel est négatif.

Version complète : Pour tester si GPTZero est capable de déterminer si un texte est généré par l’IA ou écrit par des humains, nous l’utilisons nous-mêmes. Avant de révéler la précision de l’outil, vous devez d’abord comprendre comment nous l’avons testé afin d’avoir une idée générale du fonctionnement du service.

Comment nous avons testé GPTZero

Pour mettre GPTZero à l’épreuve, nous avons utilisé des textes de nos articles existants sur Nerdschalk.com et copié différentes sections de textes de ces articles comme l’intro et les guides. Dans GPTZero, nous avons collé les extraits copiés de ces articles et les avons vérifiés pour l’implication de l’IA.

En plus des textes écrits par des humains (notre contenu), nous voulions également tester si GPTZero détecte les textes générés par l’IA. Pour cela, nous avons utilisé ChatGPT et l’avons utilisé pour créer des intros et des guides pour les mêmes sujets que nous avons copiés des textes de Nerdschalk.

Pour vous donner un exemple, nous avons demandé à ChatGPT de nous créer une introduction pour cet article – Comment dissocier des cellules dans Google Docs.

Lorsque le service a généré une réponse à notre requête, nous avons copié le texte écrit par l’IA et l’avons collé dans la zone de texte de GPTZero pour vérifier sa légitimité.

De même, nous avons copié l’intro de notre propre message et l’avons vérifié sur GPTZero pour l’implication de l’IA.

Pour nous assurer que nous pouvons déterminer la cohérence des résultats de GPTZero, nous l’avons testé avec au moins 10 extraits de textes chacun de nos propres messages et ceux que nous avons demandé à ChatGPT de créer sur le même sujet que nos messages. C’est ce que nous avons trouvé.

GPTZero détecte-t-il les textes écrits par ChatGPT ?

Pour un outil conçu pour détecter les textes écrits à l’aide de l’IA, GPTZero fait un très bon travail pour reconnaître les textes créés à l’aide de ChatGPT. Chaque fois que nous avons copié du contenu que nous avons demandé à ChatGPT de créer, GPTZero a pu déterminer avec précision qu’il avait probablement été écrit avec l’aide de l’IA.

Pour le texte créé par ChatGPT, GPTZero déterminerait soit que l’intégralité du texte a été écrit par l’IA, soit qu’il inclut des parties du texte impliquant l’IA. Pour vous aider à comprendre comment il a trouvé des textes écrits par l’IA, GPTZero vous montrera les scores de perplexité et d’éclatement à la fin de chaque résultat.

Pour les textes générés par l’IA, le logiciel a systématiquement révélé des valeurs de perplexité faibles pour indiquer qu’il était plus facile de prédire ce qui, dans le cas d’un humain, serait difficile car ses connaissances lexicales seront différentes des autres et donc les textes peuvent sembler un peu plus aléatoires. La même chose était également vraie lors de la détermination de la valeur Burstiness car les textes générés par ChatGPT ont obtenu des scores inférieurs, indiquant ainsi que les phrases utilisées étaient plus uniformes en termes de longueur.

L’outil isolerait également des parties de texte qui, selon lui, sont les plus susceptibles d’être générées par l’IA. Regardez cette capture d’écran, par exemple :

Bien qu’il s’agisse encore d’un petit échantillon, nous pourrions conclure que GPTZero a plutôt bien réussi à signaler le contenu généré par ChatGPT comme écrit par l’IA.

GPTZero détecte-t-il les textes écrits par des humains ?

Maintenant, c’est là que nous nous heurtons à un barrage routier. Bien que GPTZero ait pu facilement déterminer que les textes ChatGPT sont écrits par l’IA, il a fait la même chose même pour les textes que nous avons copiés à partir de nos articles Nerdschalk originaux. Comme nous avons utilisé des textes du même sujet que nous avons demandé à ChatGPT de créer, GPTZero n’a pu détecter correctement que le texte spécifique a été écrit par un humain deux fois sur dix tentatives.

Dans les deux cas « réussis », nous avons obtenu des résultats variés quant à la quantité de texte que GPTZero pense avoir été écrit par nous. Par exemple, lorsque nous avons vérifié cet extrait de notre message d’origine, le logiciel a montré un résultat précis indiquant que ce texte avait peut-être été entièrement écrit par un humain.

Cependant, lorsque nous avons fait défiler pour vérifier ses scores de perplexité et d’éclatement, les valeurs (42,5 et 13,4) affichées étaient inférieures à celles du texte généré par ChatGPT (qui étaient de 46 et 20,8). Cela signifie que même les paramètres utilisés pour déterminer l’implication de l’IA dans un texte étaient incohérents, bien que le résultat soit exact dans ce cas.

Un autre cas où GPTZero a eu raison, c’est lorsque nous avons copié des parties de texte de ce message Nerdschalk. Contrairement au cas précédent, bien que l’outil ait pu conclure qu’il avait été écrit par un humain, il a trouvé des phrases dans l’extrait qui avaient des valeurs de perplexité plus faibles. Il a même mis en évidence les phrases qu’il pensait avoir été écrites par l’IA alors que tout le texte avait été initialement écrit par nous.

Lorsque nous avons comparé les statistiques de ce texte avec le précédent, GPTZero a montré un score de Perplexité similaire de 40,2 avec une valeur de Burstiness légèrement plus élevée de 17,9.

Quant aux autres résultats, le logiciel a signalé à tort 8 portions de texte sur 10 que nous avons écrites comme étant celles générées par l’IA. Comme par exemple, une intro de ce post original a été montrée comme « susceptible d’être entièrement écrite par l’IA »…

tandis qu’une autre partie du même message a révélé un résultat légèrement différent comme celui-ci –

… ce qui est déroutant car le même extrait a obtenu les notes de perplexité et d’éclatement les plus élevées de 76,3 et 59,3, plus élevées que tout autre texte que nous avons soumis sur GPTZero.

Cela signifie que GPTZero, étant dans sa phase initiale, n’est pas capable de détecter les textes écrits par des humains avec la même précision que la façon dont il détecte le contenu généré par l’IA.

Quelle est la précision de GPTZero ?

Lors de nos tests approfondis du logiciel, nous sommes arrivés à la conclusion que les résultats de GPTZero étaient au mieux passables, en raison de l’incohérence de l’outil dans la détection de textes écrits par des humains. Malgré le fait qu’il était capable de lire et de détecter le contenu généré par ChatGPT comme écrit par l’IA, l’incapacité du logiciel à reconnaître les phrases courtes et les textes écrits par des humains en fait un outil peu fiable pour les éducateurs ou les journalistes pour vérifier le plagiat de l’IA.

Étant donné que le but d’un tel outil est d’aider les gens à lutter contre l’utilisation contraire à l’éthique de la génération de contenu IA, GPTZero ne peut pas être utilisé avec une fiabilité à 100 %. Cela ne veut pas dire qu’il n’y a pas de place pour l’amélioration – car la reconnaissance des textes peut atteindre un potentiel plus élevé car le logiciel ajoute plus de données provenant d’autres grands modèles de langage (LLM) pour améliorer la précision de la reconnaissance. Pour l’instant, cependant, vous pouvez utiliser GPTZero avec une pincée de sel et votre propre capacité à distinguer les mots écrits par les humains et une machine.

C’est tout ce que vous devez savoir sur la précision de GPTZero.