Czy GPTZero jest dokładny? Czy może wykryć czat GPT? Oto, co wykazały nasze testy

ChatGPT szturmem podbił świat, odkąd pojawił się w wiadomościach w listopadzie 2022 r. Ludzie zaczęli go używać w codziennej rutynie, ponieważ może być bardzo pomocny w uzyskiwaniu logicznych odpowiedzi na pytania dotyczące rzeczy wokół ciebie. Wraz ze swoją rosnącą popularnością narzędzie zainspirowało większe modele językowe, nawet takie jak Google i Meta, które mogą być zarówno powodem do niepokoju, jak i ekscytacji.

W ciągu kilku miesięcy od jego uruchomienia było kilka przypadków niewłaściwego wykorzystania ChatGPT przez uczniów do tworzenia esejów i przesyłania zadań, ponieważ narzędzie może generować obszerne treści za pomocą prostego monitu. Aby przeciwdziałać niewłaściwemu wykorzystaniu treści generowanych przez sztuczną inteligencję, dostępne jest teraz nowe narzędzie – GPTZero, za pomocą którego nauczyciele i dziennikarze mogą sprawdzać, czy artykuł został stworzony przy użyciu sztucznej inteligencji, czy nie.

W tym poście wyjaśnimy, czym jest GPTZero, jak można z niego korzystać i jak bardzo można mu zaufać w zakresie niezawodnego wykrywania i odróżniania artykułów stworzonych przez ludzi od treści generowanych przez sztuczną inteligencję.

Co to jest GPTZero?

Opracowane przez Edwarda Tiana, studenta Princeton University, GPTZero to oprogramowanie, które wykorzystuje analizę statystyczną do wykrywania, czy tekst został napisany przez człowieka, czy też został skopiowany z generatora treści AI, takiego jak ChatGPT. Narzędzie zostało zaprojektowane, aby pomóc ludziom w edukacji, dziennikarstwie i innych sektorach walczyć z plagiatami AI i wiedzieć, kiedy przeglądają teksty generowane przez duże modele językowe (LLM), z których jednym jest ChatGPT.

Wraz ze stale rosnącą popularnością narzędzi takich jak ChatGPT, wiele osób nadużywa treści pisanych generowanych przez usługi AI i przekazuje je jako własne. GPTZero obiecuje, że wykorzystanie sztucznej inteligencji będzie przejrzyste, wykrywając złożoność tekstów za pomocą dwóch głównych czynników – zakłopotania i wybuchowości.

Zakłopotanie – odnosi się do miary losowości tekstu wejściowego, który GPTZero porówna z tym, jak wyglądałby tekst z modelu językowego. Im wyższy ten wynik, tym większe prawdopodobieństwo, że tekst został napisany przez człowieka, a nie przez maszynę.

Burstiness – odnosi się do rozkładów tekstów w tekście. Podczas gdy tekst generowany przez sztuczną inteligencję ma wszędzie jednakową długość, tekst pisany przez ludzi może zawierać zarówno długie, jak i krótkie zdania z płynnymi wzorami. Im wyższy wynik Burstiness tekstu, tym bardziej prawdopodobne jest, że został napisany przez człowieka.

Oprócz określenia, czy tekst, który skopiowałeś do narzędzia, został napisany przez sztuczną inteligencję, czy przez ludzi, GPTZero może również wykryć części tekstu, które mogły zostać wygenerowane przy użyciu LLM. Jeśli artykuł został napisany zarówno przy użyciu sztucznej inteligencji, jak i pracy ludzkiej, narzędzie podświetli części, które według niego mogłyby zostać stworzone przy użyciu sztucznej inteligencji. W niektórych przypadkach GPTZero może również określić, że tekst wejściowy jest „prawdopodobnie napisany przez człowieka”, ale zawiera „zdania o niskim poziomie trudności”, dzięki czemu można je poprawić.

Jak możesz wykorzystać GPTZero?

Chociaż możesz potrzebować konta do korzystania z ChatGPT, korzystanie z GPTZero jest dość łatwe, ponieważ nie potrzebujesz konta ani subskrypcji, aby sprawdzić, czy tekst został napisany przez sztuczną inteligencję. Oznacza to, że nie musisz udostępniać swoich danych osobowych, takich jak adres e-mail czy numer telefonu, aby rozpocząć korzystanie z usługi. Wszystko czego potrzebujesz do korzystania z GPTZero to:

• Urządzenie takie jak komputer lub telefon, które może łączyć się z internetem
• Aktywne połączenie internetowe
• Przeglądarka internetowa do uruchamiania strony internetowej GPTZero

Po ustaleniu tych wymagań uruchom GPTZero w przeglądarce internetowej na dowolnym urządzeniu. W tym przypadku używamy go w Firefoksie na komputerze Mac, ale możesz użyć dowolnej przeglądarki na dowolnym komputerze lub telefonie.

Gdy GPTZero się załaduje, przewiń w dół do sekcji Wypróbuj . W widocznym pod nim polu tekstowym skopiuj i wklej tekst, który chcesz sprawdzić pod kątem plagiatu AI. Wklejony tutaj tekst powinien mieć co najmniej 250 znaków, aby wykrywacz mógł go przeanalizować.

Możesz także sprawdzić teksty z dokumentu, który masz na swoim urządzeniu pod kątem zaangażowania AI, klikając Przeglądaj pod polem tekstowym. Stamtąd możesz przesłać plik w tych obsługiwanych formatach – PDF, DOCX i TXT, aby umożliwić GPTZero jego analizę.

Po wprowadzeniu tekstu, który chcesz sprawdzić, kliknij Uzyskaj wyniki .

GPTZero natychmiast sprawdzi udostępniony tekst i określi jego wyniki. Otrzymasz wynik poniżej informujący, czy tekst został napisany przez człowieka, czy został wygenerowany przez sztuczną inteligencję.

Na podstawie wprowadzonego tekstu możesz otrzymać jeden z następujących wyników:

• Twój tekst prawdopodobnie zostanie w całości napisany przez człowieka.
• Twój tekst prawdopodobnie zostanie w całości napisany przez Al.
• Twój tekst jest najprawdopodobniej napisany przez człowieka, ale niektóre zdania są mniej skomplikowane.
• Twój tekst może zawierać fragmenty napisane przez Al.

Zobaczysz więcej szczegółów na temat wyników podczas przewijania w dół. Jeśli GPTZero wykryje jakikolwiek udział sztucznej inteligencji w twoim tekście, część, którą narzędzie określiło jako napisaną przez sztuczną inteligencję, zostanie podświetlona na żółto.

Gdy przewiniesz dalej, w sekcji „Statystyki” zobaczysz szczegółową analizę tekstu wejściowego wraz z pomiarami Zakłopotania i Burstiness. Pomiary te zostaną wskazane w liczbach, a zobaczysz, jak to działa na wykresie słupkowym. Im niższy wynik tekstu zarówno pod względem Zakłopotania, jak i Burstiness, tym większa szansa, że ​​został napisany przy pomocy generatora treści AI.

Na końcu sekcji Statystyki GPTZero pokaże również zdanie z największą konsternacją, a także jego indywidualny wynik. Nie musi to oznaczać, że ta część tekstu została napisana przez ludzi, ale wskazuje, że ta część ma najmniejszą możliwość napisania przy użyciu sztucznej inteligencji.

Czy GPTZero jest dokładne?

Wersja TL;DR : W naszym ograniczonym czasie testowania oprogramowania byliśmy w stanie wywnioskować, że GPTZero dokładnie określa teksty generowane przez ChatGPT prawie przez cały czas. A jeśli chodzi o sprawdzanie tekstów napisanych przez ludzi, to właśnie tam napotyka przeszkodę.

Podczas gdy GPTZero może z łatwością wykrywać treści generowane przez sztuczną inteligencję, oznacza również treści napisane przez ludzi jako „napisane przez sztuczną inteligencję”, nawet jeśli tak nie jest. To przewyższa cel używania tego narzędzia do sprawdzania treści generowanych przez sztuczną inteligencję, ponieważ GPTZero może również oznaczać fałszywe alarmy, gdy rzeczywisty wynik jest ujemny.

Pełna wersja : Aby sprawdzić, czy GPTZero jest w stanie określić, czy tekst jest generowany przez sztuczną inteligencję, czy napisany przez ludzi, sami go używamy. Zanim ujawnimy, jak dokładne jest to narzędzie, musisz najpierw zrozumieć, jak je przetestowaliśmy, aby uzyskać ogólne pojęcie o tym, jak działa usługa.

Jak testowaliśmy GPTZero

Aby dokładnie przetestować GPTZero, wykorzystaliśmy teksty z naszych istniejących artykułów na Nerdschalk.com i skopiowaliśmy różne sekcje tekstów z tych artykułów, takie jak wprowadzenie i przewodniki. Wewnątrz GPTZero wkleiliśmy skopiowane fragmenty tych artykułów i sprawdziliśmy je pod kątem zaangażowania sztucznej inteligencji.

Wraz z tekstami pisanymi przez ludzi (nasze treści) chcieliśmy również przetestować, czy GPTZero wykrywa teksty generowane przez sztuczną inteligencję. W tym celu wykorzystaliśmy ChatGPT i wykorzystaliśmy go do stworzenia wstępów i przewodników na te same tematy, które skopiowaliśmy z Nerdschalk.

Aby dać przykład, poprosiliśmy ChatGPT o utworzenie dla nas wprowadzenia do tego postu — Jak rozłączyć komórki w Dokumentach Google.

Gdy usługa wygenerowała odpowiedź na nasze zapytanie, skopiowaliśmy tekst napisany przez sztuczną inteligencję i wkleiliśmy go w polu tekstowym GPTZero, aby sprawdzić jego autentyczność.

Podobnie skopiowaliśmy wstęp z naszego własnego postu i sprawdziliśmy go na GPTZero pod kątem zaangażowania AI.

Aby upewnić się, że możemy określić spójność wyników GPTZero, przetestowaliśmy to z co najmniej 10 fragmentami tekstów, każdy z naszych własnych postów i tych, o których utworzenie poprosiliśmy ChatGPT na ten sam temat, co nasze posty. Oto, co znaleźliśmy.

Czy GPTZero wykrywa teksty napisane przez ChatGPT?

Jak na narzędzie zaprojektowane do wykrywania tekstów napisanych przy użyciu sztucznej inteligencji, GPTZero wykonuje naprawdę dobrą robotę w rozpoznawaniu tekstów utworzonych za pomocą ChatGPT. Za każdym razem, gdy kopiowaliśmy treści, o których utworzenie poprosiliśmy ChatGPT, GPTZero był w stanie dokładnie stwierdzić, że prawdopodobnie została napisana przy pomocy sztucznej inteligencji.

W przypadku tekstu utworzonego przez ChatGPT, GPTZero ustaliłby, że cały tekst został napisany przez sztuczną inteligencję lub zawiera części tekstu, w których była zaangażowana sztuczna inteligencja. Aby pomóc Ci zrozumieć, w jaki sposób znalazł teksty napisane przez sztuczną inteligencję, GPTZero pokaże Ci wyniki Zakłopotania i Burstiness na końcu każdego wyniku.

W przypadku tekstów generowanych przez sztuczną inteligencję oprogramowanie konsekwentnie ujawniało niskie wartości Zakłopotania, aby wskazać, że łatwiej było je przewidzieć, co w przypadku człowieka byłoby trudne, ponieważ wiedza leksykalna danej osoby będzie się różnić od wiedzy innych, a zatem teksty mogą wydawać się nieco bardziej losowe. To samo dotyczyło wyznaczania wartości Burstiness, ponieważ teksty wygenerowane przez ChatGPT uzyskały niższe wyniki, co wskazuje, że użyte zdania były bardziej jednolite pod względem długości.

Narzędzie izolowałoby również fragmenty tekstu, które według niego mają największe prawdopodobieństwo wygenerowania przez sztuczną inteligencję. Spójrz na przykład na ten zrzut ekranu:

Chociaż jest to wciąż niewielka próbka, możemy stwierdzić, że GPTZero radził sobie całkiem dobrze w oznaczaniu treści generowanych przez ChatGPT jako napisanych przez sztuczną inteligencję.

Czy GPTZero wykrywa teksty napisane przez ludzi?

Teraz, tutaj trafiliśmy na blokadę. Podczas gdy GPTZero było w stanie łatwo ustalić, że teksty ChatGPT są napisane przez sztuczną inteligencję, zrobiło to samo nawet w przypadku tekstów, które skopiowaliśmy z naszych oryginalnych artykułów Nerdschalk. Ponieważ użyliśmy tekstów z tego samego tematu, o którego utworzenie poprosiliśmy ChatGPT, GPTZero mógł poprawnie wykryć tylko, że określony tekst został napisany przez człowieka dwa razy na dziesięć prób.

W obu „udanych” przypadkach otrzymaliśmy różne wyniki co do tego, ile tekstu zdaniem GPTZero zostało napisane przez nas. Na przykład, kiedy sprawdziliśmy ten fragment naszego oryginalnego postu, oprogramowanie pokazało dokładny wynik, mówiący, że ten tekst został prawdopodobnie napisany w całości przez człowieka.

Jednak gdy przewinęliśmy, aby sprawdzić wyniki Perplexity i Burstiness, pokazane wartości (42,5 i 13,4) były niższe niż w tekście wygenerowanym przez ChatGPT (które wynosiły 46 i 20,8). Oznacza to, że nawet parametry użyte do określenia udziału sztucznej inteligencji w tekście były niespójne, chociaż w tym przypadku wynik był dokładny.

Innym przypadkiem, w którym GPTZero miał rację, było skopiowanie fragmentów tekstu z tego postu Nerdschalk. W przeciwieństwie do poprzedniego przypadku, chociaż narzędzie było w stanie stwierdzić, że został napisany przez człowieka, znalazło we fragmencie zdania o niższych wartościach zakłopotania. Podkreślił nawet zdania, które według niego zostały napisane przez AI, podczas gdy cały tekst został pierwotnie napisany przez nas.

Kiedy porównaliśmy statystyki tego tekstu z poprzednim, GPTZero wykazał podobny wynik Zakłopotania wynoszący 40,2 z nieco wyższą wartością Burstiness wynoszącą 17,9.

Jeśli chodzi o inne wyniki, oprogramowanie błędnie oznaczyło 8 z 10 fragmentów tekstu, które napisaliśmy jako te wygenerowane przez sztuczną inteligencję. Na przykład intro z tego oryginalnego postu zostało pokazane jako „prawdopodobnie napisane w całości przez sztuczną inteligencję”…

podczas gdy inna część tego samego postu ujawniła nieco inny wynik, taki jak ten –

…co jest mylące, ponieważ ten sam fragment uzyskał najwyższe oceny Zakłopotania i Burstiness 76,3 i 59,3, wyższe niż jakikolwiek inny tekst, który przesłaliśmy na GPTZero.

Oznacza to, że GPTZero, będąc we wczesnej fazie, nie jest w stanie wykrywać tekstów napisanych przez ludzi z taką samą dokładnością, jak wykrywa treści generowane przez sztuczną inteligencję.

Jak dokładne jest GPTZero?

W naszych dokładnych testach oprogramowania doszliśmy do wniosku, że wyniki z GPTZero były co najwyżej zadowalające ze względu na niespójność narzędzia w wykrywaniu tekstów napisanych przez ludzi. Pomimo faktu, że było w stanie odczytać i wykryć treści generowane przez ChatGPT jako napisane przez sztuczną inteligencję, niezdolność oprogramowania do rozpoznawania krótkich zdań i tekstów napisanych przez ludzi sprawia, że ​​​​jest to niewiarygodne narzędzie dla nauczycieli lub dziennikarzy do sprawdzania plagiatu AI.

Ponieważ celem takiego narzędzia jest pomoc ludziom w walce z nieetycznym wykorzystaniem generowania treści AI, GPTZero nie może być używany ze 100% niezawodnością. Nie oznacza to, że nie ma możliwości ulepszeń – rozpoznawanie tekstów może osiągnąć wyższy potencjał, ponieważ oprogramowanie dodaje więcej danych z innych dużych modeli językowych (LLM), aby zwiększyć dokładność rozpoznawania. Na razie jednak możesz używać GPTZero z odrobiną soli i własną umiejętnością rozróżniania słów napisanych przez ludzi i maszynę.

To wszystko, co musisz wiedzieć o dokładności GPTZero.