GPTZero는 정확합니까? 채팅 GPT를 감지할 수 있습니까? 테스트에서 밝혀진 내용은 다음과 같습니다.

ChatGPT는 2022년 11월 뉴스를 만든 이후로 전 세계를 폭풍으로 몰아넣었습니다. 주변 사물에 대한 질문에 대한 논리적 답변을 얻는 데 큰 도움이 될 수 있기 때문에 사람들은 일상 생활에서 ChatGPT를 사용하기 시작했습니다. 인기가 높아짐에 따라 이 도구는 Google 및 Meta와 같은 더 큰 언어 모델에 영감을 주었습니다.

출시 이후 몇 달 동안 학생들이 ChatGPT를 오용하여 에세이를 작성하고 과제를 제출하는 사례가 여러 번 있었습니다. 이 도구는 간단한 프롬프트만으로 포괄적인 콘텐츠를 생성할 수 있기 때문입니다. AI로 생성된 콘텐츠의 오용에 대응하기 위해 이제 교육자와 저널리스트가 글이 AI를 사용하여 작성되었는지 여부를 확인하는 데 사용할 수 있는 새로운 도구인 GPTZero가 있습니다.

이 게시물에서는 GPTZero가 무엇인지, 어떻게 사용할 수 있는지, AI가 생성한 콘텐츠에서 인간 기사를 안정적으로 감지하고 구별하기 위해 GPTZero를 얼마나 신뢰할 수 있는지 설명합니다.

GPTZero란?

Princeton University 학생 Edward Tian이 개발한 GPTZero는 통계 분석을 사용하여 텍스트가 사람에 의해 작성되었는지 아니면 ChatGPT와 같은 AI 콘텐츠 생성기에서 복사되었는지 감지하는 소프트웨어입니다. 이 도구는 교육, 저널리즘 및 기타 분야의 사람들이 AI 표절과 싸우고 ChatGPT 중 하나인 대규모 언어 모델(LLM)에 의해 생성된 텍스트를 볼 때 알 수 있도록 설계되었습니다.

ChatGPT와 같은 도구의 인기가 높아지면서 많은 사람들이 AI 서비스에서 생성된 서면 콘텐츠를 오용하고 자신의 것으로 전달하고 있습니다. GPTZero는 Perplexity와 Burstiness라는 두 가지 주요 요인으로 텍스트의 복잡성을 감지하여 AI 작업을 투명하게 사용할 것을 약속합니다.

Perplexity – GPTZero가 언어 모델의 텍스트가 어떻게 보이는지 비교하는 입력 텍스트의 임의성 측정을 나타냅니다. 이 점수가 높을수록 텍스트가 기계가 아니라 사람에 의해 작성되었을 가능성이 높아집니다.

Burstiness – 텍스트의 텍스트 분포를 나타냅니다. AI가 생성한 텍스트는 모든 길이가 일정하지만 인간이 작성한 텍스트에는 부드러운 패턴의 긴 문장과 짧은 문장이 모두 포함될 수 있습니다. 텍스트의 Burstiness 점수가 높을수록 사람이 작성했을 가능성이 높습니다.

도구에 복사한 텍스트가 AI 또는 사람에 의해 작성되었는지 여부를 결정하는 것 외에도 GPTZero는 LLM을 사용하여 생성되었을 수 있는 텍스트의 일부를 감지할 수 있습니다. 기사가 AI와 인간 작업을 모두 사용하여 작성된 경우 도구는 인공 지능을 사용하여 만들 수 있다고 생각하는 부분을 강조 표시합니다. 경우에 따라 GPTZero는 입력 텍스트가 “사람이 쓴 것일 가능성이 더 높음”으로 판단할 수 있지만 개선할 수 있도록 “당황도가 낮은 문장”을 포함합니다.

GPTZero를 어떻게 사용할 수 있습니까?

ChatGPT를 사용하려면 계정이 필요할 수 있지만 GPTZero를 사용하는 것은 텍스트가 AI에 의해 작성되었는지 여부를 확인하기 위해 계정이나 구독이 필요하지 않기 때문에 매우 쉽습니다. 즉, 서비스 사용을 시작하기 위해 이메일 주소나 전화번호와 같은 개인 정보를 공유할 필요가 없습니다. GPTZero를 사용하기 위해 필요한 것은 다음과 같습니다.

• 인터넷에 연결할 수 있는 컴퓨터 또는 전화와 같은 장치
• 활성 인터넷 연결
• GPTZero 웹사이트를 시작하기 위한 웹 브라우저

이러한 요구 사항을 정렬했으면 모든 장치의 웹 브라우저에서 GPTZero를 실행하십시오. 이 경우 Mac의 Firefox에서 사용하고 있지만 모든 컴퓨터나 전화에서 모든 브라우저를 사용할 수 있습니다.

GPTZero가 로드되면 사용해 보기 섹션까지 아래로 스크롤합니다. 그 아래 보이는 글상자에 AI 표절 여부를 확인하고 싶은 글을 복사 붙여넣기 해주세요. 여기에 붙여넣는 텍스트는 탐지기가 분석할 수 있도록 길이가 250자 이상이어야 합니다.

텍스트 상자 아래에 있는 찾아보기를 클릭하여 장치에 있는 문서의 텍스트에서 AI 관련을 확인할 수도 있습니다 . 거기에서 GPTZero가 파일을 분석할 수 있도록 PDF, DOCX 및 TXT와 같은 지원되는 형식으로 파일을 업로드할 수 있습니다.

확인하려는 텍스트를 입력한 후 Get Results 를 클릭합니다 .

GPTZero는 공유한 텍스트를 즉시 확인하고 결과를 결정합니다. 텍스트가 인간에 의해 작성되었는지 또는 AI가 생성했는지 여부를 알려주는 결과가 아래에 표시됩니다.

입력한 텍스트에 따라 다음 결과를 얻을 수 있습니다.

• 귀하의 텍스트는 전적으로 사람이 작성한 것 같습니다.
• 귀하의 텍스트는 Al이 전적으로 작성했을 가능성이 높습니다.
• 귀하의 텍스트는 사람이 쓴 것일 가능성이 높지만 당혹감이 낮은 문장이 있습니다.
• 귀하의 텍스트에는 Al이 작성한 부분이 포함될 수 있습니다.

아래로 스크롤하면 결과에 대한 자세한 내용을 볼 수 있습니다. GPTZero가 텍스트에서 AI 관련을 감지하면 도구에서 AI가 쓴 것으로 판단한 부분이 노란색으로 강조 표시됩니다.

더 스크롤하면 “통계” 섹션에서 Perplexity 및 Burstiness 측정과 함께 입력 텍스트에 대한 자세한 분석을 볼 수 있습니다. 이러한 측정값은 숫자로 표시되며 막대 차트에서 요금을 확인할 수 있습니다. Perplexity 및 Burstiness 값 모두에서 텍스트 점수가 낮을수록 AI 콘텐츠 생성기의 도움을 받아 작성되었을 가능성이 높아집니다.

통계 섹션의 끝에서 GPTZero는 개별 점수뿐만 아니라 가장 당혹감이 높은 문장도 표시합니다. 이것은 텍스트의 이 부분이 반드시 인간에 의해 쓰여졌다는 것을 의미하지는 않지만 이 부분이 AI를 사용하여 쓰여질 가능성이 가장 적다는 지표입니다.

GPTZero는 정확합니까?

TL;DR 버전 : 제한된 시간 동안 소프트웨어를 테스트하면서 GPTZero가 거의 항상 ChatGPT에서 생성된 텍스트를 정확하게 결정한다는 것을 추론할 수 있었습니다. 그리고 인간이 쓴 텍스트를 확인하는 데 있어서 장애물이 있습니다.

GPTZero는 AI가 생성한 콘텐츠를 쉽게 감지할 수 있지만 사람이 작성한 콘텐츠가 아닌 경우에도 “AI가 작성한” 것으로 표시합니다. 이것은 GPTZero가 실제 결과가 부정적일 때 거짓 긍정을 표시할 수 있기 때문에 AI 생성 콘텐츠를 확인하기 위해 이 도구를 사용하는 목적을 능가합니다.

정식 버전 : GPTZero가 텍스트가 AI로 생성된 것인지 사람이 쓴 것인지 판별할 수 있는지 테스트하기 위해 직접 사용했습니다. 도구의 정확성을 밝히기 전에 서비스 작동 방식에 대한 일반적인 아이디어를 얻을 수 있도록 먼저 도구를 테스트한 방법을 이해해야 합니다.

GPTZero를 테스트한 방법

GPTZero를 철저히 테스트하기 위해 Nerdschalk.com에 있는 기존 기사의 텍스트를 사용하고 소개 및 가이드와 같은 이러한 기사의 텍스트 섹션을 복사했습니다. GPTZero 내부에 해당 기사에서 복사한 발췌문을 붙여넣고 AI 관련 여부를 확인했습니다.

사람이 쓴 텍스트(우리 콘텐츠)와 함께 GPTZero가 AI를 통해 생성된 텍스트를 감지하는지 테스트하고 싶었습니다. 이를 위해 ChatGPT를 사용하여 Nerdschalk에서 텍스트를 복사한 동일한 주제에 대한 소개 및 가이드를 만들었습니다.

인스턴스를 제공하기 위해 ChatGPT에 이 게시물(Google 문서에서 셀 병합 해제 방법)에 대한 소개를 만들어 달라고 요청했습니다.

서비스가 쿼리에 대한 응답을 생성하면 AI가 작성한 텍스트를 복사하여 GPTZero의 텍스트 상자에 붙여넣어 적법성을 확인했습니다.

마찬가지로, 우리는 자체 게시물에서 인트로를 복사하고 AI 참여를 위해 GPTZero에서 확인했습니다.

GPTZero 결과의 일관성을 확인할 수 있도록 우리는 자체 게시물과 ChatGPT가 우리 게시물과 동일한 주제에 대해 작성하도록 요청한 텍스트에서 각각 최소 10개의 텍스트를 발췌하여 이를 테스트했습니다. 이것이 우리가 찾은 것입니다.

GPTZero는 ChatGPT로 작성된 텍스트를 감지합니까?

AI를 사용하여 작성된 텍스트를 감지하도록 설계된 도구의 경우 GPTZero는 ChatGPT를 사용하여 작성된 텍스트를 인식하는 데 정말 효과적입니다. ChatGPT에 요청한 콘텐츠를 복사할 때마다 GPTZero는 AI의 도움으로 작성되었을 가능성이 있음을 정확하게 확인할 수 있었습니다.

ChatGPT로 생성된 텍스트의 경우 GPTZero는 전체 텍스트가 AI에 의해 작성되었거나 AI가 관련된 텍스트의 일부를 포함한다고 판단합니다. AI로 작성된 텍스트를 찾은 방법을 이해하는 데 도움이 되도록 GPTZero는 각 결과 끝에 Perplexity 및 Burstiness 점수를 표시합니다.

AI로 생성된 텍스트의 경우, 소프트웨어는 지속적으로 낮은 Perplexity 값을 보여 사람의 어휘 지식이 다른 사람과 다르기 때문에 텍스트가 조금 더 무작위로 보일 수 있기 때문에 인간의 경우 어려운 예측이 더 쉽다는 것을 나타냅니다. Burstiness 값을 결정할 때도 ChatGPT에 의해 생성된 텍스트가 더 낮은 점수를 받아 사용된 문장이 길이 측면에서 더 균일했음을 나타냅니다.

이 도구는 또한 AI를 통해 생성될 가능성이 가장 높다고 생각되는 텍스트 부분을 격리합니다. 예를 들어 이 스크린샷을 보십시오.

이것은 여전히 ​​작은 샘플 규모이지만, 우리는 GPTZero가 ChatGPT로 생성된 콘텐츠를 AI로 작성된 것으로 표시하는 데 꽤 잘했다는 결론을 내릴 수 있습니다.

GPTZero는 사람이 쓴 텍스트를 감지합니까?

자, 여기가 우리가 장애물에 부딪힌 곳입니다. GPTZero는 ChatGPT 텍스트가 AI로 작성되었음을 쉽게 확인할 수 있었지만 원본 Nerdschalk 기사에서 복사한 텍스트에 대해서도 동일한 작업을 수행했습니다. 우리가 ChatGPT에게 생성을 요청한 동일한 주제의 텍스트를 사용했기 때문에 GPTZero는 특정 텍스트가 사람에 의해 10번의 시도에서 두 번 작성되었다는 것만 정확하게 감지할 수 있었습니다.

두 가지 “성공적인” 사례에서 GPTZero가 생각하는 텍스트 중 우리가 쓴 양에 대해 다양한 결과를 얻었습니다. 예를 들어 원래 게시물에서 발췌한 내용을 확인했을 때 소프트웨어는 이 텍스트가 완전히 사람에 의해 작성되었을 가능성이 있다는 정확한 결과를 보여주었습니다.

그러나 Perplexity 및 Burstiness 점수를 확인하기 위해 스크롤했을 때 표시된 값(42.5 및 13.4)이 ChatGPT에서 생성된 텍스트(46 및 20.8)보다 낮았습니다. 즉, 텍스트의 AI 개입을 결정하는 데 사용된 매개변수도 일치하지 않았지만 이 경우 결과는 정확했습니다.

GPTZero가 올바른 또 다른 사례는 이 Nerdschalk 게시물에서 텍스트의 일부를 복사했을 때였습니다. 이전 사례와 달리 도구는 사람이 작성한 것으로 결론을 내릴 수 있었지만 발췌문 내에서 당혹감 값이 낮은 문장을 발견했습니다. 전체 텍스트가 원래 우리에 의해 쓰여졌을 때 AI에 의해 쓰여진 것으로 생각되는 문장까지 강조했습니다.

이 텍스트의 통계를 이전 텍스트와 비교했을 때 GPTZero는 40.2의 유사한 Perplexity 점수와 약간 더 높은 Burstiness 값인 17.9를 보여주었습니다.

다른 결과에 대해 소프트웨어는 우리가 작성한 텍스트의 10개 부분 중 8개를 AI가 생성한 것으로 잘못 표시했습니다. 예를 들어, 이 원본 게시물의 소개는 “완전히 AI에 의해 작성되었을 가능성이 있음”으로 표시되었습니다…

같은 게시물의 다른 부분에서 다음과 같이 약간 다른 결과가 나타났습니다.

…동일한 발췌문이 GPTZero에 제출한 다른 어떤 텍스트보다 높은 76.3 및 59.3의 가장 높은 Perplexity 및 Burstiness 점수를 기록했기 때문에 혼란스럽습니다.

이것은 초기 단계에 있는 GPTZero가 AI를 통해 생성된 콘텐츠를 감지하는 것과 동일한 정확도로 사람이 작성한 텍스트를 감지할 수 없다는 것을 의미합니다.

GPTZero는 얼마나 정확합니까?

소프트웨어에 대한 철저한 테스트에서 GPTZero의 결과는 인간이 작성한 텍스트를 감지하는 도구의 불일치로 인해 기껏해야 무난하다는 결론에 도달했습니다. ChatGPT에서 생성된 콘텐츠를 AI가 작성한 콘텐츠로 읽고 감지할 수 있었음에도 불구하고 소프트웨어가 인간이 작성한 짧은 문장과 텍스트를 인식하지 못하기 때문에 교육자나 언론인이 AI 표절을 확인하는 데 신뢰할 수 없는 도구가 됩니다.

이러한 도구의 목적은 사람들이 AI 콘텐츠 생성의 비윤리적인 사용을 해결하도록 돕는 것이므로 GPTZero를 100% 안정적으로 사용할 수는 없습니다. 이것은 소프트웨어가 인식의 정확도를 향상시키기 위해 다른 LLM(Large Language Models)에서 더 많은 데이터를 추가함에 따라 텍스트 인식이 더 높은 잠재력을 얻을 수 있기 때문에 개선의 여지가 없다는 말은 아닙니다. 하지만 지금은 약간의 소금과 인간과 기계가 쓴 단어를 구별하는 능력으로 GPTZero를 사용할 수 있습니다.

이것이 GPTZero의 정확도에 대해 알아야 할 전부입니다.