연구 결과 ChatGPT에서 익스플로잇 발견, 해커가 모든 대화 내용을 읽을 수 있음

ChatGPT와 개인 문제를 공유하거나 개인 정보가 공개되는 질문을 하는 경우 즉시 중지하세요. 최근 연구에 따르면 ChatGPT를 포함한 챗봇이 해킹될 수 있으며 모든 대화/채팅이 공격자에게 액세스될 수 있는 것으로 나타났습니다!

이스라엘 Ben-Gurion University에서 실시한 연구에서 연구원들은 Google Gemini를 제외한 거의 모든 인기 있는 AI 기반 챗봇에 100%는 아니지만 높은 정확도로 전체 대화를 공개할 수 있는 사이드 채널 익스플로잇을 발견했습니다.

Ben-Gurion University의 Offensive AI Research Lab 소장인 Yisroel Mirsky는 Ars Technica 에 보낸 이메일에서 다음과 같이 말했습니다.

연구원들은 AI 기반 챗봇의 취약점을 밝힙니다.

이 연구는 일반 사용자가 이해하기에는 복잡하고 약간 까다롭습니다. 간단히 말해서, 연구원들은 사이드 채널 취약성을 이용하여 토큰(LLM이 사용자 입력을 번역하는 데 도움이 되는 데이터)을 획득한 다음 이를 사용하여 55% 정확도로 대화를 추론했습니다.

연구원들은 시스템을 직접 공격하는 대신 시스템이 실수로 공유한 정보를 수집할 수 있기 때문에 사이드 채널 공격 기술을 활용했습니다. 이렇게 하면 암호화를 포함하여 내장된 보호 프로토콜을 우회할 수 있습니다.

그런 다음 이러한 토큰은 내용을 텍스트 형식으로 변환할 수 있는 특별히 훈련된 두 개의 LLM(대형 언어 모델)을 통해 실행되었습니다. 수동 접근 방식을 취하면 이는 사실상 불가능합니다.

그러나 챗봇에는 독특한 스타일이 있기 때문에 연구자들은 프롬프트를 효과적으로 해독하도록 LLM을 교육할 수 있었습니다. 한 LLM은 응답의 첫 번째 문장을 식별하도록 훈련되었고, 다른 LLM은 문맥을 기반으로 내부 문장을 작업했습니다.

Ars Technica에 보낸 이메일에서 그들은 다음과 같이 설명합니다.

이 혁신은 연구 논문에서도 언급되었습니다.

연구진은 교통 차단부터 응답 추론까지 전체 과정을 담은 데모 영상을 유튜브 에 공유했다 .

따라서 ChatGPT 채팅은 생각만큼 안전하지 않으며 해커가 쉽게 읽을 수 있습니다! Google의 챗봇에는 사이드 채널 익스플로잇이 없었음에도 불구하고 연구원들은 이전에 Gemini AI와 Cloud Console을 해킹한 적이 있습니다 .

게다가 AI가 주류로 자리잡은 이후 사이버 공격도 크게 증가 했다 . Microsoft의 최근 보고서에 따르면 영국에서는 87%의 기업이 AI 기반 사이버 공격에 직면할 위험이 있습니다 .

마이크로소프트의 브래드 스미스(Brad Smith) 사장은 AI에 대한 우려 를 표 하고 즉각적인 규제를 촉구했습니다!

AI의 등장에 대해 어떻게 생각하시나요? 댓글 섹션에서 독자들과 공유하세요.

우리는 AI 보조 서비스에 사용되는 LLM이 독특한 쓰기 스타일을 보이고 때로는 훈련 데이터에서 문구를 반복하는 것을 관찰했는데, 이는 다른 연구자들도 동일한 개념입니다. 이러한 특성을 인식하면 알려진 일반 텍스트 공격과 유사한 공격을 수행할 수 있습니다. 이 방법에는 공개 데이터 세트를 사용하거나 유료 사용자로 프롬프트를 전송하여 대상 LLM의 응답 데이터 세트를 컴파일하는 작업이 포함됩니다. 그런 다음 데이터 세트를 사용하여 추론 모델을 더욱 세부적으로 조정할 수 있습니다. 결과적으로 추론 모델은 엔트로피를 크게 줄일 수 있으며 때로는 T의 응답 R을 단어 하나하나 완벽하게 예측할 수도 있습니다.

마치 Wheel of Fortune에서 퍼즐을 풀려고 하는 것과 같지만, 짧은 문구가 아닌 전체 문구의 문단으로 구성되어 있으며 등장인물이 하나도 공개되지 않았습니다. 그러나 AI(LLM)는 장기적인 패턴을 매우 잘 살펴보고 다른 게임의 충분한 예를 고려할 때 놀라운 정확도로 이러한 퍼즐을 풀 수 있습니다.

현재 누구나 ChatGPT 및 기타 서비스에서 보낸 비공개 채팅을 읽을 수 있습니다. 여기에는 클라이언트와 동일한 Wi-Fi 또는 LAN(예: 동일한 커피숍)에 있는 악의적인 행위자 또는 트래픽을 관찰할 수 있는 인터넷상의 악의적인 행위자도 포함됩니다. 공격은 수동적이며 OpenAI나 고객이 알지 못하는 사이에 발생할 수 있습니다. OpenAI는 이러한 도청 공격을 방지하기 위해 트래픽을 암호화하지만, 우리 연구에 따르면 OpenAI가 암호화를 사용하는 방식에 결함이 있어 메시지 내용이 노출되는 것으로 나타났습니다.