Microsoft 특허, AI 환각을 예방하는 기술 공개

오늘날 인공지능이 직면한 주요 장애물 중 하나는 환각을 일으키는 경향으로, 작업을 완료하려고 시도하는 동안 오해의 소지가 있거나 조작된 정보를 생성할 수 있다는 의미입니다. 대부분의 AI 시스템은 정확한 응답을 제공하기 위해 온라인 리소스를 활용하지만, 장시간의 대화는 때때로 AI가 근거 없는 정보에 의존하게 만들 수 있습니다.

올해 초, 마이크로소프트는 AI 환각 문제를 해결하는 솔루션 개발을 시작했으며, 이러한 부정확성을 사전에 방지하기 위한 특허 기술을 자세히 설명하는 연구 논문도 발표했습니다.

외부 지식과 피드백을 사용하여 언어 모델과 상호 작용하기 라는 제목의 문서에서는 이 메커니즘이 어떻게 작동하는지 설명합니다.

이 시스템은 질의(사용자의 질문이나 요청)를 처리하여 작동합니다. 그 질의에 따라 외부 소스에서 관련 정보를 가져옵니다. 그런 다음 이 정보를 원래 질의와 함께 종합하여 언어 모델이 활용할 수 있는 응집력 있는 패키지로 만듭니다.

패키지가 구성되면 언어 모델에 도입되어 제공된 입력을 기반으로 응답을 공식화하도록 훈련됩니다. 그런 다음 AI 모델은 이 입력 패키지를 기반으로 초기 응답을 생성합니다.

응답의 관련성을 보장하기 위해 시스템은 사전 정의된 기준을 사용하여 초기 출력이 유용성 기준을 충족하는지 평가합니다. 첫 번째 응답에 가치가 없는 경우(AI 환각을 나타냄), 시스템은 잘못되었거나 누락된 정보에 대한 피드백을 포함하는 개선된 입력 패키지를 구성합니다.

이렇게 새롭게 수정된 입력은 언어 모델로 다시 피드백되고, 언어 모델은 정제된 정보를 바탕으로 업데이트된 응답을 생성합니다.

이 혁신적인 기술은 AI 환각에 맞서는 것뿐만 아니라 다양한 실제 응용 분야에도 잠재력이 있습니다. 예를 들어, 논문에서 자세히 설명했듯이 이 시스템은 레스토랑의 AI 조수가 활용하여 고객에게 사실적이고 검증된 정보를 제공하고 대화 중에 진화하는 고객 문의에 따라 응답을 조정할 수 있습니다.

이러한 반복적 과정은 입력과 피드백을 지속적으로 개선함으로써 언어 모델의 응답의 정확성과 유용성을 향상시킵니다.

현재는 특허에 불과하지만, 논의된 개념은 Microsoft가 Copilot과 같은 AI 모델의 기능과 안정성을 향상하고자 노력하고 있음을 시사합니다.

이 기술 거대 기업은 이미 AI 모델에서 환각 문제를 해결하고 제거하려는 야망을 표명했으며, 레스토랑 지원과 같은 기능에서 정확한 정보를 안정적으로 생성할 수 있는 미래를 강조했습니다.

환각을 없애는 전략을 통해 AI 모델은 잘못된 정보에 의존하지 않고도 정확한 응답을 제공할 수 있습니다. 최신 Copilot의 음성 기능과 결합하면 AI는 자동화된 고객 지원 시스템과 같은 엔트리 레벨 작업을 대체할 수 있습니다.

당신은 이런 발전에 대해 어떻게 생각하시나요?

전체 논문은 여기에서 보실 수 있습니다 .

출처 및 이미지