LLM을 바로잡는 가이드 AI 메타의 Shepherd AI를 만나보세요

Microsoft의 AI 혁신을 다루는 것에서 한 걸음 물러나 최근 파트너인 Meta가 작업하고 있는 모델 중 하나를 살펴볼 때입니다 .

Facebook 회사도 자체적으로 AI에 대한 연구에 자금을 지원하고 있으며 그 결과 대규모 언어 모델(LLM)을 수정하고 올바른 응답을 제공하도록 안내할 수 있는 AI 모델이 탄생했습니다.

프로젝트 배후의 팀은 암시적으로 Shepherd AI 모델이라고 불렀으며 이 모델은 특정 작업을 수행하도록 요청받았을 때 LLM이 저지를 수 있는 실수를 해결하기 위해 구축되었습니다.

이 작업에서는 모델 응답을 비판하고 개선을 제안하도록 특별히 조정된 언어 모델인 Shepherd를 소개합니다. 조정되지 않은 모델의 기능을 넘어 다양한 오류를 식별하고 이를 해결하기 위한 제안을 제공합니다. 우리 접근 방식의 핵심은 커뮤니티 피드백과 사람의 주석을 통해 선별한 고품질 피드백 데이터 세트입니다.

메타 AI 연구, FAIR

아시다시피 Meta는 몇 주 전에 Microsoft와의 파트너십을 통해 LLM인 Llama 2를 출시했습니다. Llama 2 는 Microsoft와 Meta가 사내 AI 도구를 구축하기 위해 사용자와 조직에 상용화할 계획인 엄청난 70B 매개변수 오픈 소스 모델입니다 .

그러나 AI는 아직 완벽하지 않습니다. 그리고 많은 솔루션이 항상 올바른 것 같지는 않습니다. Meta AI Research에 따르면 Shepherd는 이러한 문제를 수정하고 솔루션을 제안하여 이러한 문제를 해결하기 위해 여기에 있습니다.

Shepherd AI는 비공식적이고 자연스러운 AI 교사입니다.

예를 들어 우리 모두는 Bing Chat이 몇 가지 패턴을 따라야 하는 경향이 있다는 것을 알고 있습니다. 이 도구는 창의적일 수 있지만 창의성을 제한 할 수도 있습니다 . 전문적인 문제에 관해서도 Bing AI는 진지한 태도를 취할 수 있습니다.

그러나 Meta의 Shepherd AI는 다른 LLM의 비공식 AI 교사 역할을 하는 것 같습니다. 7B 매개변수에서 상당히 작은 이 모델은 솔루션을 수정하고 제안할 때 자연스럽고 비공식적인 목소리 톤을 가집니다.

이는 다음과 같은 다양한 교육 소스 덕분에 가능했습니다.

• 커뮤니티 피드백: Shepherd AI는 자연스러운 입력을 가능하게 하는 온라인 포럼(특히 Reddit 포럼)에서 선별된 콘텐츠에 대해 교육을 받았습니다.
• 사람이 주석을 단 입력: Shepherd AI는 조직적이고 사실에 입각한 수정을 가능하게 하는 선별된 공용 데이터베이스 세트에 대해서도 교육을 받았습니다.

예를 들어 Shepherd AI는 상대적으로 작은 인프라에도 불구하고 ChatGPT보다 더 나은 사실 수정을 완벽하게 제공할 수 있습니다. FAIR와 Meta AI Research는 AI 도구가 평균 승률 53-87% 로 대부분의 경쟁 대안보다 더 나은 결과를 제공한다는 사실을 발견했습니다 . 또한 Shepherd AI는 모든 종류의 LLM 생성 콘텐츠에 대해 정확한 판단을 내릴 수 있습니다.

현재 Shepherd는 참신한 AI 모델이지만 더 많은 연구가 진행됨에 따라 향후 오픈 소스 프로젝트로 모델이 출시될 가능성이 높습니다.

당신은 그것에 대해 흥분합니까? 자신의 AI 모델을 수정하는 데 사용하시겠습니까? 당신이 그것에 대해 어떻게 생각하십니까?