Maak kennis met Meta’s Shepherd AI, de gids-AI die LLM’s corrigeert

Het is tijd om een ​​stap terug te doen van het verslaan van de AI-doorbraken van Microsoft , om een ​​kijkje te nemen in een van de modellen waar zijn recente partner, Meta, aan heeft gewerkt.

Het Facebook-bedrijf heeft zelf ook onderzoek naar AI gefinancierd en het resultaat is een AI-model dat in staat is om grote taalmodellen (LLM’s) te corrigeren en hen te begeleiden bij het geven van de juiste antwoorden.

Het team achter het project noemde het model suggestief Shepherd AI , en het model is gebouwd om de fouten aan te pakken die LLM’s kunnen maken wanneer ze worden gevraagd om bepaalde taken uit te voeren.

In dit werk introduceren we Shepherd, een taalmodel dat specifiek is afgestemd op het bekritiseren van modelreacties en het suggereren van verfijningen, dat verder gaat dan de mogelijkheden van een niet-afgestemd model om diverse fouten te identificeren en suggesties te doen om deze te verhelpen. De kern van onze aanpak is een feedbackdataset van hoge kwaliteit, die we samenstellen op basis van communityfeedback en menselijke annotaties.

Meta AI-onderzoek, FAIR

Zoals u wellicht weet, heeft Meta enkele weken geleden zijn LLM’s, Llama 2, uitgebracht in samenwerking met Microsoft. Llama 2 is een verbluffend open-sourcemodel met 70 miljard parameters dat Microsoft en Meta van plan zijn te commercialiseren voor gebruikers en organisaties om hun interne AI-tools te bouwen.

Maar AI is nog niet perfect. En veel van zijn oplossingen lijken niet altijd correct te zijn. Volgens Meta AI Research is Shepherd hier om deze problemen aan te pakken door ze te corrigeren en oplossingen voor te stellen.

Shepherd AI is een informele, natuurlijke AI-leraar

We weten allemaal dat Bing Chat bijvoorbeeld de neiging heeft bepaalde patronen te volgen: de tool kan creatief zijn , maar kan ook zijn creativiteit beperken . Als het om professionele zaken gaat, kan Bing AI ook een serieuze houding aannemen.

Het lijkt er echter op dat Meta’s Shepherd AI werkt als een informele AI-leraar voor de andere LLM’s. Het model, dat aanzienlijk veel kleiner is bij 7B parameters, heeft een natuurlijke en informele toon bij het corrigeren en voorstellen van oplossingen.

Dit was allemaal mogelijk dankzij een verscheidenheid aan bronnen voor training, waaronder:

• Feedback van de gemeenschap: Shepherd AI is getraind op samengestelde inhoud van online forums (met name Reddit-forums), waardoor natuurlijke invoer mogelijk is.
• Door mensen geannoteerde input: Shepherd AI is ook getraind op een reeks geselecteerde openbare databases, waardoor georganiseerde en feitelijke correcties mogelijk zijn.

Shepherd AI is ondanks zijn relatief kleine infrastructuur perfect in staat om een ​​betere feitelijke correctie te geven dan bijvoorbeeld ChatGPT. FAIR en Meta AI Research ontdekten dat de AI-tool betere resultaten oplevert dan de meeste van zijn concurrerende alternatieven, met een gemiddeld winstpercentage van 53-87% . Bovendien kan Shepherd AI ook nauwkeurige beoordelingen maken van elke vorm van door LLM gegenereerde inhoud.

Voor nu is Shepherd een nieuw AI-model, maar naarmate er meer onderzoek naar wordt gedaan, zal het model hoogstwaarschijnlijk in de toekomst worden uitgebracht als een open-sourceproject.

Ben je er enthousiast over? Zou je het gebruiken om je eigen AI-model te corrigeren? Wat denk jij ervan?