Wat zijn ChatGPT-plug-ins en hoe werken ze

ChatGPT heeft de wereld de afgelopen maanden op zijn kop gezet sinds het voor het publiek werd vrijgegeven. Is het eigenlijk maar een paar maanden geleden? Door de impact die het heeft gemaakt, voelt het alsof het al jaren bestaat.

Maar ondanks al zijn deugden had het een kleine fout die niet zo klein was; het had geen toegang tot recente informatie. De enige informatie die het had was tot medio 2021. Maar OpenAI begint daar eindelijk verandering in te brengen. Nee, het is niet getraind op nieuwere gegevens. OpenAI implementeert echter eindelijk vroege ondersteuning voor plug-ins in ChatGPT waarmee het verbinding kan maken met internet, evenals met enkele services van derden!

Wat zijn ChatGPT-plug-ins?

Plug-ins zijn tools die specifiek zijn ontworpen voor taalmodellen. Ze verbeteren de mogelijkheden van de chatbot en laten hem voorheen onmogelijke taken uitvoeren. Het kan nu bijvoorbeeld real-time informatie ophalen, zoals sportuitslagen, aandelenkoersen, acties uitvoeren namens een gebruiker, zoals het boeken van vluchten, en kennisbankinformatie ophalen, zoals bedrijfsdocumenten, enz.

Sinds de lancering van ChatGPT waren plug-ins het meest gevraagde item van gebruikers, en OpenAI heeft eindelijk geleverd. Maar hun release zal een geleidelijke, iteratieve uitrol zijn. Aanvankelijk heeft OpenAI slechts een paar plug-ins van derden en een paar eigen plug-ins uitgebracht.

De toegang voor zowel gebruikers als ontwikkelaars die plug-ins willen bouwen, is momenteel ook beperkt. Bovendien wordt als eindgebruiker op dit moment alleen toegang verleend aan ChatGPT Plus-gebruikers, maar ChatGPT zegt wel van plan te zijn de uitrol in de toekomst uit te breiden.

Toegang kan alleen worden aangevraagd na deelname aan hun wachtlijst , wat inhoudt dat u een kleine vragenlijst moet invullen over waarom u toegang wilt en of u bereid bent om feedback te geven.

De lijst met plug-ins van derden omvat:

• Expedia – Met deze plug-in kunt u uw volgende reis plannen met ChatGPT, met volledige informatie over de beschikbaarheid en prijs van hotels, vluchten, enz.
• FiscalNote – Deze ChatGPT-plug-in geeft u toegang tot realtime juridische, politieke en regelgevende informatie en gegevens.
• Instacart – Gebruik ChatGPT om boodschappen te bestellen bij supermarkten en supermarkten in de buurt.
• KAYAK – Gebruik KAYAK binnen ChatGPT om auto’s, hotels, verhuur, enz. te vinden binnen uw gedefinieerde budget.
• Klarna Shopping – Zoek en vergelijk prijzen van verschillende online winkels binnen uw ChatGPT-gesprek.
• Milo Family AI – De plug-in voor ouders om het ouderschap een boost te geven.
• OpenTable – Ontvang restaurantaanbevelingen en reserveringslinks in chats.
• Winkelen bij Shopify – Zoek naar producten van verschillende merken.
• Slack – Gebruik ChatGPT met Slack om de communicatie te stroomlijnen
• Spreek – Krijg een door AI aangedreven taalleraar
• Wolfram – Download ChatGPT voor toegang tot berekeningen, wiskundige kennis, enz.
• Zapier – Gebruik deze plug-in om te communiceren met meer dan 5000 apps binnen ChatGPT.

Er zijn ook twee plug-ins van OpenAI zelf: Browsing (een webbrowser) en een code-interpreter, en een open-source plug-in, genaamd Retriever. Alle plug-ins bevinden zich momenteel in de alfatestfase.

Hoe werken deze plug-ins?

Volgens OpenAI zijn plug-ins “ogen en oren” voor taalmodellen zoals ChatGPT. Het feit over taalmodellen is dat ze alleen kunnen leren van hun trainingsgegevens en dat leren beperkt kan zijn. ChatGPT kan alleen op tekst gebaseerde instructies geven. Deze plug-ins kunnen ervoor zorgen dat deze instructies worden gevolgd en informatie beschikbaar maken die te recent, te persoonlijk of te specifiek is en niet in de trainingsgegevens kan worden opgenomen.

Maar er ontstaat een veiligheidsprobleem wanneer u denkt aan een AI-model dat instructies opvolgt en namens u acties uitvoert. Dat is de reden waarom plug-ins langzaam worden uitgerold. OpenAI bouwt ze met veiligheid als kernprincipe en zal hun gebruik in de echte wereld monitoren.

Laten we eens kijken hoe sommige van deze plug-inmodellen werken.

Browsen

Dit is de plug-in die ChatGPT met internet verbindt en is een van de twee plug-ins van OpenAI zelf. De plug-in gebruikt de Bing-zoek-API van Microsoft in een niet zo merkwaardige gang van zaken; de twee bedrijven hebben deals gehad die jaren teruggaan. Naast de initiële investeringen gebruikt Microsoft nu ook OpenAI-technologie om hun nieuwe Bing AI aan te drijven.

Het model weet niet alleen hoe het op internet moet surfen, maar weet ook wanneer het op internet moet surfen en wanneer niet. Wanneer een gebruiker ChatGPT bijvoorbeeld om informatie over Oscars 2023 vraagt, zoekt deze nauwkeurig op internet naar de zoekopdracht. Maar wanneer hem wordt gevraagd naar de eerste Oscars die ooit zijn gehouden, zoekt hij niet op internet, omdat die informatie deel uitmaakt van zijn trainingsgegevens.

Dus om ChatGPT op internet te laten surfen, moet u het ‘Browsing’-model/de plug-in selecteren.

Wanneer een gebruiker nu een prompt invoert die vereist dat hij op internet surft, zal hij dat doen; het proces zal enige tijd duren omdat de bot tijd nodig heeft om vertrouwd te raken met de informatie. U kunt de actiestroom van ChatGPT zien totdat deze een reactie genereert door de tegel ‘Browsing the web..’ uit te vouwen.

Daar kunt u in realtime zien naar welke zoekopdrachten het heeft gezocht, op welke links het heeft geklikt en wanneer het aan het lezen is. Het maakt gebruik van een op tekst gebaseerde webbrowser, zodat het verder kan gaan dan de zoekresultaten en de websites daadwerkelijk kan lezen en navigeren.

Zodra ChatGPT op de hoogte is van de gebeurtenissen, geeft het u een antwoord in zijn natuurlijke taalmodel, zoals voorheen. Maar het antwoord bevat citaten wanneer het wordt gegenereerd met het browsemodel. Door op het citaat te klikken, kom je op de website. Dit specifieke aspect is hetzelfde als Bing Chat AI.

Vanuit veiligheidsoogpunt kan de op tekst gebaseerde browser alleen GET-verzoeken doen, wat bepaalde risico’s verkleint. Het model kan bijvoorbeeld alleen informatie van het internet halen, maar het kan geen “transactionele” handelingen uitvoeren, zoals het indienen van een formulier.

Code-interpreter

Het Code Interpreter-model, de tweede plug-in van OpenAI, voorziet ChatGPT van een Python-interpreter. Het biedt het ook wat schijfruimte van korte duur.

De sessie is actief tijdens een enkele chat, dus het volgende gesprek kan voortbouwen op een vorig gesprek, maar er is een tijdslimiet. Daarnaast ondersteunt de Code Interpreter ook het uploaden van bestanden en het downloaden van bestanden met de resultaten.

Om het veilig te houden, houdt OpenAI het in een uitvoeringsomgeving met een sandbox en een firewall. Internettoegang is ook uitgeschakeld voor Code Interpreter. Volgens OpenAI, hoewel deze zet de functionaliteit van het model beperkt, vinden ze dat het in eerste instantie de juiste zet is.

Het model ‘Code Interpreter’ moet worden geselecteerd voordat het gesprek begint.

Zodra de gebruiker de prompts invoert die het gebruik van de Code Interpreter-plug-in vereisen, zou ChatGPT deze gaan gebruiken om de vereiste berekeningen uit te voeren. Net als bij browsen kan de gebruiker de stroom van berekeningen van ChatGPT zien door op ‘Werk tonen’ te klikken en alle stappen in de berekening zullen zichtbaar zijn.

In eerste tests heeft OpenAI ontdekt dat deze plug-in nuttig is in bepaalde scenario’s. Deze omvatten:

• Het oplossen van wiskundige problemen, zowel kwantitatief als kwalitatief, waarvan gebruikers eerlijk gezegd vonden dat ChatGPT eerder onzin was.
• Data-analyse en visualisatie doen, waar veel gebruikers enthousiast van worden.
• Bestanden converteren tussen formaten

OpenAI verwacht dat gebruikers tijdens het uitproberen meer nuttige taken ontdekken die de Code Interpreter kan uitvoeren.

Plug-ins van derden

De rest van de plugins vallen onder het Plugins model. Dit omvat ook de open-source Retriever-plug-in van OpenAI die ontwikkelaars kunnen gebruiken en 12 plug-ins van derden.

Zodra het plug-insmodel is geselecteerd in de vervolgkeuzelijst, kan de gebruiker de gewenste plug-ins uit de winkel installeren.

Hier is in een notendop hoe plug-ins werken:

Zodra de gebruikers een plug-in activeren door deze te installeren (ze worden niet automatisch geactiveerd) en het gesprek beginnen, injecteert OpenAI een compacte beschrijving van de plug-in in ChatGPT in een bericht. Dit bericht is niet zichtbaar voor eindgebruikers, maar het zal de beschrijving, eindpunten en voorbeelden van de plug-in bevatten. Dus totdat u ervoor kiest om een ​​plug-in in een gesprek te gebruiken, heeft ChatGPT er geen kennis van. Je moet in elk gesprek de plug-ins activeren die je wilt gebruiken.

Nu kunt u uw vraag stellen aan ChatGPT. Als de bot het relevant vindt om de plug-in aan te roepen, doet hij dat met een API-aanroep. Met andere woorden, het kan zelf beslissen of een plug-in moet worden aangeroepen.

Het zal dan de resultaten die het van de plug-in krijgt opnemen in het antwoord dat het voor u genereert.

Hier is een voorbeeld van hoe ChatGPT plug-ins van OpenTable, Wolfram en Instacart gebruikt. Een gebruiker vraagt ​​ChatGPT om een ​​veganistisch restaurant aan te bevelen voor zaterdag en een veganistisch recept voor zondag. Ze vragen het ook om de calorieën te berekenen voor het recept dat het aanbeveelt om Wolfram te gebruiken, en om de ingrediënten voor het recept bij Instacart te bestellen. De AI-bot doet precies dat.

Ten eerste gebruikt het OpenTable om een ​​restaurant aan te bevelen en een link om te reserveren.

Het beveelt een veganistisch recept aan (wat het eerder kon doen) en berekent vervolgens de calorieën voor het recept met behulp van Wolfram.

Ten slotte voegt het alle vereiste ingrediënten toe aan het winkelwagentje op Instacart en presenteert het de gebruiker de link waarop de gebruiker eenvoudig kan klikken om de bestelling te voltooien!

Plug-ins gaan de manier waarop ChatGPT werkt volledig veranderen. De snelheid waarmee AI de afgelopen maanden vooruitgaat, maakt het een even angstaanjagende en geweldige tijd om te leven, nietwaar?