Blijkbaar zijn spreadsheets alles wat je nodig hebt om te begrijpen hoe een LLM werkt

We gebruiken momenteel allemaal LLM, of het nu ChatGPT, Gemini of de nieuwste Grok-1 is die als open source is uitgebracht . Maar weet u hoe ze te werk gaan om u van een antwoord te voorzien?

Ishan Anand, een softwareontwikkelaar die ook toegeeft dat hij gepassioneerd is door spreadsheets, voerde een experiment uit om het mechanisme achter LLM’s uit te leggen dat iedereen kan begrijpen.

Hij integreerde een kleine versie van GPT-2 in een Excel-spreadsheet en hield bij hoe het algoritme een eenvoudige vraag beantwoordde.

Hoe werkt ChatGPT 2.0 in Excel?

Ten eerste moet je begrijpen dat GPT -2 in 2019 werd uitgebracht en dat het niet mogelijk was om te praten. De eerste conversationele AI-bot kwam in 2022 met GPT-3.

Hoewel het allemaal in de krantenkoppen stond, kon GPT-2 slechts 1,5 miljard parameters gebruiken, terwijl GPT-3 dat aantal uitbreidde tot 175 miljard parameters.

Open AI heeft het niet uitgebracht als een conversatiebot, simpelweg omdat het beperkte invoertokens had. De GPT-2 van Ishan Anand in Excel kan slechts 10 tokens aan invoer verwerken, wat een klein aantal is voor elke mogelijke vraag.

In zijn experiment testte hij echter de LLM om de zin af te maken. Mike is snel. Hij beweegt… Als je de video hierboven bekijkt, zul je precies zien hoe GPT-2 de spreadsheet gebruikte om tot de conclusie te komen dat het ontbrekende woord snel was.

Het doel van de ontwikkelaar was om ons te laten geloven dat als we Excel-spreadsheets begrijpen, we ook kunnen begrijpen hoe een LLM werkt.

Heb je de uitleg in de video begrepen? Laten we bespreken in de opmerkingen hieronder.