Intel demonstreert superintensieve ChatGPT in de cloud die draait op een enkele 5e generatie Xeon

Intel heeft vandaag de aftrap gegeven voor zijn Innovation Event 2023, een tweedaags evenement, en het lijkt erop dat de meeste focus zal liggen op kunstmatige intelligentie (AI), wat min of meer wordt verwacht gezien het feit dat de technologie veel potentieel heeft. .

Het bedrijf heeft onder meer ChatGPT in de cloud gedemonstreerd versus een model met 7 miljard parameters dat op één Xeon-systeem draait. Het systeem in kwestie wordt aangedreven door een enkele 5e generatie Xeon-processor (codenaam “Emerald Rapids”). Hoewel we er niet zeker van zijn, zou het 7 miljard parametermodel waar Intel naar verwijst mogelijk de Falcon LLM kunnen zijn.

Hoewel GPT, naast andere LLM’s (grote taalmodellen), erg nuttig zijn en ook leuk om mee te spelen, kunnen ze erg veeleisend zijn aan de hardwarekant, maar ook aan de algemene vereisten. Recent onderzoek suggereerde bijvoorbeeld dat ChatGPT ongeveer een halve liter water zou “drinken” voor elke twintig prompts. Financieel suggereerde een rapport van eerder dit jaar dat ChatGPT bijna driekwart miljoen of $700.000 per dag zou kunnen kosten . Uiteraard zien hardwareleveranciers zoals Intel, AMD en Nvidia hier de kans en daarom ontwerpen ze oplossingen van de volgende generatie met AI-versnelling in gedachten.

Afgezien van de 5e generatie Xeon-demo, plaagde Intel ook enkele van de prestaties die we kunnen verwachten van de volgende generatie 6e generatie “Granite Rapids”. Het bedrijf claimt een verbetering van 2 tot 3 keer, deels dankzij de boost die het krijgt door de upgrade van het geheugensubsysteem. Intel gaat naar 12-kanaals met ondersteuning voor maximaal DDR5-8800 MCR DIMM’s op de 6e generatie Xeon, vergeleken met 8-kanaals DDR5-8000 op de 5e generatie. De eerste staat gepland voor een release in 2024, terwijl de 5e generatie al aan het samplen is voor klanten .