Intel demonstriert superintensives ChatGPT in der Cloud, das auf einem einzelnen Xeon der 5. Generation läuft

Intel hat heute sein Innovation Event 2023 gestartet, eine zweitägige Veranstaltung, und es sieht so aus, als ob der Schwerpunkt hauptsächlich auf künstlicher Intelligenz (KI) liegen wird, was angesichts der Tatsache, dass die Technologie viel Potenzial hat, auch zu erwarten ist .

Unter anderem hat das Unternehmen ChatGPT in der Cloud im Vergleich zu einem 7-Milliarden-Parameter-Modell getestet, das auf einem einzelnen Xeon-System läuft. Das betreffende System wird von einem einzelnen Xeon-Prozessor der 5. Generation (Codename „Emerald Rapids“) angetrieben. Obwohl wir uns nicht sicher sind, könnte es sich bei dem 7-Milliarden-Parameter-Modell, auf das sich Intel hier bezieht, um das Falcon LLM handeln.

Während GPT und andere LLMs (große Sprachmodelle) sehr nützlich sind und es auch Spaß macht, damit herumzuspielen, können sie sowohl in Bezug auf die Hardware als auch auf die allgemeinen Anforderungen sehr anspruchsvoll sein. Jüngste Untersuchungen deuten beispielsweise darauf hin, dass ChatGPT bei etwa 20 Eingabeaufforderungen etwa einen halben Liter Wasser „trinkt“ . Aus finanzieller Sicht deutete ein Bericht von Anfang des Jahres darauf hin, dass ChatGPT fast eine dreiviertel Million oder 700.000 US-Dollar pro Tag kosten könnte . Natürlich sehen Hardwareanbieter wie Intel, AMD und Nvidia hier die Chance, weshalb sie Lösungen der nächsten Generation mit Blick auf die KI-Beschleunigung entwickeln.

Abgesehen von der Xeon-Demo der 5. Generation hat Intel auch einige der Leistungen aufgezeigt, die wir von den „Granite Rapids“ der 6. Generation der nächsten Generation erwarten können. Das Unternehmen gibt an, eine Verbesserung um das Zwei- bis Dreifache zu erzielen, was zum Teil auf die Steigerung durch die Aktualisierung des Speichersubsystems zurückzuführen sei. Intel wird 12-Kanal-Modelle mit Unterstützung für bis zu DDR5-8800 MCR-DIMMs auf dem Xeon der 6. Generation einsetzen, im Vergleich zu 8-Kanal-DDR5-8000 auf dem 5 .