Intel présente ChatGPT super intensif sur le cloud fonctionnant sur un seul Xeon de 5e génération

Intel a lancé aujourd’hui son Innovation Event 2023, un événement de deux jours, et il semble que l’accent sera principalement mis sur l’intelligence artificielle (IA), ce qui est en quelque sorte attendu étant donné que la technologie a beaucoup de potentiel. .

Entre autres choses, la société a fait une démonstration de ChatGPT sur le cloud par rapport à un modèle à 7 milliards de paramètres fonctionnant sur un seul système Xeon. Le système en question est alimenté par un seul processeur Xeon de 5e génération (nom de code « Emerald Rapids »). Bien que nous n’en soyons pas sûrs, le modèle à 7 milliards de paramètres auquel Intel fait référence ici pourrait être le Falcon LLM.

Bien que les GPT, parmi d’autres LLM (grands modèles de langage), soient très utiles et amusants à utiliser, ils peuvent être très exigeants sur le plan matériel ainsi que sur les exigences générales. Par exemple, des recherches récentes ont suggéré que ChatGPT « boirait » environ un demi-litre d’eau pour environ 20 invites. Financièrement, un rapport publié plus tôt dans l’année suggérait que ChatGPT pourrait coûter près de trois quarts de million, soit 700 000 dollars par jour . Naturellement, les fournisseurs de matériel comme Intel, AMD et Nvidia y voient une opportunité, c’est pourquoi ils conçoivent des solutions de nouvelle génération en gardant à l’esprit l’accélération de l’IA.

Outre la démo Xeon de 5e génération, Intel a également dévoilé certaines des performances que nous pouvons attendre de la 6e génération de nouvelle génération « Granite Rapids ». La société revendique une amélioration de 2 à 3 fois, en partie grâce au coup de pouce qu’elle recevra de la mise à niveau du sous-système de mémoire. Intel passera à 12 canaux avec prise en charge de modules DIMM MCR jusqu’à DDR5-8800 sur le Xeon de 6e génération, contre 8 canaux DDR5-8000 sur la 5e génération. Le premier est prévu pour une version 2024 tandis que la 5e génération est déjà en cours d’échantillonnage auprès des clients . .