Intel、単一の第 5 世代 Xeon で実行されるクラウド上で超集中的な ChatGPT をデモ

インテルは本日、2 日間にわたるイベントであるイノベーション イベント 2023 を開始しました。焦点のほとんどは人工知能 (AI) に向けられるようですが、このテクノロジーには多くの可能性があることを考えると、これはある程度予想されています。 。

同社はとりわけ、クラウド上の ChatGPT と単一の Xeon システム上で実行される 70 億のパラメータ モデルのデモを行いました。問題のシステムは、単一の第 5 世代 Xeon (開発コード名「Emerald Rapids」) プロセッサを搭載しています。確かではありませんが、Intel がここで言及している 70 億パラメータ モデルは Falcon LLM の可能性があります。

GPT は、LLM (大規模言語モデル) の中でも非常に便利で、楽しく遊んでいますが、一般的な要件だけでなく、ハードウェア面でも非常に要求が厳しい場合があります。たとえば、最近の研究では、ChatGPT は20 回程度のプロンプトごとに約 0.5 リットルの水を「飲む」ことが示唆されています。財務面では、今年初めのレポートでは、ChatGPT の費用が1 日あたり約 45 万ドル、つまり 70 万ドルかかる可能性があると示唆されていました。当然のことながら、Intel、AMD、Nvidia などのハードウェア ベンダーはここにチャンスを見出しており、AI アクセラレーションを念頭に置いた次世代ソリューションを設計しているのです。

第 5 世代 Xeon のデモとは別に、インテルは次世代第 6 世代「Granite Rapids」に期待できるパフォーマンスの一部も披露しました。同社は、メモリ サブシステムのアップグレードによる効果もあり、2 ～ 3 倍の改善が得られると主張しています。インテルは、第 5 世代の 8 チャネル DDR5-8000 と比較して、第 6 世代 Xeon では最大 DDR5-8800 MCR DIMMをサポートする 12 チャネルになります。前者は 2024 年のリリースが予定されており、第 5 世代はすでに顧客にサンプル提供されています。 。