Intel, 단일 5세대 Xeon에서 실행되는 클라우드에서 매우 집약적인 ChatGPT 시연

인텔은 오늘 이틀간 진행되는 혁신 이벤트 2023을 시작했으며 대부분의 초점은 인공 지능(AI)에 맞춰질 것으로 보입니다. 이는 기술이 많은 잠재력을 가지고 있다는 점을 고려할 때 일종의 예상입니다. .

무엇보다도 회사는 단일 Xeon 시스템에서 실행되는 70억 개의 매개변수 모델과 클라우드의 ChatGPT를 시연했습니다. 문제의 시스템은 단일 5세대 Xeon(코드명 “Emerald Rapids”) 프로세서로 구동됩니다. 확실하지는 않지만 Intel이 여기에서 언급하는 70억 개의 매개변수 모델이 Falcon LLM일 수 있습니다.

다른 LLM(대규모 언어 모델) 중에서 GPT는 매우 유용하고 재미있게 가지고 놀 수 있지만 하드웨어 측면과 일반 요구 사항이 매우 까다로울 수 있습니다. 예를 들어, 최근 연구에 따르면 ChatGPT는 20번 정도의 프롬프트마다 약 0.5리터의 물을 “마십니다” 라고 합니다. 재정적으로 올해 초의 보고서에 따르면 ChatGPT의 하루 비용은 거의 75만 달러 또는 70만 달러에 달할 수 있습니다 . 당연히 Intel, AMD, Nvidia와 같은 하드웨어 공급업체는 여기서 기회를 보고 AI 가속화를 염두에 두고 차세대 솔루션을 설계하고 있습니다.

Intel은 5세대 Xeon 데모 외에도 차세대 6세대 “Granite Rapids”에서 기대할 수 있는 성능 중 일부를 공개했습니다. 회사는 메모리 하위 시스템 업그레이드를 통해 얻을 수 있는 향상 덕분에 부분적으로 2~3배 개선되었다고 주장합니다. Intel 은 5세대의 8채널 DDR5-8000과 비교하여 6세대 Xeon에서는 최대 DDR5-8800 MCR DIMM을 지원하는 12채널로 전환할 예정입니다. 전자는 2024년 출시 예정이며 5세대는 이미 고객에게 샘플링 중 입니다. .