Amazon werkt aan twee aangepaste generatieve AI-chips voor AWS-training van grote taalmodellen

De afgelopen maanden hebben bedrijven als Microsoft, Google, OpenAI en NVIDIA de krantenkoppen gehaald voor hun inspanningen om generatieve AI-hardware- en softwarediensten te bevorderen. Een groot technologiebedrijf, Amazon, probeert ook deel te nemen aan het AI-gesprek.

CNBC meldt dat zijn Amazon Web Services-divisie heeft gewerkt aan twee aangepaste chips, Inferentia en Trainium, waarvan het hoopt dat ze kunnen wedijveren met die van NVIDIA met zijn Grace Hopper-superchips voor het trainen van grote taalmodellen. NVIDIA heeft zojuist zijn next-gen Grace Hopper-platform aangekondigd , dat in 2024 beschikbaar zou moeten zijn.

AWS is geen onbekende in het maken van chips op maat. Het begon 10 jaar geleden met Nitro en Amazon zegt dat er nu minstens één Nitro-chip in elk van zijn AWS-servers zit.

Momenteel werkt Amazon in zijn kantoren in Austin, Texas aan nieuwe versies van zijn Trainium- en Inferential-chips. Dit is de oplossing van het bedrijf om klanten een manier te bieden om hun generatieve AI LLM’s te trainen op AWS-servers, met door Amazon gemaakte chips, zonder dat ze op NVIDIA gebaseerde hardware hoeven te gebruiken.

Amazon zegt dat een van de grootste voordelen is dat AWS al wordt gebruikt door miljoenen klanten, die gewend zijn aan de servers en hun tools. Mai-Lan Tomsen Bukovec, de VP van technologie bij AWS, verklaarde:

Het is een kwestie van snelheid. Hoe snel deze bedrijven deze generatieve AI-applicaties kunnen ontwikkelen, wordt bepaald door eerst te beginnen met de gegevens die ze in AWS hebben en door compute- en machine learning-tools te gebruiken die wij bieden.

Terwijl Amazon zijn eigen chips probeert te maken voor het trainen van LLM’s, gebruikt het ook enkele NVIDIA-chips voor hetzelfde doel in zijn AWS-servers. In juli kondigde het aan dat Amazon EC2 P5-instanties beschikbaar waren voor AWS-gebruikers. Deze servers worden aangedreven door NVIDIA H100 Tensor Core GPU’s.

Amazon verklaarde tegenover CNBC dat “meer dan 100.000” van zijn klanten AWS gebruikten voor machine learning. Hoewel dat slechts een fractie is van het totale AWS-klantenbestand van het bedrijf, zouden steeds meer van hen de oplossing van Amazon kunnen gaan gebruiken naarmate generatieve AI zich uitbreidt naar meer industrieën.