De AI-codegenerator Starcoder 2 van Hugging Face werkt op de meeste moderne GPU’s

Wat te weten

• Hugging Face heeft StarCoder 2 uitgebracht in samenwerking met Service Now en Nvidia.
• De door AI aangedreven codegenerator is verkrijgbaar in drie varianten (met verschillende parametergroottes), getraind door Service Now, Hugging Face en Nvidia, waarvan de eerste twee op de meeste moderne consumenten-GPU’s zullen draaien.
• StarCoder 2 is naar verluidt de meest efficiënte AI-codegenerator, ontworpen voor ontwikkelaars die snel applicaties willen bouwen zonder in te boeten aan kwaliteit.

Op AI gebaseerde codegeneratoren krijgen veel aandacht van ontwikkelaars. Hoewel de meeste van dergelijke tools verre van perfect zijn, zoals Amazon’s CodeWhisperer en GitHub Copilot, groeit de vraag naar hun alternatieven alleen maar met de dag. Gelukkig is Hugging Face – in samenwerking met Service Now en Nvidia – hier om de dag te redden met de nieuwste versie van StarCoder, een open-source codegenerator die moderne GPU’s zonder problemen zouden kunnen gebruiken. Hier is alles wat u erover moet weten.

Wat is StarCoder 2

Starcoder 2, eerst ontwikkeld door AI-startup Hugging Face, is een familie van grote taalmodellen voor code die in de volgende drie varianten verkrijgbaar zijn:

• StarCoder2-3B-model (met 3 miljard parameters) getraind door Service Now.
• StarCoder2-7B-model (met 7 miljard parameters) getraind door Hugging Face.
• StarCoder2-15B-model (met 15 miljard parameters) getraind door Nvidia.

Alle drie de modellen zijn getraind op The Stack V2, een nieuwe codedataset die zeven keer groter is dan de eerste iteratie, met geavanceerde technieken om programmeertalen en discussies rond programmabroncodes te begrijpen.

Alleen de eerste twee varianten zullen echter op de meeste moderne consumenten-GPU’s kunnen draaien. Een deel van de reden hiervoor zou kunnen zijn dat ze allebei getraind waren in 17 programmeertalen, terwijl Starcoder2-15B getraind was in meer dan 600 programmeertalen (door Nvidia).

Niettemin is zelfs het kleinste model (getraind door Service Now) net zo goed, zo niet beter, dan de beste van de vorige iteratie.

Hoe verhoudt StarCoder 2 zich tot andere AI-codegeneratoren

Zoals de meeste AI-codegeneratoren zal StarCoder 2 suggesties geven om coderegels te voltooien, stukjes code samen te vatten en deze op te halen wanneer daarom wordt gevraagd. Naar verluidt is het ook veel efficiënter en krijgt het ook een voorsprong op andere codegeneratoren op het gebied van prestaties.

Bovendien zou StarCoder 2 niet meer dan een paar uur nodig hebben voordat het lokaal wordt ingezet, de broncode van de ontwikkelaar leert en kan worden gebruikt om apps en chatbots te maken. Het wordt ook beschouwd als een veel ethischer AI-codegenerator dan sommige andere, vooral omdat het is getraind op gegevens waarvoor een licentie is verleend door Software Heritage.

Een belangrijk voorbehoud is dat de licentie van StarCoder 2, de BigCode Open RAIL-M 1.0, mogelijk zijn eigen uitdagingen met zich meebrengt voor ontwikkelaars, omdat het niet zo vrijelijk gebruik van de codegenerator mogelijk maakt als ze willen. Om de naleving van wet- en regelgeving te garanderen, zijn bepaalde beperkingen ingevoerd, zoals de EU AI Act.