Hugging Face の AI コード ジェネレーター Starcoder 2 はほとんどの最新の GPU で動作します

知っておくべきこと

• Hugging Face は、Service Now および Nvidia と協力して StarCoder 2 をリリースしました。
• AI を利用したコード ジェネレーターには、Service Now、Hugging Face、Nvidia によってトレーニングされた 3 つのバリアント (パラメーター サイズが異なります) があり、最初の 2 つはほとんどの最新のコンシューマー GPU で実行できます。
• StarCoder 2 は、品質を犠牲にすることなくアプリケーションを迅速に構築したい開発者向けに設計された、最も効率的な AI コード ジェネレーターであると報告されています。

AI ベースのコード ジェネレーターは開発者から大きな注目を集めています。 Amazon の CodeWhisperer や GitHub Copilot など、そのようなツールのほとんどは完璧には程遠いにもかかわらず、それらの代替ツールに対する需要は日に日に高まるばかりです。幸いなことに、Hugging Face は、Service Now および Nvidia と協力して、最新の GPU で問題なく実行できるオープンソース コード ジェネレーターである StarCoder の最新バージョンで窮地を救います。これについて知っておくべきことはすべてここにあります。

StarCoder 2 とは

AI スタートアップの Hugging Face によって最初に開発された Starcoder 2 は、コードの大規模言語モデルのファミリーであり、次の 3 つのバリエーションがあります。

• Service Now によってトレーニングされた StarCoder2-3B モデル (30 億のパラメーターを含む)。
• Hugging Face によってトレーニングされた StarCoder2-7B モデル (70 億パラメータ付き)。
• Nvidia によってトレーニングされた StarCoder2-15B モデル (150 億のパラメーターを含む)。

3 つのモデルはすべて、最初の反復より 7 倍大きい新しいコード データセットである The Stack V2 でトレーニングされ、プログラミング言語とプログラム ソース コードに関するディスカッションを理解するための高度なテクニックが使用されています。

ただし、ほとんどの最新のコンシューマ GPU で実行できるのは、最初の 2 つのバリアントのみです。この理由の 1 つは、Starcoder2-15B が 600 以上のプログラミング言語 (Nvidia による) でトレーニングされたのに対し、両者とも 17 のプログラミング言語でトレーニングされたという事実である可能性があります。

それにもかかわらず、最小のモデル (Service Now によってトレーニングされた) であっても、以前のイテレーションの最高のものと同等、あるいはそれ以上の優れたものとなっています。

StarCoder 2 と他の AI コード ジェネレーターとの比較

ほとんどの AI コード ジェネレーターと同様に、StarCoder 2 はコード行を完成させるための提案を提供し、コードのビットを要約し、プロンプトが表示されたらそれらを表示します。報告によると、これは効率もはるかに高く、パフォーマンスの面でも他のコード ジェネレーターよりも優れています。

さらに、StarCoder 2は、ローカルにデプロイされ、開発者のソースコードを学習し、アプリやチャットボットの作成に使用できるようになるまでに、数時間もかからないと言われています。また、Software Heritage によってライセンス供与されたデータに基づいてトレーニングされたことが主な理由で、他の AI コード ジェネレーターよりもはるかに倫理的であると考えられています。

注意すべき重要な注意点の 1 つは、StarCoder 2 のライセンスである BigCode Open RAIL-M 1.0 は、コード ジェネレーターを自由に完全にオープンに使用することを許可しないため、開発者に独自の一連の課題をもたらす可能性があることです。 EU AI 法などの法律や規制の遵守を確保するために、特定の制限が実施されています。