どうやら、LLM の仕組みを理解するために必要なのはスプレッドシートだけのようです

ChatGPT、Gemini、またはオープンソースとしてリリースされた最新の Grok-1 のいずれであっても、私たちは現在 LLM を使用しています。しかし、答えを提供するためにそれらがどのように機能するか知っていますか?

ソフトウェア開発者であり、スプレッドシートに情熱を持っていることも認めている Ishan Anand 氏は、LLM の背後にあるメカニズムを誰もが理解できるように説明するために実験を実施しました。

彼は GPT-2 の小規模バージョンを Excel スプレッドシートに埋め込み、そのアルゴリズムが簡単な質問にどのように答えるかを追跡しました。

ChatGPT 2.0 は Excel でどのように動作しますか?

まず、GPT -2 は 2019 年にリリースされたため、会話ができなくなったことを理解する必要があります。最初の会話型 AI ボットは 2022 年に GPT-3 で登場しました。

メディアの見出しで大きく取り上げられていましたが、GPT-2 では 15 億個のパラメータしか使用できませんでしたが、GPT-3 ではその数が 1,750 億個のパラメータに拡張されました。

Open AI は、単に入力トークンが限られていたという理由だけで、これを会話型ボットとしてリリースしませんでした。 Excel の Ishan Anand の GPT-2 は 10 トークンの入力しか処理できませんが、これはあらゆるクエリとしてはごくわずかな量です。

しかし、彼の実験では、マイクが速い文を完成させるために LLM をテストしました。彼は動きます… 上のビデオを見ると、GPT-2 がスプレッドシートをどのように使用して、欠落している単語がすぐにあったという推論をどのように行ったかがわかります。

開発者の狙いは、Excel スプレッドシートを理解すれば、LLM の仕組みも理解できると信じ込ませることでした。

動画の説明は理解できましたか？以下のコメントセクションで議論しましょう。