我嘗試了 GPT4ALL 一週：以下是如何充分利用它

對 GPT4All 感到好奇嗎？我花了一周的時間使用該軟體在我的電腦上本地運行幾種不同的大型語言模型 (LLM)，以下是我學到的東西。

什麼是 GPT4ALL？

GPT4ALL是一個允許使用者在本機電腦上運行大型語言模型的生態系統。該生態系統由 GPT4ALL 軟體（適用於 Windows、Mac 或 Linux 的開源應用程式）和 GPT4ALL 大語言模型組成。您可以直接從 GPT4ALL 軟體下載這些模型，它們的大小通常為 3 GB 到 8 GB。

GPT4ALL 的主要優勢之一是它能夠在消費級硬體上運作。只要您有一個強大且支援 AVX 指令的 CPU，您就應該能夠實現可用的效能。如果您還擁有現代顯示卡，那麼可以期待更好的結果。

GPT4ALL 的另一個優點是隱私導向的本質。透過在您自己的電腦上本地運行語言模型，您的對話和資料可以保持機密和安全。這與基於雲端的人工智慧服務形成鮮明對比，例如 ChatGPT，在後者中，您的互動是在遠端伺服器上處理的，並且可能會受到資料收集或監控。

但如果您確實喜歡基於雲端的 AI 服務的效能，那麼您可以使用 GPT4ALL 作為與它們互動的本機介面 – 您所需要的只是一個 API 金鑰。

安裝和設定 GPT4ALL

無論您使用的是 Windows、Mac 還是 Linux，GPT4ALL 的安裝和初始設定都非常簡單。

您只需從 GPT4ALL 網站下載適合您作業系統的 GPT4ALL 安裝程式並依照指示操作即可。無論您使用的是 Windows、Mac 還是 Linux，過程都很簡單，並且不會超過幾分鐘。

首次啟動 GPT4ALL 軟體後，它會提示您下載語言模型。我決定選擇當時最受歡迎的型號 – Llama 3 Instruct。此型號的大小略高於 4 GB，需要至少 8 GB RAM 才能流暢運作。

下載模型與安裝軟體一樣簡單。我所要做的就是點擊模型名稱旁邊​​的下載按鈕，GPT4ALL 軟體會處理剩下的事情。

下載模型後，我就準備好開始使用它。

將 GPT4ALL 用於工作和個人生活

如果您曾經使用過任何聊天機器人風格的大型語言模型，那麼 GPT4ALL 將會立即熟悉。唯一的區別是，您首先必須加載下載的模型之一，這可能需要一些時間。

要開始新的聊天，只需點擊綠色的「新聊天」大按鈕，然後在提供的文字方塊中輸入您的訊息。當您向 GPT4ALL 發送訊息時，軟體立即開始產生回應。在配備 M1 處理器的 MacBook Air 上，我使用 Llama 3 Instruct 模型能夠實現每秒約 11 個令牌，這意味著大約 90 秒即可產生 1000 個單字。這是一個相當令人印象深刻的數字，特別是考慮到我的 MacBook Air 的使用年限和價格承受能力。

但速度本身並不能說明一切。性能怎麼樣？

一般來說，大型語言模型 (LLM) 的效能都有詳細記錄，您可以在LMSYS Chatbot Arena Leaderboard等網站上查看最強大的模型。例如，我在測試過程中使用最多的模型 Llama 3 Instruct 目前排名第 26 位，得分為 1153 分。最好的模型 GPT 4o，得分為 1287 分。

實際上，這種差異可能比看起來的 100 點左右的差異更為明顯。基於雲端的大型模型通常更擅長遵循複雜的指令，並且它們在更大的上下文中運作。例如，Gemini Advanced 的上下文視窗有 32k 個令牌，而 Llama 3 Instruct 預設情況下在 GPT4ALL 中只有 2048 個令牌——儘管如果您擁有功能強大的計算機，您可以手動增加它。

與基於雲端的模型相比，這些是最大的缺點。然而，最重要的優點是隱私性和可用性。借助 GPT4ALL，您可以放心，您的對話和資料在本機上保持機密和安全。您不必擔心您的互動在遠端伺服器上處理或受到第三方潛在資料收集或監控。

此外，由於您在本地運行模型，因此不會受到任何第三方短缺的影響。例如，ChatGPT 經常宕機（您可以在此處查看其當前狀態），一次不合時宜的宕機可能會極大地擾亂您的工作流程，讓您對訂閱感到後悔。使用 GPT4ALL 就不會發生這種情況，特別是當您將其安裝在多台電腦上以應對意外的硬體故障時。

充分利用GPT4ALL

為了充分利用 GPT4ALL，您應該做三件事：

• 使用最好的法學碩士：模型不斷快速發展，因此了解最新發展非常重要。關注 LLM 排行榜，例如前面提到的 LMSYS Chatbot Arena 排行榜，並加入r/LocalLLM等社區，隨時了解可用的最佳模型。
• 自訂系統提示：系統提示設定 AI 回應的上下文。在 GPT4ALL 中，您可以透過導航至「模型設定」->「系統提示」找到它。自訂系統提示以滿足您的需求，為人工智慧提供清晰的說明或指導方針。這將幫助您獲得更準確和相關的答案。

• 提出正確的問題：及時的工程設計是從 GPT4ALL 獲得最佳結果的關鍵。您的問題要具體、清晰，並為人工智慧提供足夠的背景資訊以產生有用的回應。嘗試不同的問題格式和措辭，找到最適合您的用例的方法。

透過遵循這三個最佳實踐，我能夠讓 GPT4ALL 成為我的寫作工具箱中的一個有價值的工具，以及基於雲端的 AI 模型的絕佳替代品。

值得注意的是，除了生成文字之外，還可以使用穩定擴散等工具在本地生成 AI 影像。

圖片來源：DALL-E。所有螢幕截圖均由 David Morelo 提供