如何在 Raspberry Pi 上運行您自己的本機 LLM

2024/04/26

自 OpenAI 於 2022 年底發布令人興奮的 ChatGPT 3 以來，大型語言模型 (LLM) 透過展示從撰寫論文到回答複雜問題的卓越能力，吸引了全世界的想像。

然而，您不需要依賴 OpenAI、Google 或 Anthropic 等公司並共享潛在的個人資料來利用法學碩士的力量。只需一個經濟實惠的 Raspberry Pi，您就可以設定自己的本地人工智慧聊天助理。本指南向您展示如何操作。

你需要什麼

要在 Raspberry Pi 上設定您自己的 LLM，您需要一些基本元件：

Raspberry Pi：由於法學碩士是資源密集型的，因此最好使用最強大的 Raspberry Pi 以獲得最佳性能。在撰寫本文時，建議選擇具有 8 GB RAM 的 Raspberry Pi 5。
帶有 Raspberry Pi 作業系統的 microSD 卡：為了獲得最大效能，請考慮使用精簡版的 Raspberry Pi 作業系統，因為執行 LLM 不需要圖形使用者介面（您可以使用終端和 SSH 與其遠端互動）。但是，如果您將 Raspberry Pi 用於其他任務或作為主要計算機，則可以使用常規版本的 Raspberry Pi OS。
附加元件：除了 Raspberry Pi 和快速 microSD 卡之外，您還需要可靠的電源（建議使用官方電源）、鍵盤、滑鼠和顯示器以進行初始設定（如果您使用 SSH，則可選），以及用於下載必要軟體和模型的網路連線。

有了這些元件，您就可以開始在 Raspberry Pi 上設定自己的 LLM 了。

在 Raspberry Pi 上設定自己的 LLM 的第一步是安裝必要的軟體。目前，本地運行 LLM 的兩個最受歡迎的選擇是 llama.cpp 和 Ollama。

llama.cpp是 Meta 的 LLaMA（大型語言模型適配器）的輕量級 C++ 實現，可以在包括 Raspberry Pi 在內的各種硬體上運行。它由 Georgi Gerganov 開發，於 2023 年 3 月發布。
另一方面，Ollama是圍繞 llama.cpp 構建的，提供了一些用戶友好的功能。它會自動按照每個模型期望的格式處理模板化聊天請求，並根據客戶的請求按需載入和卸載模型。 Ollama 還管理下載和快取模型，包括量化模型，因此您可以按名稱要求它們。

在本指南中，我們將使用 Ollama，因為它易於使用且具有額外的功能。

若要在 Raspberry Pi 上安裝 Ollama，請在 Raspberry Pi 上開啟終端機視窗。如果您使用 SSH，請使用您首選的 SSH 用戶端連線到 Raspberry Pi。然後，在終端機中輸入以下命令：

此命令從 Ollama 官方網站下載並執行安裝腳本。該腳本將自動安裝所需的依賴項並在 Raspberry Pi 上設定 Ollama。

安裝 Ollama 後，就可以下載大型語言模型了。如果您使用的是具有 8 GB RAM 的 Raspberry Pi，則可以運行具有多達 70 億個參數（AI 用於確定其輸出的設定）的模型。

一些流行的選擇包括 Mistral (7B)、Gemma（7B 或 2B）、Llama 2 uncensored (7B) 或 Microsoft 的 Phi-3 (3.8B)。您可以在Ollama 庫頁面上查看所有支援的模型。

在本指南中，我們將使用Microsoft 的 Phi-3 模型。儘管 Phi-3 尺寸小、效率高，但它仍然是一款功能極其強大的車型。要安裝它，只需在終端機中執行以下命令：

此命令將下載並安裝 Phi-3 模型，並且還將自動啟動與模型的互動式聊天會話。

下載並安裝 Phi-3 模型後，您將在終端機中看到如下所示的提示：

這意味著法學碩士正在運行並等待您的輸入。若要開始與模型交互，請輸入訊息並按 Enter。

以下是一些製作有效提示的技巧：

若要結束 LLM 會話，請按Ctrl+d或輸入/bye指令。如果您想稍後啟動另一個會話，只需打開一個新終端並運行命令即可ollama run phi3。由於模型已經下載，因此會快速啟動，無需再次下載。

請記住，Raspberry Pi 5 的性能有其局限性，它每秒只能輸出幾個代幣。為了獲得更好的效能，請考慮在具有專用顯示卡的功能更強大的電腦上執行 Ollama。

圖片來源：Unsplash。大衛莫雷洛的截圖。