如何在 Raspberry Pi 上運行您自己的本機 LLM
自 OpenAI 於 2022 年底發布令人興奮的 ChatGPT 3 以來,大型語言模型 (LLM) 透過展示從撰寫論文到回答複雜問題的卓越能力,吸引了全世界的想像。
然而,您不需要依賴 OpenAI、Google 或 Anthropic 等公司並共享潛在的個人資料來利用法學碩士的力量。只需一個經濟實惠的 Raspberry Pi,您就可以設定自己的本地人工智慧聊天助理。本指南向您展示如何操作。
你需要什麼
要在 Raspberry Pi 上設定您自己的 LLM,您需要一些基本元件:
- Raspberry Pi:由於法學碩士是資源密集型的,因此最好使用最強大的 Raspberry Pi 以獲得最佳性能。在撰寫本文時,建議選擇具有 8 GB RAM 的 Raspberry Pi 5。
- 帶有 Raspberry Pi 作業系統的 microSD 卡:為了獲得最大效能,請考慮使用精簡版的 Raspberry Pi 作業系統,因為執行 LLM 不需要圖形使用者介面(您可以使用終端和 SSH 與其遠端互動)。但是,如果您將 Raspberry Pi 用於其他任務或作為主要計算機,則可以使用常規版本的 Raspberry Pi OS。
- 附加元件:除了 Raspberry Pi 和快速 microSD 卡之外,您還需要可靠的電源(建議使用官方電源)、鍵盤、滑鼠和顯示器以進行初始設定(如果您使用 SSH,則可選),以及用於下載必要軟體和模型的網路連線。
有了這些元件,您就可以開始在 Raspberry Pi 上設定自己的 LLM 了。
安裝奧拉瑪
在 Raspberry Pi 上設定自己的 LLM 的第一步是安裝必要的軟體。目前,本地運行 LLM 的兩個最受歡迎的選擇是 llama.cpp 和 Ollama。
- llama.cpp是 Meta 的 LLaMA(大型語言模型適配器)的輕量級 C++ 實現,可以在包括 Raspberry Pi 在內的各種硬體上運行。它由 Georgi Gerganov 開發,於 2023 年 3 月發布。
- 另一方面,Ollama是圍繞 llama.cpp 構建的,提供了一些用戶友好的功能。它會自動按照每個模型期望的格式處理模板化聊天請求,並根據客戶的請求按需載入和卸載模型。 Ollama 還管理下載和快取模型,包括量化模型,因此您可以按名稱要求它們。
在本指南中,我們將使用 Ollama,因為它易於使用且具有額外的功能。
若要在 Raspberry Pi 上安裝 Ollama,請在 Raspberry Pi 上開啟終端機視窗。如果您使用 SSH,請使用您首選的 SSH 用戶端連線到 Raspberry Pi。然後,在終端機中輸入以下命令:
此命令從 Ollama 官方網站下載並執行安裝腳本。該腳本將自動安裝所需的依賴項並在 Raspberry Pi 上設定 Ollama。
下載並運行 LLM
安裝 Ollama 後,就可以下載大型語言模型了。如果您使用的是具有 8 GB RAM 的 Raspberry Pi,則可以運行具有多達 70 億個參數(AI 用於確定其輸出的設定)的模型。
一些流行的選擇包括 Mistral (7B)、Gemma(7B 或 2B)、Llama 2 uncensored (7B) 或 Microsoft 的 Phi-3 (3.8B)。您可以在Ollama 庫頁面上查看所有支援的模型。
在本指南中,我們將使用Microsoft 的 Phi-3 模型。儘管 Phi-3 尺寸小、效率高,但它仍然是一款功能極其強大的車型。要安裝它,只需在終端機中執行以下命令:
此命令將下載並安裝 Phi-3 模型,並且還將自動啟動與模型的互動式聊天會話。
在 Raspberry Pi 上使用本地法學碩士
下載並安裝 Phi-3 模型後,您將在終端機中看到如下所示的提示:
這意味著法學碩士正在運行並等待您的輸入。若要開始與模型交互,請輸入訊息並按 Enter。
以下是一些製作有效提示的技巧:
- 具體:提供清晰詳細的說明或問題,以幫助法學碩士了解您正在尋找的內容。
- 設定背景:為法學碩士提供一些背景資訊或場景,以幫助其產生更相關的回應。
- 定義角色:指定法學碩士在其回答中應承擔的角色,例如說故事的人、教師或技術專家。
若要結束 LLM 會話,請按Ctrl+d或輸入/bye
指令。如果您想稍後啟動另一個會話,只需打開一個新終端並運行命令即可ollama run phi3
。由於模型已經下載,因此會快速啟動,無需再次下載。
請記住,Raspberry Pi 5 的性能有其局限性,它每秒只能輸出幾個代幣。為了獲得更好的效能,請考慮在具有專用顯示卡的功能更強大的電腦上執行 Ollama。
圖片來源:Unsplash。大衛莫雷洛的截圖。
發佈留言