Windows 11 PC에 LLaMA 3을 설치하는 단계별 가이드

Llama 3는 대규모 언어 모델에서 Meta의 가장 최근의 발전을 나타내며, 질문에 답하고, 학업 과제를 돕는 등 다양한 응용 프로그램에 이상적입니다. Windows 11 기기에 Llama 3를 설정하면 인터넷 연결 없이도 언제든지 액세스할 수 있습니다. 이 가이드에서는 Windows 11 컴퓨터에 Llama 3를 설정하는 방법을 보여줍니다 .

Windows 11 컴퓨터에 Llama 3 설치

Python을 사용하여 Windows 11 기기에 Llama 3를 설치하는 프로세스에는 일정 수준의 기술적 능숙도가 필요합니다. 그럼에도 불구하고 Llama 3의 로컬 배포를 단순화하는 대체 방법이 있습니다. 이러한 기술을 설명하겠습니다.

Llama 3를 설치하려면 명령 프롬프트에서 특정 명령을 실행해야 합니다. 이렇게 하면 명령줄 버전에만 액세스할 수 있습니다. 웹 인터페이스를 활용하려면 추가 단계가 필요합니다. 두 프로세스 모두 여기에서 다룹니다.

CMD를 통해 Windows 11에 Llama 3 설정

먼저, Llama 3를 배포하려면 Windows 컴퓨터에 Ollama를 설치해야 합니다. 다음 단계를 따르세요.

1. Ollama 공식 웹사이트 로 이동하세요 .
2. 다운로드 옵션을 선택한 다음 Windows를 선택하세요 .
3. Windows용 다운로드 를 클릭하여 실행 파일을 컴퓨터에 저장하세요.
4. 다운로드한 exe 파일을 실행하여 기기에 Ollama를 설치하세요.

Ollama가 성공적으로 설치되면 컴퓨터를 다시 시작합니다. 백그라운드에서 실행 중이어야 하며 시스템 트레이에서 볼 수 있어야 합니다. 그런 다음 Ollama 웹사이트의 모델 섹션을 방문하여 사용 가능한 모델을 확인합니다.

Llama 3.1 모델은 세 가지 구성으로 제공됩니다.

• 8비
• 70B
• 405B

405B 구성은 가장 까다롭고 하위 기계에서는 작동하지 않을 수 있습니다. Llama 3.2는 두 가지 옵션을 제공합니다.

• 1B
• 3B

설치를 위해 Llama 버전을 선택하세요. Llama 3.2를 선택하는 경우 클릭하세요. 이어지는 드롭다운 메뉴에서 원하는 구성을 선택하세요. 다음으로, 옆에 표시된 명령을 복사하여 명령 프롬프트에 붙여넣습니다.

Llama 3.2 모델에 대한 명령은 다음과 같습니다.

ollama run llama3.2:3b

Llama 3.2 1B 구성을 설치하려면 다음을 입력하세요.

ollama run llama3.2:1b

명령 프롬프트를 열고 필요에 따라 위의 명령 중 하나를 입력하고 Enter를 누릅니다 . 다운로드 프로세스는 인터넷 연결에 따라 약간 시간이 걸립니다. 완료되면 명령 프롬프트에 성공 메시지가 나타납니다.

그런 다음 입력을 입력하여 Llama 3.2 모델과 상호 작용할 수 있습니다. Llama 3.1 모델을 설치하려면 Ollama 웹사이트에서 제공되는 명령을 사용합니다.

다음에 명령 프롬프트를 열 때 동일한 명령을 사용하여 Llama 3.1 또는 3.2를 실행할 수 있습니다.

CMD를 통해 Llama 3를 설치하는 데 한 가지 제한 사항은 저장된 채팅 기록이 없다는 것입니다. 그러나 로컬 호스트를 통해 배포하면 채팅 기록을 저장할 수 있고, 향상된 사용자 인터페이스를 제공합니다. 다음 섹션에서는 이를 달성하는 방법을 설명합니다.

Windows 11에서 웹 UI로 Llama 3 배포

웹 브라우저를 통해 Llama 3를 활용하면 사용자 경험이 향상될 뿐만 아니라 CMD를 사용할 때 없는 기능인 채팅 기록도 보존됩니다. 웹 브라우저에서 Llama 3를 실행하는 방법은 다음과 같습니다.

웹 브라우저를 통해 Llama 3에 액세스하려면 Llama 3부터 Ollama까지와 Docker가 모두 시스템에 설정되어 있는지 확인하세요. Llama 3을 설치하지 않았다면 앞서 자세히 설명한 대로 Ollama 설치를 진행하세요. 그런 다음 Docker를 공식 웹사이트 에서 다운로드하여 설치하세요 .

Docker를 설치한 후 Docker를 열고 가입 절차를 완료하여 계정을 만드십시오. Docker가 없으면 Docker가 시작되지 않습니다. 로그인한 후 Docker를 시스템 트레이로 최소화합니다. Docker와 Ollama가 모두 백그라운드에서 활성화되어 웹 브라우저를 통해 Llama 3를 사용할 수 있는지 확인합니다.

명령 프롬프트를 열고 다음 명령을 복사하여 붙여넣으세요.

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

이 명령은 필요한 파일을 다운로드하는 데 시간이 걸리므로 인내심을 가지세요. 완료되면 Docker를 열고 왼쪽에 있는 컨테이너 섹션으로 이동합니다. 포트 3000:8080에 대해 자동으로 생성된 컨테이너가 표시되어야 합니다.

포트 3000:8080을 클릭하면 기본 웹 브라우저에서 새 탭이 열립니다. 웹 브라우저를 통해 Llama 3를 사용하려면 가입하고 로그인해야 할 수도 있습니다. 주소창을 확인하면 localhost:3000이 표시되어 Llama 3가 로컬에 호스팅되어 인터넷 접속 없이도 사용할 수 있음을 나타냅니다.

드롭다운 메뉴에서 선호하는 Llama 채팅 모델을 선택하세요. 추가 Llama 3 채팅 모델을 통합하려면 해당 명령을 사용하여 Ollama를 통해 설치하세요. 그러면 브라우저에서 사용할 수 있습니다.

채팅 기록은 왼쪽에 저장되고 검색할 수 있습니다. 완료되면 웹 브라우저에서 세션을 로그아웃한 다음 Docker를 열고 중지 버튼을 눌러 Docker를 종료한 다음 Docker를 닫습니다.

다음에 웹 브라우저에서 Llama 3에 액세스하려면 Ollama와 Docker를 모두 시작하고 몇 분 기다린 다음 Docker 컨테이너의 포트를 클릭하여 로컬 호스트 서버를 시작합니다. 로그인한 후 Llama 3를 사용할 수 있습니다.

이 정보가 도움이 되길 바랍니다.

Llama 3를 Windows에서 실행할 수 있나요?

머신에서 Llama 3를 실행할 수 있는 능력은 하드웨어 사양에 따라 달라집니다. 가장 가벼운 버전인 1B 모델은 명령 프롬프트를 통해 설치 및 작동할 수 있습니다.

Llama 3에는 얼마나 많은 RAM이 필요합니까?

Llama 3.2 1B 모델을 실행하려면 시스템에 최소 16GB RAM과 강력한 GPU가 장착되어 있어야 합니다. Llama 3의 상위 버전은 시스템에서 더 많은 리소스를 요구합니다.

원천