Cómo ejecutar Llama 3 mediante Meta AI localmente

Qué saber

• El modelo de lenguaje grande de Meta, Llama 3, está disponible para que lo descargues y lo ejecutes localmente en tu sistema.
• Descargue Meta Llama 3 de Llama.meta.com y utilice un marco LLM como LM Studio para cargar el modelo.
• También puedes buscar y descargar Meta Llama 3 desde LM Studio. Consulte la guía a continuación para obtener instrucciones detalladas sobre el mismo.

El último modelo de lenguaje de Meta, Llama 3, ya está aquí y está disponible de forma gratuita. Aunque puedes usar Meta AI, que ejecuta el mismo LLM, también existe la opción de descargar el modelo y ejecutarlo localmente en tu sistema.

Cómo ejecutar Llama 3 de Meta AI localmente

Aunque Meta AI solo está disponible en países seleccionados, puedes descargar y ejecutar Llama 3 localmente en tu PC independientemente de tu región. Siga los pasos a continuación para ejecutar Llama 3 de Meta AI localmente.

Paso 1: Instale LM Studio

En primer lugar, instalemos un marco para ejecutar Llama 3. Si ya tiene otra aplicación de este tipo en su sistema, puede pasar al siguiente paso. Para todos los demás, aquí se explica cómo obtener LM Studio:

• Estudio LM | Enlace de descarga

1. Utilice el enlace de arriba y haga clic en LM Studio para Windows para descargarlo.
   
2. Una vez descargado, ejecute el instalador y deje que LM Studio se instale.
   

Paso 2: Descarga Meta’s Llama 3 localmente

Una vez que tenga su marco LLM, es hora de descargar Meta’s Llama 3 a su PC. Hay un par de maneras de hacerlo.

1. Abre Llama.Meta.com y haz clic en Descargar modelos .
   
2. Ingrese sus datos y solicite descargar el LLM.
   

Si lo anterior no funciona, no te preocupes. También puede utilizar su marco LLM para descargar el LLM.

1. Simplemente busque Meta Llama en el campo de búsqueda de LM Studio.
   
2. Aquí encontrará varios LLM cuantificados. Seleccione uno.
   
3. A la derecha, seleccione su versión preferida. Haga clic en Descargar al lado.
   
4. Espere a que finalice la descarga.
5. Una vez hecho esto, haga clic en Mis modelos a la izquierda.
   
6. Y compruebe si la descarga está completa.
   

Paso 3: carga el modelo descargado

1. Una vez que se complete la descarga, haga clic en AI chat a la izquierda.
   
2. Haga clic en Seleccionar un modelo para cargar .
   
3. Y elige el Meta Llama 3 descargado.
   
4. Espere a que se cargue el modelo.
   
5. Una vez cargado, puedes descargar todo el modelo a la GPU. Para hacerlo, haga clic en Configuración avanzada en ‘Configuración’.
   
6. Haga clic en Max para descargar todo el modelo a la GPU.
   
7. Haga clic en Recargar modelo para aplicar la configuración .
   

Paso 4: ejecuta Llama 3 (y pruébalo con indicaciones)

Una vez que se carga el modelo, puedes comenzar a chatear con Llama 3 localmente. Y no, dado que el LLM se almacena localmente en su computadora, no necesita conexión a Internet para hacerlo. Así que pongamos a prueba Llama 3 y veamos de qué es capaz.

Probando la resistencia a la censura

Probar la comprensión de temas complejos.

Pruebas de alucinaciones

Pruebas de creatividad y comprensión.

Según la mayoría de las cuentas, Llama 3 es un modelo de lenguaje grande bastante sólido. Aparte de las indicaciones de prueba mencionadas anteriormente, funcionó con gran éxito incluso en algunos temas e indicaciones más complejos.

Esperamos que pueda ejecutar Meta’s Llama 3 en su PC con Windows 11 localmente como lo hicimos nosotros. ¡Hasta la proxima vez!