Probé GPT4ALL durante una semana: así puedes aprovecharlo al máximo

¿Tienes curiosidad por GPT4All? Pasé una semana usando el software para ejecutar varios modelos de lenguaje grande (LLM) diferentes de manera local en mi computadora y esto es lo que aprendí.

¿Qué es GPT4ALL?

GPT4ALL es un ecosistema que permite a los usuarios ejecutar modelos de lenguaje de gran tamaño en sus equipos locales. Este ecosistema consta del software GPT4ALL, que es una aplicación de código abierto para Windows, Mac o Linux, y de los modelos de lenguaje de gran tamaño de GPT4ALL. Puede descargar estos modelos directamente desde el software GPT4ALL y, por lo general, tienen un tamaño de entre 3 GB y 8 GB.

Una de las principales ventajas de GPT4ALL es su capacidad para ejecutarse en hardware de consumo. Siempre que tengas una CPU decentemente potente con soporte para instrucciones AVX, deberías poder lograr un rendimiento utilizable. Y si también tienes una tarjeta gráfica moderna, puedes esperar resultados aún mejores.

Otra ventaja de GPT4ALL es la naturaleza orientada a la privacidad. Al ejecutar los modelos de lenguaje localmente en su propio equipo, sus conversaciones y datos pueden permanecer confidenciales y seguros. Esto contrasta con los servicios de inteligencia artificial basados ​​en la nube, como ChatGPT, donde sus interacciones se procesan en servidores remotos y pueden estar sujetas a la recopilación o monitoreo de datos.

Pero si le gusta el rendimiento de los servicios de IA basados ​​en la nube, puede usar GPT4ALL como interfaz local para interactuar con ellos: todo lo que necesita es una clave API.

Instalación y configuración de GPT4ALL

La instalación y configuración inicial de GPT4ALL es realmente sencilla, independientemente de si utiliza Windows, Mac o Linux.

Solo tienes que descargar el instalador de GPT4ALL para tu sistema operativo desde el sitio web de GPT4ALL y seguir las instrucciones. Ya sea que uses Windows, Mac o Linux, el proceso es sencillo y no debería llevarte más de unos minutos.

Una vez que inicie el software GPT4ALL por primera vez, le solicitará que descargue un modelo de lenguaje. Decidí utilizar el modelo más popular en ese momento: Llama 3 Instruct. Este modelo tiene un tamaño de poco más de 4 GB y requiere al menos 8 GB de RAM para funcionar sin problemas.

Descargar el modelo es tan fácil como instalar el software. Todo lo que tuve que hacer fue hacer clic en el botón de descarga que se encuentra junto al nombre del modelo y el software GPT4ALL se encargó del resto.

Una vez descargado el modelo, estaba listo para comenzar a usarlo.

Uso de GPT4ALL para el trabajo y la vida personal

Si alguna vez ha utilizado un modelo de lenguaje extenso de estilo chatbot, GPT4ALL le resultará familiar al instante. La única diferencia es que primero debe cargar uno de los modelos descargados, lo que puede llevar unos minutos.

Para iniciar un nuevo chat, simplemente haz clic en el botón verde grande “Nuevo chat” y escribe tu mensaje en el cuadro de texto provisto. Cuando envías un mensaje a GPT4ALL, el software comienza a generar una respuesta de inmediato. En mi MacBook Air con un procesador M1, pude lograr alrededor de 11 tokens por segundo usando el modelo Llama 3 Instruct, lo que se traduce en aproximadamente 90 segundos para generar 1000 palabras. Es una cifra bastante impresionante, especialmente considerando la antigüedad y el precio asequible de mi MacBook Air.

Pero la velocidad por sí sola no lo es todo. ¿Y el rendimiento?

En términos generales, el rendimiento de los modelos de lenguaje grandes (LLM) está bien documentado y se pueden ver cuáles son los modelos más potentes en sitios como LMSYS Chatbot Arena Leaderboard . Por ejemplo, el modelo que más utilicé durante mis pruebas, Llama 3 Instruct, actualmente ocupa el puesto 26 entre los mejores modelos, con una puntuación de 1153 puntos. El mejor modelo, GPT 4o, tiene una puntuación de 1287 puntos.

En la práctica, la diferencia puede ser más pronunciada de lo que parecen los 100 puntos de diferencia. Los modelos grandes basados ​​en la nube suelen ser mucho mejores para seguir instrucciones complejas y funcionan con un contexto mucho mayor. Por ejemplo, Gemini Advanced tiene una ventana de contexto de 32 000 tokens, mientras que Llama 3 Instruct tiene, de forma predeterminada, solo 2048 tokens en GPT4ALL, aunque puedes aumentarla manualmente si tienes una computadora potente.

Estos son los puntos negativos más importantes en comparación con los modelos basados ​​en la nube. Sin embargo, los puntos positivos más significativos son la privacidad y la disponibilidad. Con GPT4ALL, puede estar seguro de que sus conversaciones y datos permanecerán confidenciales y seguros en su máquina local. No tiene que preocuparse de que sus interacciones se procesen en servidores remotos o de que estén sujetas a una posible recopilación o supervisión de datos por parte de terceros.

Además, dado que estás ejecutando el modelo localmente, no te verás afectado por fallas de terceros. Por ejemplo, ChatGPT está inactivo con bastante frecuencia (puedes ver su estado actual aquí ), y un período de inactividad en un momento inoportuno puede interrumpir en gran medida tu flujo de trabajo y hacer que te arrepientas de tu suscripción. Esto es algo que no te puede pasar con GPT4ALL, especialmente si lo instalas en más de una máquina para compensar una falla de hardware inesperada.

Cómo aprovechar al máximo GPT4ALL

Hay tres cosas principales que debes hacer para aprovechar GPT4ALL al máximo:

• Utilice el mejor LLM disponible : los modelos evolucionan constantemente a un ritmo rápido, por lo que es importante mantenerse actualizado con los últimos desarrollos. Esté atento a las tablas de clasificación de LLM, como la mencionada LMSYS Chatbot Arena Leaderboard, y únase a comunidades como r/LocalLLM para mantenerse informado sobre los mejores modelos disponibles.
• Personalice el mensaje del sistema : el mensaje del sistema establece el contexto de las respuestas de la IA. En GPT4ALL, puede encontrarlo navegando a Configuración del modelo -> Mensaje del sistema . Personalice el mensaje del sistema para que se ajuste a sus necesidades, brindando instrucciones o pautas claras para que la IA las siga. Esto lo ayudará a obtener respuestas más precisas y relevantes.

• Haga las preguntas correctas : la ingeniería rápida es clave para obtener los mejores resultados de GPT4ALL. Sea específico y claro en sus preguntas, y proporcione suficiente contexto para que la IA genere respuestas útiles. Experimente con diferentes formatos y formulaciones de preguntas para encontrar lo que funcione mejor para su caso de uso.

Al seguir estas tres prácticas recomendadas, pude hacer de GPT4ALL una herramienta valiosa en mi caja de herramientas de escritura y una excelente alternativa a los modelos de IA basados ​​en la nube.

Vale la pena señalar que, además de generar texto, también es posible generar imágenes de IA localmente utilizando herramientas como Stable Diffusion.

Crédito de la imagen: DALL-E. Todas las capturas de pantalla son de David Morelo