J’ai essayé GPT4ALL pendant une semaine : voici comment vous pouvez en tirer pleinement parti

Vous êtes curieux à propos de GPT4All ? J’ai passé une semaine à utiliser le logiciel pour exécuter plusieurs modèles de langage de grande taille (LLM) différents localement sur mon ordinateur, et voici ce que j’ai appris.

Qu’est-ce que GPT4ALL ?

GPT4ALL est un écosystème qui permet aux utilisateurs d’exécuter de grands modèles linguistiques sur leurs ordinateurs locaux. Cet écosystème se compose du logiciel GPT4ALL, une application open source pour Windows, Mac ou Linux, et des grands modèles linguistiques GPT4ALL. Vous pouvez télécharger ces modèles directement à partir du logiciel GPT4ALL, et ils font généralement entre 3 et 8 Go.

L’un des principaux avantages de GPT4ALL est sa capacité à fonctionner sur du matériel grand public. Tant que vous disposez d’un processeur suffisamment puissant avec prise en charge des instructions AVX, vous devriez pouvoir obtenir des performances exploitables. Et si vous disposez également d’une carte graphique moderne, vous pouvez vous attendre à des résultats encore meilleurs.

Un autre avantage de GPT4ALL est la nature axée sur la confidentialité. En exécutant les modèles linguistiques localement sur votre propre ordinateur, vos conversations et vos données peuvent rester confidentielles et sécurisées. Cela contraste avec les services d’IA basés sur le cloud, tels que ChatGPT, où vos interactions sont traitées sur des serveurs distants et peuvent faire l’objet d’une collecte ou d’une surveillance de données.

Mais si vous appréciez les performances des services d’IA basés sur le cloud, vous pouvez utiliser GPT4ALL comme interface locale pour interagir avec eux – tout ce dont vous avez besoin est une clé API.

Installation et configuration de GPT4ALL

L’installation et la configuration initiale de GPT4ALL sont vraiment simples, que vous utilisiez Windows, Mac ou Linux.

Il vous suffit de télécharger le programme d’installation de GPT4ALL pour votre système d’exploitation à partir du site Web de GPT4ALL et de suivre les instructions. Que vous soyez sous Windows, Mac ou Linux, le processus est simple et ne devrait pas prendre plus de quelques minutes.

Une fois que vous avez lancé le logiciel GPT4ALL pour la première fois, il vous invite à télécharger un modèle de langue. J’ai décidé d’utiliser le modèle le plus populaire à l’époque : Llama 3 Instruct. Ce modèle fait un peu plus de 4 Go et nécessite au moins 8 Go de RAM pour fonctionner correctement.

Le téléchargement du modèle est aussi simple que l’installation du logiciel. Il m’a suffi de cliquer sur le bouton de téléchargement à côté du nom du modèle et le logiciel GPT4ALL s’est occupé du reste.

Une fois le modèle téléchargé, j’étais prêt à commencer à l’utiliser.

Utilisation de GPT4ALL pour le travail et la vie personnelle

Si vous avez déjà utilisé un modèle de langage volumineux de type chatbot, GPT4ALL vous sera immédiatement familier. La seule différence est que vous devez d’abord charger l’un de vos modèles téléchargés, ce qui peut prendre quelques instants.

Pour démarrer une nouvelle discussion, cliquez simplement sur le gros bouton vert « Nouvelle discussion » et saisissez votre message dans la zone de texte prévue à cet effet. Lorsque vous envoyez un message à GPT4ALL, le logiciel commence immédiatement à générer une réponse. Sur mon MacBook Air équipé d’un processeur M1, j’ai pu atteindre environ 11 jetons par seconde en utilisant le modèle Llama 3 Instruct, ce qui se traduit par environ 90 secondes pour générer 1 000 mots. C’est un chiffre assez impressionnant, surtout compte tenu de l’âge et du prix abordable de mon MacBook Air.

Mais la vitesse n’est pas tout. Qu’en est-il des performances ?

D’une manière générale, les performances des grands modèles de langage (LLM) sont bien documentées et vous pouvez voir quels sont les modèles les plus puissants sur des sites comme le LMSYS Chatbot Arena Leaderboard . Par exemple, le modèle que j’ai le plus utilisé lors de mes tests, Llama 3 Instruct, se classe actuellement au 26e rang des meilleurs modèles, avec un score de 1153 points. Le meilleur modèle, GPT 4o, a un score de 1287 points.

En pratique, la différence peut être plus prononcée que ne le laissent penser les quelques 100 points de différence. Les grands modèles basés sur le cloud sont généralement bien plus efficaces pour suivre des instructions complexes et ils fonctionnent avec un contexte bien plus large. Par exemple, Gemini Advanced a une fenêtre de contexte de 32 000 jetons, tandis que Llama 3 Instruct n’a, par défaut, que 2 048 jetons dans GPT4ALL – bien que vous puissiez l’augmenter manuellement si vous disposez d’un ordinateur puissant.

Ce sont les principaux inconvénients par rapport aux modèles basés sur le cloud. Cependant, les avantages les plus significatifs sont la confidentialité et la disponibilité. Avec GPT4ALL, vous pouvez être assuré que vos conversations et vos données restent confidentielles et sécurisées sur votre machine locale. Vous n’avez pas à vous soucier du traitement de vos interactions sur des serveurs distants ou de la collecte ou de la surveillance potentielle de données par des tiers.

De plus, comme vous exécutez le modèle localement, vous n’êtes pas affecté par les pannes de tiers. Par exemple, ChatGPT est souvent en panne (vous pouvez voir son état actuel ici ), et une période d’arrêt mal programmée peut considérablement perturber votre flux de travail et vous faire regretter votre abonnement. C’est quelque chose qui ne peut pas vous arriver avec GPT4ALL, surtout si vous l’installez sur plusieurs machines pour tenir compte des pannes matérielles inattendues.

Exploiter pleinement GPT4ALL

Il y a trois choses principales que vous devez faire pour tirer le meilleur parti de GPT4ALL :

• Utilisez le meilleur LLM disponible : les modèles évoluent constamment à un rythme rapide, il est donc important de rester au courant des derniers développements. Gardez un œil sur les classements LLM, tels que le LMSYS Chatbot Arena Leaderboard mentionné ci-dessus, et rejoignez des communautés comme r/LocalLLM pour rester informé des meilleurs modèles disponibles.
• Personnaliser l’invite système : L’invite système définit le contexte des réponses de l’IA. Dans GPT4ALL, vous pouvez la trouver en accédant à Paramètres du modèle -> Invite système . Personnalisez l’invite système en fonction de vos besoins, en fournissant des instructions ou des directives claires à suivre par l’IA. Cela vous aidera à obtenir des réponses plus précises et plus pertinentes.

• Posez les bonnes questions : une ingénierie rapide est essentielle pour obtenir les meilleurs résultats de GPT4ALL. Soyez précis et clair dans vos questions, et fournissez suffisamment de contexte pour que l’IA génère des réponses utiles. Expérimentez différents formats de questions et formulations pour trouver ce qui fonctionne le mieux pour votre cas d’utilisation.

En suivant ces trois bonnes pratiques, j’ai pu faire de GPT4ALL un outil précieux dans ma boîte à outils d’écriture et une excellente alternative aux modèles d’IA basés sur le cloud.

Il convient de noter qu’en plus de générer du texte, il est également possible de générer des images IA localement à l’aide d’outils tels que Stable Diffusion.

Crédit photo : DALL-E. Toutes les captures d’écran sont de David Morelo