Mon petit assistant IA virtuel rien que pour moi tout seul

On parle presque toujours des grands modèles d’IA tel les LLM[1], comme ChatGPT de OpenAI, qui nécessitent de se connecter à des serveurs très puissant sur internet - et parfois un abonnement plus ou moins cher suivant les services demandés - mais c’est oublier qu’il existe aussi des modèles plus accessibles pouvant tourner sur un simple PC. Je viens d’installer un SLM[2] sur mon mien qui ne dispose que d’une carte graphique de base - il en existe aussi qui réclament de bonnes grosses cartes graphiques pour leurs calculs - et à vrai dire, une fois le bon modèle choisit, c’est plutôt amusant …

Notes

[1] Large Language Model

[2] Small Language Model

Dans le domaine des SLM, il existe plusieurs modèles gratuits en fonction de la puissance de son PC.

Du côté de Google :

  • Gemma4:e4b pour les petites machines
  • Gemma4:e12b pour des configurations moyennes
  • Gemma4:e26b pour de très grosse configurations

Chez d’autres éditeurs :

  • DeepSeek Qwen 3 8b pour des grosses configurations
  • GPT OSS 20b pour des grosses configurations
  • LLaMA 3.3 pour les petites machines
  • Phi-4 Reasoning pour des configurations moyennes

et bien d’autres encore.

De mon côté, je teste Gemma4:e4b sur un PC avec une carte graphique basique et ça tourne plutôt bien même si les réponses ne sont pas instantanées. L’avantage de ces SLM est de pouvoir fonctionner sans connexion internet une fois installés. L’inconvénient sera une moindre capacité d’analyse ou le fait qu’ils n’interrogent pas des serveurs sur internet pour faire des recherches un peu poussées comme on le ferait avec un modèle sur internet.

Un autre avantage - mais ça dépend aussi des modèles de langages utilisés - est qu’il affiche son raisonnement étape par étape y compris pour les modifications apportées aux réponses données suivant la personnalité qu’on lui demande d’endosser. Mais ça, j’en cause dans un prochain billet (-;

Ajouter un commentaire

Les commentaires peuvent être formatés en utilisant une syntaxe wiki simplifiée.

Fil des commentaires de ce billet