↓ Aller au contenu

Système d'Agents IA #1 : Exécuter un SLM sur CPU — Podman, Ollama et llama.cpp sans GPU

·274 mots·2 mins
Pierre Dupont
Auteur
Pierre Dupont
Lead Data Engineer Freelance & AI Builder | Modern Data Stack, Microsoft Fabric & Agents IA (LangChain, Pydantic AI)
Système d'Agents IA d'Entreprise - Cet article fait partie d'une série.
Partie 1: Cet article

Envoyer vos données métier vers une API SaaS pour un simple classement de tickets ? Pas obligé. Ce premier tuto pose les bases concrètes : un environnement WSL2 + Podman reproductible, et votre premier SLM (Small Language Model) qui tourne entièrement en local sur un mini PC Intel N100 (800 MHz, 16 Go RAM, zéro GPU).

Système d’Agents IA #1

Ce que fait ce tuto (en 15 min)
#

  • Construit une image Ollama avec trois modèles préchargés (Qwen2.5-3B, Llama-3.2-3B, Phi-3.5 en Q4_K_M) — plus de pull au runtime.
  • Lance le conteneur avec persistance via volume nommé, API REST sur localhost:11434.
  • Démontre l’inférence 100 % hors réseau : conteneur --network none, modèle répond, zéro connexion sortante possible.
  • Compare les performances des trois modèles sur CPU pur (latence, qualité, RAM).
  • Couvre CLI interactive, API REST (/api/chat, /api/generate, streaming), Modelfile pour personnaliser.

Pourquoi ça change la donne
#

Besoin classiqueApproche SaaSCe tuto (local CPU)
Confidentialité donnéesContrat + confianceDonnées ne quittent jamais la machine
Coût à l’usage$/M tokensZéro coût marginal
LatenceRéseau + quota50–200 ms/token sur N100
ReproductibilitéVersion imposéeImage versionnée, modèle figé
Modèles disponiblesCatalogue vendorN’importe quel GGUF quantifié

Pour qui ?
#

Développeurs, data engineers, architectes qui veulent valider un cas d’usage SLM avant d’industrialiser — sans ouvrir de compte cloud, sans GPU, sans surprise de facture. La machine de référence : Intel N100 / 16 Go RAM / WSL2 Ubuntu / Podman.

Accès au code complet
#

👉 Tutoriel pas à pas (GitHub) : 01-execution-locale-slm-cpu/docs/tutoriel.md

Prochain épisode : on sort d’Ollama pour appeler llama.cpp directement depuis Python via llama-cpp-python, avec une image de base partagée pour tous les tutos suivants.

Système d'Agents IA d'Entreprise - Cet article fait partie d'une série.
Partie 1: Cet article