Envoyer vos données métier vers une API SaaS pour un simple classement de tickets ? Pas obligé. Ce premier tuto pose les bases concrètes : un environnement WSL2 + Podman reproductible, et votre premier SLM (Small Language Model) qui tourne entièrement en local sur un mini PC Intel N100 (800 MHz, 16 Go RAM, zéro GPU).

Ce que fait ce tuto (en 15 min)#
- Construit une image Ollama avec trois modèles préchargés (Qwen2.5-3B, Llama-3.2-3B, Phi-3.5 en Q4_K_M) — plus de
pullau runtime. - Lance le conteneur avec persistance via volume nommé, API REST sur
localhost:11434. - Démontre l’inférence 100 % hors réseau : conteneur
--network none, modèle répond, zéro connexion sortante possible. - Compare les performances des trois modèles sur CPU pur (latence, qualité, RAM).
- Couvre CLI interactive, API REST (
/api/chat,/api/generate, streaming), Modelfile pour personnaliser.
Pourquoi ça change la donne#
| Besoin classique | Approche SaaS | Ce tuto (local CPU) |
|---|---|---|
| Confidentialité données | Contrat + confiance | Données ne quittent jamais la machine |
| Coût à l’usage | $/M tokens | Zéro coût marginal |
| Latence | Réseau + quota | 50–200 ms/token sur N100 |
| Reproductibilité | Version imposée | Image versionnée, modèle figé |
| Modèles disponibles | Catalogue vendor | N’importe quel GGUF quantifié |
Pour qui ?#
Développeurs, data engineers, architectes qui veulent valider un cas d’usage SLM avant d’industrialiser — sans ouvrir de compte cloud, sans GPU, sans surprise de facture. La machine de référence : Intel N100 / 16 Go RAM / WSL2 Ubuntu / Podman.
Accès au code complet#
👉 Tutoriel pas à pas (GitHub) : 01-execution-locale-slm-cpu/docs/tutoriel.md
Prochain épisode : on sort d’Ollama pour appeler
llama.cppdirectement depuis Python viallama-cpp-python, avec une image de base partagée pour tous les tutos suivants.
