Industrialiser un LLMaaS souverain : scalabilité, sécurité… et une IA qui aide à se créer elle-même
REXIA en production
10/12/2025 | 09h00 - 09h00 | Auditorium Niv-2
Informations
Peut-on créer un service d’IA générative souverain… avec l’aide de l’IA elle-même ? C’est le défi que nous avons relevé en industrialisant un LLMaaS souverain, hébergé sur une IaaS SecNumCloud, destiné à des clients sensibles (secteurs régaliens, santé, etc.). Ce retour d’expérience présente les défis rencontrés pour mettre en production un produit LLM fiable, scalable, mesurable, sécurisé — et partiellement construit grâce à l’IA. Les défis concrets que nous avons relevés : • Support de GPU hétérogènes (A100, L40S, H200, Apple M4…) avec scheduling dynamique selon les workloads • Facturation au token, avec un système distribué de comptage intégré aux loadbalancers • Mesures de performance détaillées (latence, tokens/s, efficacité par modèle) • Répartition intelligente de la charge, avec 4 routeurs actifs + supervision complète • Intégration dans un environnement SecNumCloud, avec IAM, audit, isolation stricte, et stockage souverain La particularité du projet ? L’IA a contribué à sa propre création ! Nous avons utilisé des LLMs pour : • Générer des morceaux d’infra-as-code (manifeste Kubernetes, proxies adaptatifs) • Produire des dashboards et des scripts de supervision • Aider à diagnostiquer les erreurs en production • Automatiser certaines décisions de routage ou d’allocation de ressources Ce projet nous a forcés à croiser IA, sécurité, observabilité, gouvernance, et culture DevSecOps dans un contexte de production réel. Nous partagerons les succès, les limites, les outils, et surtout les leçons transférables à d’autres projets IA en entreprise.
