Il n’existe pas de stratégie d’hébergement unique pour les services GenAI. Que vous exécutiez ces applications de rupture dans le cloud ou sur site, chaque approche comporte ses avantages et ses inconvénients. Mais le facteur déterminant reste le cas d’usage. C’est de là que doit partir votre stratégie d’hébergement.
Le choix d’héberger votre service GenAI en périphérie (edge) ou dans le cloud est souvent dicté par les circonstances. C’est une équation : vous entrez les variables, la solution s’impose. Votre marge de manœuvre réside dans la manière de l’optimiser.
Les variables en question sont :
- Le volume de données à traiter et les capacités de calcul requises : plus les volumes sont élevés, plus le recours au cloud est probable.
- Les capacités de votre infrastructure : quoi que vous envisagiez, vous aurez besoin d’un réseau haut débit et à forte capacité pour acheminer les données vers le cloud. Si cette connectivité n’est pas disponible, le traitement en périphérie devient la seule option viable.
- Le besoin de données en temps réel : même avec un bon réseau, collecter des données, les envoyer dans le cloud et en recevoir les résultats génère une latence. Si votre cas d’usage nécessite des résultats instantanés, le traitement devra se faire en périphérie.
- La résilience et la sécurité : dans ce cas, l’hébergement en périphérie garantit la disponibilité du service même sans connectivité externe, tout en évitant la transmission de données sensibles vers l’extérieur.
Dans les environnements technologiques où l’IA générative est déployée, deux grands domaines coexistent : la technologie de l’information (IT) et la technologie opérationnelle (OT). En règle générale, le monde de l’IT est plus adapté aux déploiements GenAI basés sur le cloud, tandis que l’OT convient mieux aux solutions en périphérie. Mais là encore, ce sont les cas d’usage qui doivent guider la décision.
Prenons l’exemple du secteur automobile qui illustre bien comment différents cas d’usage influencent les stratégies d’hébergement. Google Waze est une application de navigation communautaire qui utilise des données en temps réel fournies par les utilisateurs pour proposer l’itinéraire le plus rapide en tenant compte des embouteillages, des accidents, des dangers sur la route et d'autres obstacles signalés par les conducteurs. Quelques secondes de latence ne nuisent pas à l’expérience : les données sont donc traitées dans le cloud, par un grand cerveau (grand modèle de langage, LLM) centralisé qui sert des millions d'utilisateurs. À l’inverse, une voiture autonome, dotée de dizaines de caméras, doit réagir en quelques millisecondes : le traitement des données se fait en local, via un « petit cerveau » (petit modèle de langage, SLM) dédié à un véhicule individuel.
Autre exemple d’usage en périphérie : Orange Business développe un cas d’usage IA lié à la sécurité dans le secteur minier. Les décisions doivent être prises en une fraction de seconde, dans un environnement souterrain où l’installation d’une infrastructure IT est difficile. Le choix de la périphérie s’est imposé. Les cas d’usage industriels dans des environnements connectés de manière irrégulière constituent également un bon terrain pour l’IA générative en périphérie, notamment lorsqu’ils sont liés à la sécurité.
À l’inverse, pour un usage de type Copilot dans un bureau bien connecté, sans besoin de réponse instantanée, le cloud reste parfaitement adapté.
Le « grand cerveau » au centre de l’architecture
Les modèles cloud offrent de nombreux avantages pour les services GenAI.
D’abord, ils fonctionnent généralement selon un modèle à la demande, avec des coûts initiaux réduits et une allocation flexible des ressources. Le cas échéant, vous constaterez que les tarifs agressifs des hyperscalers rendent l’hébergement de votre service GenAI chez eux particulièrement attractif. Il existe également des stratégies pour optimiser encore davantage ces coûts – voir notre livre blanc « Un appétit insatiable : faire face à l’explosion des coûts des services IA.
Le cloud offre une puissance de calcul et une capacité de stockage quasi illimitées, facilitant la mise à l’échelle des modèles IA et la gestion de grands ensembles de données, l’accès à des composants de pointe (GPU, accélérateurs IA spécialisés), tout en déchargeant la gestion technique du service sur le fournisseur.
Mais cette solution n’est pas exempte de limites. La latence peut être inacceptable pour certains cas d’usage en temps réel. Des questions légitimes se posent également sur la confidentialité et la sécurité, notamment en ce qui concerne la souveraineté des données. Le transfert massif de données vers et depuis le cloud peut exiger une bande passante importante, voire engendrer des frais d’entrée et de sortie des données.
Une quantité de « petits cerveaux » en périphérie
Le traitement des données en périphérie (edge computing) présente également de nombreux avantages. Beaucoup de ces bénéfices sont les corollaires des points évoqués précédemment.
Les données sensibles sont stockées et traitées localement, réduisant les risques de fuite lors des transferts et facilitant le respect des différentes réglementations. Un point essentiel, notamment dans les secteurs de la santé, de la finance ou les données personnelles.
Cette option réduit la latence, améliore les temps de réponse et diminue les coûts de bande passante. L’edge IA fonctionne même en cas de connectivité réduite, ce qui en fait une option pertinente pour les sites distants ou les réseaux instables.
En revanche, les dispositifs en périphérie disposent de moins de puissance que les serveurs cloud, ce qui limite la complexité des modèles d’IA utilisables. L’investissement initial (CapEx) pour créer ou étendre votre infrastructure numérique est également plus élevé que les coûts d’usage (OpEx) d’un service cloud existant. Enfin, la gestion de l’infrastructure reste à votre charge.
Grand ou petit cerveau – ou les deux ?
Même si le choix entre cloud et périphérie s’impose parfois à vous, vous conservez une marge de liberté dans la manière de structurer votre service.
Prenons l’exemple d’une application terrain, avec des techniciens intervenant dans des zones sans Prenons par exemple un cas d’usage dans le service terrain, où des employés opèrent dans des environnements réseau qui ne sont pas sous votre contrôle. Ces agents sur le terrain peuvent n’avoir qu’un téléphone mobile à disposition, incapable d’assurer à la fois la connectivité nécessaire pour se connecter à un « grand cerveau » (c’est-à-dire un système centralisé basé dans le cloud) et la puissance de calcul locale pour agir comme un « petit cerveau » (traitement en périphérie).
Dans une telle situation, on peut utiliser le téléphone pour capturer un numéro de série de la machine à dépanner. Cette donnée peut être transmise par SMS à une installation centrale, qui renverra ensuite les informations nécessaires (schémas, pages de manuel, etc.) directement sur le mobile.
En aparté, l’interaction en langage naturel avec les modèles GenAI reste largement sous-estimée. Pour de nombreux cas d’usage, en particulier ceux impliquant des travailleurs sur le terrain, les employés n’ont ni accès à des claviers ni l’habitude de les utiliser dans leur quotidien professionnel. Nous collaborons par exemple avec une unité de police pour déployer une interface vocale d’IA. Elle permet de décrire oralement un incident sur le terrain, d’automatiser ensuite la génération et ainsi économiser de nombreuses heures de travail. Un bon exemple de synergie entre un petit et un grand cerveau, au service de l’efficacité.
Conclusion
C’est le cas d’usage qui détermine où héberger votre service d’IA générative, mais vous gardez la main sur la manière de l’opérationnaliser. Pour optimiser coûts et performances, il est recommandé d’utiliser le plus petit modèle possible pour chaque cas d’usage. Une approche hybride combinant cloud et edge peut s’avérer optimale : les dispositifs en périphérie assurent les traitements en temps réel, tandis que le cloud prend en charge l’entraînement des modèles, le stockage et l’analyse.
Ce sont, sans aucun doute, des décisions importantes, mais ceux qui sont responsables de la stratégie d’IA générative dans leur entreprise angoissent souvent lorsqu’il s’agit de faire un choix. C’est essentiel, mais inutile d’hésiter à l’excès. Si vous partez du cas d’usage, la bonne décision s’imposera naturellement.
L’IA générative va transformer votre entreprise. Et si vous redoutez de faire le mauvais choix, sachez que l’indécision coûte souvent bien plus cher. Comme l’avait compris Cicéron il y a plus de deux mille ans : « On perd davantage par l’indécision que par une mauvaise décision. ». Alors, prenez la vôtre sans tarder.
Michaël Deheneffe, VP Data & IA, et directeur Marketing, Innovation et Stratégie de la partie Digital Services chez Orange Business, conduit les projets de développement dans ces différents domaines au sein de l’activité ESN de la branche, et incarne l’évangélisation sur les sujets Data, IA et IA générative pour Orange Business.