Avant-propos:

Je tiens à dûment remercier J Aaron Farr pour ses réponses précises et rapides lorsque je l’ai contacté sur LinkedIn. Sans ses notes informations, cet article auquel je tenais beaucoup et que je prépare de longue date, n’aurait jamais été aussi inspiré.
Retail mage a fait l’objet d’une analyse de fond dans le cadre de mes cours à l’ICAN Paris. Les contenus de ces cours restent exclusifs aux élèves de l’école. Quelques pistes explorées dans le cours sont toutefois reprises dans le présent article.

Holodeck

Il y a des références à la pop culture que je me sens obligé d’expliciter à mes jeunes élèves. Le “Holodeck” fait partie de celles-ci. Pour ma génération, ou plutôt celle des gens un peu plus âgés que moi, le Holodeck est une image qui revient sans cesse dans les discussions touchant à l’IA générative, la narration, notamment lorsqu’il s’agit de commenter les “world models”, ces pipelines IA capables de rendre des mondes explorables à l’infini, du moins sur le papier.

J’en veux pour preuve les discussions endiablées entre John Radoff et Emmanuel de Maistre, qui donnent une idée assez claire de ce que les maximalistes de l’IA générative peuvent attendre d’une telle technologie pour l’avenir du jeu vidéo.

Dans Star Trek, le Holodeck est une simulation, une machine de réalité virtuelle si puissante, que les héros de la série jureraient qu’il puisse s’agir du monde réel. Si bien que les héros s’y aventurant y voient bien des usages: entraînement au combat, programme d’apprentissage émotionnel, exploration d’une époque révolue à défaut de voyager dans le temps…

L’expression est passée dans la culture populaire occidentale pour qualifier ce monde virtuel infini et si raffiné qu’il se confondrait à s’y méprendre avec le monde réel. Et à l’heure où j’écris ces lignes, il me semble important de rappeler et d’expliciter cette référence, afin que les plus anciennes générations et les nouvelles, qui construisent toutes deux des mondes d’une infinie complexité par IA générative, puissent se comprendre.

La deuxième notion est plus partagée, mais j’y reviens tout de même. Il s’agit de la figure centrale du Game Master de jeu de rôle. Oui, ce jeu de rôle là, celui joué sur table, celui prisé tel un précieux par une guilde internationale d’afficionados assidus, voire… intégristes. Personellement, je ne joue personnellement pas aux jeux de rôle car ils me mettent mal à l’aise. Mais je connais bien cette discipline, notamment grâce aux travaux de Julien Pirou sur Nolife et par son ouvrage, que je ne peux que vous recommander.

Un entrepôt comme monde infini

Il y a avant tout de l’humour dans le jeu qui nous intéresse aujourd’hui. Et ce n’est peut-être pas une chose si anodine qu’il y paraît. A vrai dire, c’est essentiel. Nous y reviendrons, immanquablement.

Ce jeu, se nomme Retail Mage. Développé et édité par Jam & Tea Studios, son studio est fondé en 2023 par des vétérans de l’industrie (ex-Riot Games, Blizzard, Wizards of the Coast). Les fondateurs clés sont J Aaron Farr (CTO), T Carl Kwoh (CEO) et M Yichao (CCO). Motivés par un défi de livrer un jeu totalement nouveau en 5 mois seulement, l’équipe part avec une seule idée en tête: l’IA générative peut changer le gameplay et non plus seulement les pipelines de production.

Ce jeu, est désormais une réalité, disponible sur Steam pour environ 5 Euros. Et tout au long de l’article, j’espère faire comprendre à qui veut que c’est une chance inouie que Retail Mage, soit disponible et jouable tel qu’il a été voulu, du moins à l’heure où ces lignes ont été écrites.

Bref, si vous avez 5 Euros en réserve et que l’IA générative appliquée au jeu vidéo vous intéresse, jouez-y. Vous avez zéro excuse.

Encore du travail ?

Le concept, lui, est plutôt simple. Vous êtes un employé stagiaire dans un entrepôt de bric à brac, une sorte de bazar où l’on peut acheter un peu tout et n’importe quoi, le genre de magasin que l’on ne trouve que dans les zones commerciales à l’écart des villes moyennes et où se déverse les restes des fond de cale des tankers chinois.

Sauf que voilà, dans ce magasin, tout est magique. Il faut y voir, pour saisir le ton, une sorte de monde parodique comme lorsque Harry Potter fait ses emplettes à Diagon Alley, même si le ton global est plus proche d’un Discworld à qui on aurait forcé un mariage avec l’univers de Clerks.

Le but du jeu ? Clore en 30 minutes un maximum de requêtes clients et obtenir d’eux les meilleures notes, dans un système familier à étoiles allant de 0 à 5. C’est à vous, jeune employé, d’aller solliciter les clients et de leur faire avouer leurs rêves les plus fous, les inscrire sur votre liste, pour ensuite les traiter au plus tôt. Sauf que, les demandes des clients ont ça de spécial qu’elles sont totalement de l’ordre du merveilleux et du fantastique, pour ne pas dire du fantasque.

Magie et Humour, l’assurance tous-risques.

Je reviens à dessein sur la notion d’humour, comme indiqué plus tôt, pour faire remarquer à quel point il se marie parfaitement avec le ton résolument magique du titre. Et il n’y a, à mon sens tout du moins, aucun hasard à ça. Car comme on va le voir en détail, cette savante combinaison dédouane avec habileté, et non pas sans un peu de filouterie narrative, les bizarreries inhérentes à la technologie ici exploitée.

Car il fallait compter sur cette assurance que seul procure le second degré pour que le gameplay qui découle de la configuration très spéciale du jeu puisse faire accepter au joueur qu’il soit amené là où il doit être amené. A savoir, assez nettement en dehors de ses habitudes de jeu, où des systèmes déterministes règnent en maître depuis… toujours.

Le ton magique, lui, finit d’assurer la justification de ces nombreux moments tantôt difformes, tantôt irrésolus. Des moments de vague flottement, proposés bien heureusement au su de ses créateurs, qui assurent qu’il faut moins y voir un accommodement embarrassé avec cette technologie de l’à peu près, qu’une intention claire et maîtrisée.

En somme, à la manière d’enfants lancés dans un jeu abstrait, et qui déclameraient une de ces règles dont ils possèdent le brevet: “on dirait qu’on est dans un monde magique”, afin de ne pas s’embarrasser d’une logique trop coercitive.

A votre service

Concentrons-nous désormais sur le gameplay à proprement parler.

Ma première cliente me demande une clé à molette de glace. Très bien. Je me mets donc en route dans les rayons du magasin et trouve une clé à molette certes, mais il s’agit d’un jouet. Je décide d’opérer en deux temps. Un premier tour de magie pour en faire une clé à molette d’adulte, et un deuxième tour de magie pour en faire un outil fait de glace. Sauf que… Le système me dit non, dès le premier tour de magie. Impossible de transformer ce jouet en véritable outil. C’est raté, je m’en tire avec seulement deux étoiles sur cinq.

Avant de me replonger dans une nouvelle requête, je passe ça et là dans les allées et me rends compte que je peux non seulement interagir avec les NPCs, mais aussi avec l’environnement. Et ce, de manière textuelle. Je trouve un lit à rideaux, et avec une simple entrée texte “arracher les rideaux”, le système interprète ma requête, me la fait confirmer via une reformulation selon trois choix cliquables et résultat… le rideau est physiquement arraché. A y réfléchir, cette simple action, ce simple résultat, n’est-il pas davantage impressionnant que de pouvoir parler par langage naturel avec des NPCs ? Nous y reviendrons.

Ma seconde quête me mène vers une autre cliente qui me demande cette fois-ci “un livre de recettes magiques”. Je m’empare d’un vieux grimoire et en un petit tour de magie, le voilà transformé en livre de recettes magiques. La cliente ravie de donne 5 étoiles. Cette fois, je m’en sors vraiment mieux.

Enfin, une troisième requête plus spectaculaire cette fois-ci, consiste à fabriquer, selon le client: “une peluche faite d’autres peluches, un peu comme une chimère.” Par chance, je trouve sur une table une petite peluche d’âne, et plus loin, une peluche de Krakâbror, la mascotte du magasin. Mon tour de magie fonctionne, avec ce message système des plus gratifiants: “Les connaissances en alchimie de Chako (mon petit nom de gamer) et une touche de magie lui ont permis d’assembler à la perfection la peluche Âne et la peluche Krakâbror, donnant naissance à une peluche Chimère étonnamment légère et impressionnante, ce qui lui a procuré un sentiment d’accomplissement intense.”

Voici les trois quêtes que j’ai pu accomplir dans ma première session de jeu, qui ont abouti sur une évaluation globale pas franchement glorieuse…

Le jugement comme friction

Ce que je retiens d’essentiel de cette expérience, à y repenser quelques semaines plus tard, c’est que presque toute la tension du jeu se trouvait dans ce moment où l’on soumet le tour de magie au système, en n’étant jamais vraiment certain que cela fonctionne. Ce moment de friction critique, où des milliers de paramètres vont passer dans un entonnoir statistique qui devra délivrer au final un bête oui ou un non, constitue clairement ce moment dramatique du jeu, que l’on aura envie de répéter, encore et encore.

A ces mots, je ne peux m’empêcher de penser au show de téléréalité américain Pawn Stars, qui propose de suivre une famille qui tient un magasin de rachat et revente d’objets (plus ou moins) précieux. Ce qui rend les spectateurs fidèles à cette émission est justement ce moment d’adrénaline similaire à celui de Retail Mage. A savoir, ces séquences où la caméra s’approche dangereusement du taulier et où l’on peut tenter de deviner, dans son regard empli de mystère, s’il va accepter ou non l’offre du client de lui reprendre son jeu d’échec pure ivoire pour 10.000 dollars, dernière offre, c’est juré.

Dans Retail Mage, c’est également ce moment là que nous venons chercher. Ce moment juste avant la résolution du “deal”, rendu soit comme soulagement, soit comme déception. Tout le reste n’est que cérémonie autour de cet instant précis.

En revanche, et les exemples évoqués ci-dessus pouvant en attester, ce moment n’est pas toujours parfait, ni même toujours agréable. La fuzzy logic, voulue et assumée par les développeurs du titre, m’ont parfois déçu par un manque de consistance, et un jugement assez brouillon sur ce que j’avais pu soumettre au système. Par exemple, pour quelle raison n’ai-je pas pu transformer le jouet de clé à molette en vrai outil alors que j’avais pu changer un vieux grimoire en livre de recettes ? Pour répondre à cette question, il faut alors s’intéresser un petit peu à ce qui se passe sous le capot.

Abracadabra: la Magie est dans la technique.

Intéressons-nous donc en détail à ce qui fait que le système valide un tour de magie ou non.

Règles et conventions

Il y a pour cela, deux éléments principaux qui rentrent en ligne de compte.

Le premier, ce sont simplement les règles du jeu, stricto sensu. Le modèle répond à des règles claires. Il sait quoi faire lorsqu’on lui propose d’opérer un tour de magie. Il ne va pas répondre en proposant un texte de poésie, par exemple. Il est conscient qu’il est dans un jeu, construit sur des règles précises, et il les suit. Jusqu’ici, c’est plutôt simple.

Le second élément tient dans la manière dont le modèle, qui régit l’entièreté de la logique du jeu, a été affiné. Pour ce faire, les développeurs ont éduqué leur modèle en l’injectant d’une multitude de micro questions, comme pour y installer des conventions, plutôt que des règles strictes.

C’est dans cette pratique par l’exemple que s’est préparé et forgé cet échange qui pourrait rappeler celui d’un rôliste avec la Game Master. Sauf que dans le cas de Retail Mage, ce game master qui exerce l’autorité sur le récit global est décentralisé entre les NPCs et la couche de contexte dans lequel ils évoluent.

En cela, les développeurs essaient toujours de faire en sorte que la continuité narrative aille dans le sens du joueur, et soit toujours pourvu d’une logique, même si celle-ci se veut floue, (l’expression de fuzzy logic est alors évoquée), afin que le modèle à l’oeuvre puisse exercer son élasticité dans le maillage des conventions.

Openweight et inférence

Ah, l’inférence. Combien de fois n’ai-je pas entendu ce mot, utilisé à des fins alarmistes ? A en croire beaucoup, l’inférence, ce calcul de “digestion” d’un input envoyé à un LLM, couplé à la réplique qu’il en donne serait un coût astronomique, qui, si sollicités par des millions de joueurs en même temps, pourraient provoquer la ruine des studios ! Rien que ça. Passons sur le fait que, visiblement, trop de gens angoissent à l’idée d’avoir trop de joueurs.

Blague à part, le sujet est tout de même sérieux, car Retail Mage, au contraire d’un jeu comme Portopia qui calcule tout en local, fait appel à des LLMs en cloud.

En termes simples, c’est comme si le jeu avait intégré votre chatbot d’IA de tous les jours dans son interface. Le jeu envoie donc des requêtes serveurs, où un calcul savant s’opère, avant que vous ne receviez une réponse. C’est cette opération qui coûte de l’argent, surtout si vous utilisez la technologie des modèles dits “fermés” ou “propriétaires » (ceux que vous utilisez au quotidien via des chats, tels que ChatGPT, Gemini, Grok, Claude…)

C’est pour cette raison que Jam & Tea a opté pour ce qu’on appelle des modèles “openweight”. Contrairement aux modèles propriétaires fermés, les modèles openweight permettent au studio de les affiner (fine-tune) spécifiquement. Cela permet d’entraîner l’IA à donner des réponses plus cohérentes avec le ton et la personnalité de chaque personnage du jeu.

L’utilisation de ces modèles, combinée à une gestion directe de leurs propres GPU sur le cloud (AWS), notamment via un emprunt à la technologie sglang, a été le facteur clé pour réduire les coûts d’inférence.

En cela, le studio se targue d’avoir réussi à diviser ses dépenses d’inférence par 1 000, faisant passer le coût d’une session de jeu de plusieurs centaines de dollars à seulement quelques centimes.

Pour résultat, Jam & Tea réussit cette prouesse de pouvoir mettre sur le marché un titre dont la narration et même du gameplay est pilotée par une intelligence artificielle générative, tout en solutionnant le problème existentiel – selon leurs termes, du coût d’inférence.

A la vitesse du monde visible

Revenons à notre rideau déchiré après que j’en aie simplement exprimé la demande.

On se laisse très durement impressionné par cette simple action et son caractère visible. Pour rappel, j’ai simplement interagi sur un rideau de lit à baldaquin, et ai tapé avec mes petits doigts sur mon clavier : “déchirer le rideau”. Et le jeu de s’exécuter pour un résultat visible. Rien d’impressionnant a priori, sauf qu’une nouvelle fois, comme les exercices narratifs que nous venons d’évoquer, les éléments composant cette simple action n’étaient pas forcément reliés entre eux par un dénominateur déterministe.

Simple concaténation d’éléments séparés puis agrégés ensemble par une logique conduite par un simple LLM ? Oui, mais on a tendance à oublier une chose: la vitesse d’exécution d’un LLM n’est absolument pas la même que celle d’un moteur physique de jeu. Dans l’un, l’idée macère, infuse, se forme en gestation. Dans l’autre, c’est un signal qui voyage aussi vite que l’électricité qui alimente votre ampoule quand vous ouvrez le circuit.

Et il a bien fallu que Jam & Tea trouve un moyen pratique pour non pas marier, mais tenter de mettre en colocation ces deux paradigmes afin que l’illusion que le rideau fut déchiré parce que je l’ai voulu, opérât convenablement.

Pour résoudre le conflit entre la rapidité extrême des moteurs physiques traditionnels et la latence de l’inférence des LLM, le studio a désactivé entièrement la physique standard d’Unreal Engine. En effet, la physique du moteur tournait trop vite, créant des « race conditions » où les objets réagissaient avant que l’IA n’ait eu le temps d’envoyer ses signaux ou ses jugements.

À la place, ils ont implémenté un modèle de physique simplifié conçu pour se synchroniser spécifiquement avec le rythme de décision de l’IA. Parallèlement, pour minimiser la latence des LLM, ils ont abandonné les simples appels API externes au profit d’une gestion directe de leurs propres GPU sur AWS via sglang, au travers d’une génération structurée.

Allons-y, tous au Holodeck

Pour un Narrative Designer, pour toute personne ayant dédié son temps à vouloir faire interagir une personne avec une machine à des fins de fiction, il n’y a à mon sens pas de frontière plus éloignée que celle du Holodeck.

Toute entreprise dédiée à construire des mondes émergents, organiques et autonomes régis par un cahier des charges respectant la vision de son auteur sera toujours cette entreprise qui m’animera et qui a animé mon travail de ces dernières années.

L’héritage de Retail Mage

Désormais, ou du moins à l’heure où ces lignes sont écrites, Jam & Tea Studios utilise Retail Mage comme une vitrine technologique dans le but de démontrer que l’IA générative peut transformer radicalement le gameplay en permettant un « jeu improvisé » où le système interprète l’intention libre du joueur en temps réel.

Fort des leçons tirées de ce projet, le studio développe INFUSE, un framework de haut niveau conçu pour simplifier l’intégration profonde de l’IA aux systèmes de jeu traditionnels (quêtes, économie, objets) afin de créer des mondes aussi réactifs qu’un Holodeck.

En parallèle, Jam & Tea lance Earl Grey, une plateforme de « raisonnement compilé » issue de leur propre infrastructure de production, qui optimise les charges de travail des agents IA en offrant une précision accrue, une vitesse 8,5 fois supérieure et une réduction massive des coûts par rapport aux modèles de pointe actuels.

J’espère pouvoir revenir sur cette nouvelle aventure, car à lire leur profession de foi, j’ai été personnellement touché par la justesse d’identification des problèmes du pourquoi -ô pourquoi – l’industrie du jeu vidéo n’a toujours pas d’IA générative dans sa tech stack, pour la narration, tout du moins. Leur approche me semble être la bonne, d’autant plus que leur solution est prête en plus d’avoir été éprouvée avec Retail Mage.

Et sur un point philosophique, je ne peux que soutenir cette aventure, qui permet de fabriquer les nouvelles expériences de demain, et non pas de répliquer les expériences existantes plus vite et moins cher, comme sont malheureusement souvent perçues les exploration de l’IA pour le jeu vidéo.

Toujours et encore une affaire de design

Retail Mage est à mon sens une de ces grandes avancées dans la direction qui m’anime, que l’on nommera toujours, pour le bien fondé de cet article, le Holodeck. Tout comme Portopia avant lui, il est une de ces aventures discrètes qui sont autant de pierres à l’édifice de cet objectif ultime de constructions de mondes émergents et intelligents. ( )

Retail Mage m’a surpris, m’a même contredit dans mes convictions, alors que je jure depuis le début de mes travaux narratifs avec l’IA générative qu’il faut dompter la bête, l’abrutir d’une litanie de règles strictes, la contraindre comme l’eau qui circule dans un réseau de tubes en cuivre bien brasés, afin d’espérer, enfin, de lui faire cracher du feu.

A rebours de cette vision, Jam & Tea a pour Retail Mage mis en œuvre et assumé cette “fuzzy logic” (une logique floue), où les conventions sont davantage importantes que les règles, et où une certaine flexibilité est permise, encouragée, même.

Ce qui va à l’encontre de mon intuition lorsque j’ai conceptualisé Aarda, car le défi était au contraire que le worldbuilding installe des règles si précises, et chargées de tant d’autorité, qu’il serait impossible pour un LLM d’en réchapper. ( )

Toutefois, je pose la question: cette logique diffuse aurait-elle pu fonctionner sur un plan dramatique si le titre en question n’était pas aussi chargé d’humour et d’autodérision ? Aurait-on pu tolérer de telles approximations si le monde de Retail Mage avait été un univers de Fantasy, dans la plus pure tradition de l’art ? Seul l’avenir le dira, et je gage que les travaux de Jam & Tea, actuels ou futur, finiront de répondre à cette question.