Les animaux de compagnie virtuels sont devenus bien plus réalistes dans Peridot, le premier jeu en Réalité Augmentée à utiliser l’IA générative pour donner aux Dots, les créatures virtuelles du jeu, l’intelligence de réagir de manière inattendue, surprenante et adorable aux choses qu’ils trouvent dans le monde réel, exactement comme un animal de compagnie le ferait.

Il n’est pas possible de savoir comment un chiot réagira en voyant un chat dans la rue, le Dot réagira de manière imprévisible lui aussi le rendant encore plus vrai que nature. Grognera-t-il, aboiera-t-il ou se ruera-il sur lui ? Si une assiette de nourriture traine à l’extérieur, le Dot en volera-t-il une bouchée, ou se roulera-t-il dans les restes ?

Grâce à l’IA générative, les Dots de Peridot auront des réactions uniques, aléatoires, surprenantes ou tout simplement adorables quand ils découvriront de nouveaux objets, donnant ainsi l’impression qu’ils apprennent et comprennent le monde autour d’eux.

Une autre première pour Peridot

Peridot était déjà le premier jeu en RA, mais il est aussi le premier à utiliser l’IA générative dans le seul but de rendre d’adorables créatures encore plus adorables. L’IA générative dans Peridot offre un aperçu de l’avenir des jeux vidéo alimenté par la Réalité Augmentée et l’Intelligence Artificielle. Pour Niantic, il s’agit de l’une des premières, si ce n’est la première, intégration de l’IA générative dans un jeu mobile.

En utilisant des techniques de conception de jeu antérieures, les équipes auraient dû programmer manuellement une gamme limitée de réactions pour les Dots lorsque ceux-ci auraient rencontré différents objets dans le monde. Mais grâce à l’IA générative, l’équipe peut augmenter considérablement les comportements possibles quand les Peridots découvrent de nouveaux stimuli comme un autre animal, un plat de nourriture, ou un bouquet de fleurs.

Comment cela fonctionne-t-il ?

Étape 1 : Comprendre l’environnement

Grâce aux algorithmes IA de chez Niantic, les images du monde réel, à travers la caméra de l’utilisateur, sont converties en images 3D précises, pour que les Dots puissent profiter de tout l’espace. En utilisant l’ARDK Lightship de Niantic, les Dots peuvent reconnaître une variété de choses telles que des fleurs, de la nourriture, des animaux de compagnie à de nombreux autres objets et surfaces du monde réel.

Étape 2 : Passage au LLM (Grand Modèle de Langage)

Ces mots sont ensuite transmis à un Grand Modèle de Langage, dans ce cas Llama-2 de Meta. Prenant en charge les caractéristiques et la personnalité de chaque Dots, le back-end va donc demander à Llama la réaction de l’animal de compagnie virtuel à ce qu’il trouvera sur son chemin.

Étape 3 : Générer des réactions

Peridot crée un environnement unique pour l’utilisation de l’IA grâce notamment à une large bibliothèque d’animations inutilisée car difficile à exploiter sans reconnaissance de l’environnement. Via ce nouveau système utilisant l’IA générative, ces animations sont désormais une petite part d’un grand nombre de réactions possibles. C’est comme si les Dots apprenaient, s’adaptaient et démontraient leur personnalité comme de vraies créatures vivantes.

Par exemple, durant le processus de test, les Dots d’un membre de l’équipe a trouvé une assiette de nourriture vide, et au lieu de simplement la renifler, étonnamment, le Dot s’est roulé dedans.

Niantic y voit un premier exemple de la manière dont les concepteurs et producteurs de jeux peuvent utiliser l’IA générative pour donner plus de vie et d’interactivité à leurs personnages. Plus largement, les personnages de réalité augmentée évoluent, ils auront donc besoin d’utiliser l’IA non seulement pour comprendre le monde mais aussi pour réagir avec lui et d’autres personnes.

En ce qui concerne Peridot, Niantic souhaite que le jeu continue d’être une plateforme d’expérimentations des applications de l’IA et de la RA, souhaitant continuer de repousser les limites pour donner véritablement vie à ces créatures sur des appareils mobiles en gardant un oeil sur le futur du Hardware.