Chez Side, nous savons mener des tests de jeux. Nous travaillons dans ce domaine depuis plus d'une décennie, tout en étant à l'avant-garde des tests d'assurance qualité depuis plus de 30 ans. Nous avons vu des sociétés de jeux vidéo se démener pour comprendre les commentaires de 50 joueurs, sans parler de 1000, voire 100 000. C'est bien beau, toutes ces données, mais comment les traiter? Comment obtenir des informations exploitables à partir d'une multitude de commentaires de joueurs pour améliorer votre jeu?
C'est exactement le défi auquel nous nous sommes attaqués lorsque nous avons développé notre système d'analyse des tests de jeu assisté par l'IA. Nous sommes la seule entreprise au monde à proposer des tests de jeu vidéo à grande échelle pouvant comprendre jusqu'à 100 000 utilisateurs. Dans le cadre de notre programme Razer Cortex Playtest Program - Powered by Side nous avons mis au point une série d'outils d'intelligence artificielle pour organiser et traiter des volumes considérables de commentaires afin de définir des priorités claires en matière de développement. Ce dossier technique explique notre approche pour résoudre le défi des mégadonnées dans les tests de jeu.
L'analyse linguistique avec les LLM : Extraire du sens à grande échelle
La première étape du travail de l'IA d'analyse de données propriétaire de Side consiste à exploiter des modèles linguistiques de grande envergure tels que OpenAI, Gemini et Llama. Nous passons tous les commentaires textuels des joueurs par ces LLM afin d'extraire les appréciations positives et négatives les plus courantes des joueurs. L'utilisation des LLM nous permet d'extraire le sens des commentaires des joueurs, quelle que soit la manière dont ils les expriment. Cette opération permet de regrouper des commentaires textuels similaires afin d'obtenir les meilleures informations à partir d'un grand nombre de commentaires de joueurs.
Voici comment cela fonctionne en pratique. Imaginez que trois joueurs fournissent trois éléments différents qu'ils ont appréciés dans un jeu :
- Joueur 1 : « J'ai aimé l'animation du tir. C'était net et le visuel était cool. »
- Joueur 2 : « Les graphismes du jeu sont incroyables, surtout en mouvement. »
- Joueur 3 : « Le jeu est fluide et les personnages sont réalistes. »
À première vue, on pourrait croire qu'il s'agit de trois observations complètement différentes, mais notre IA basée sur les LLM remarque un fil conducteur et les synthétise en une vision unifiée, en comptant les trois points de données vers un point commun : « Les joueurs trouvent que l'animation et les mouvements dans le jeu sont fluides et beaux. »
Même si cela peut sembler peu, ce type d'informations, obtenues en analysant les commentaires de 1000 ou 100 000 testeurs sur plusieurs heures de jeu, peut vraiment faire la différence pour comprendre ce que les joueurs apprécient le plus dans le jeu et ce que la plupart d'entre eux n'aiment pas.
Ajouter le contexte du jeu
Mais il ne suffit pas de faire passer un texte par un analyseur LLM, il faut aussi lui fournir le contexte du jeu. Sans connaître le genre, les personnages, le cadre et les mécanismes de base du jeu, il est difficile de replacer les commentaires des joueurs dans leur contexte. Par exemple, le fait que les joueurs disent « les vaisseaux sont trop petits » peut avoir deux significations différentes selon qu'il s'agit d'un jeu dans l'espace ou d'un jeu de voile.
Les systèmes d'IA de Side ajoutent automatiquement le contexte du jeu lorsqu'ils analysent les commentaires des joueurs, et font ainsi en sorte que les commentaires soient interprétés avec précision en évitant les conclusions erronées.
Synthèse des données de champs d'enquête personnalisés
Tous les champs d'une enquête de satisfaction des joueurs ne sont pas standardisés, ni même textuels. Certaines questions sont à choix multiples, d'autres sont des questions de type « oui/non », d'autres encore portent sur des données démographiques ou sur les caractéristiques de l'ordinateur. Quel que soit le champ personnalisé qu'un jeu peut ajouter à notre enquête auprès des joueurs, l'IA de Side utilise deux approches d'analyse.
Tout d'abord, nous convertissons les réponses en format texte. Par exemple, le fait de demander aux joueurs d'évaluer leur appréciation du jeu sur une échelle de 1 à 5 devient un champ de commentaire textuel tel que : « Le joueur a attribué au jeu une note de 3 sur 5. » Cela permet à l'analyseur LLM ci-dessus d'opérer sa magie et d'extraire les réponses les plus courantes.
Deuxièmement, nous effectuons une analyse statistique de base automatique sur tous les champs non textuels. Par exemple, la valeur moyenne, la médiane et le mode. Ces données statistiques sont très utiles pour les deux étapes suivantes de l'analyse : l'analyse de corrélation et l'analyse de segmentation.
Identifier les relations
Tout champ qui n'est pas un champ de texte, tel qu'un champ à choix multiple ou un champ « oui/non », peut également être traité de manière numérique pour l'analyse de corrélation. Notre système peut ensuite analyser et signaler les corrélations positives et négatives entre deux champs.
Grâce à la plateforme de test de jeu Razer Cortex - Powered by Side, nous sommes également en mesure de suivre le temps de jeu des joueurs. Ces données deviennent un champ clé pour identifier les corrélations entre le temps de jeu réel des joueurs et tous les autres champs.
Par exemple, nous établissons une corrélation entre la durée de jeu d'un joueur et ses scores et ressentis moyens, ce qui nous permet de déterminer si la durée de jeu influe sur l'appréciation d'un jeu par un joueur ou non. Autre exemple : nous créons également des cohortes de joueurs en fonction de leur temps de jeu afin d'analyser les joueurs qui ont peu joué par rapport à ceux qui ont beaucoup joué, ce qui permet une segmentation plus poussée si nécessaire.
Analyse des segments de joueurs
Bien que le LLM et l'analyse de corrélation ci-dessus soient utiles, il arrive que l'on veuille simplement examiner les données d'un segment spécifique. Par exemple, vous pouvez demander une analyse portant uniquement sur les femmes âgées de 18 à 25 ans. Dans de tels cas, nous pouvons générer un second rapport basé exclusivement sur les données fournies par les acteurs correspondant à ces critères, tout en appliquant la même approche globale pour révéler des informations spécifiques au segment.
Fournir des informations exploitables à des fins d'amélioration
Une fois toutes les données analysées et rassemblées dans un rapport de commentaires, le système d'IA de Side procède à une dernière étape cruciale. En utilisant le contexte du jeu, l'analyse des corrélations, l'analyse du langage basée sur l'IA et les champs personnalisés, l'IA de Side combine tous les commentaires et propose des suggestions spécifiques pour améliorer votre jeu.
Non seulement notre IA pré-entraînée suggère-t-elle des idées pour les domaines spécifiques où les joueurs ont signalé des problèmes ou des aversions (pour les champs textuels et non textuels), mais elle signale également les éléments que les joueurs ont aimés et la manière de les mettre encore plus en valeur. Et puisque ces informations peuvent être fournies pour n'importe quel segment souhaité, les studios de jeux peuvent alors adapter leurs plans d'amélioration en fonction de leur cible démographique dans la prochaine itération du jeu.
Traiter les bogues
Bien sûr, tous les retours ne concernent pas les choix de conception, et le signalement des bogues reste l'un des plus grands défis à relever lors en matière de tests de jeu à grande échelle. Qu'il s'agisse de 1000 ou de 100 000 testeurs, un seul problème de jouabilité dans un test à grande échelle peut engendrer des milliers de rapports individuels, décrivant tous le même problème.
L'outil d'analyse et de déduplication des rapports de bogues de Side a été conçu pour relever ce défi. Notre outil s'appuie sur la technologie LLM pour trouver les bogues dupliqués même si la formulation du bogue n'est pas identique, en extrayant automatiquement les bogues des commentaires des joueurs, en les formatant et en les dédupliquant afin que les experts de l'assurance qualité puissent les examiner. Cette fonction de déduplication peut être ajustée pour être plus ou moins conservatrice afin d'éviter le marquage accidentel de doublons (faux positifs).
Bien que notre outil soit efficace pour traiter ce type de données, il est toujours essentiel d'examiner les résultats, et c'est là que les spécialistes de l'assurance qualité de Side interviennent.
Une supervision humaine
L'IA joue un rôle central dans notre système de test de jeu ; cependant, un processus fiable et précis basé sur la technologie nécessite toujours une supervision humaine. Pour les tests de jeu, il y a deux façons de procéder.
Tout d'abord, notre équipe d'experts en assurance qualité examine l'analyse de l'IA pour s'assurer qu'elle est logique, qu'elle respecte nos directives en matière de confidentialité et de sécurité, et qu'elle fournit les informations de grande valeur promises par les tests de jeu de masse.
Deuxièmement, si nos clients le souhaitent, tous les bogues détectés pendant les tests de jeu peuvent être transmis à nos équipes d'experts en assurance qualité dans le monde entier pour être traités ultérieurement. Nos équipes s'assurent que le bogue est réel, qu'il est reproductible, qu'il est écrit clairement avec des étapes de reproduction, qu'il est accompagné d'une vidéo et qu'il est correctement classé dans votre système de gestion des bogues.
Cette approche avec supervision humaine permet que le retour d'information soit encore plus précis, afin que vous puissiez planifier et exécuter votre prochaine phase de développement avec une plus grande efficacité.
Vie privée et sécurité
La sécurité des données est essentielle lorsqu'il s'agit de votre propriété intellectuelle et de vos informations à caractère confidentiel, et elle est fondamentale pour notre plateforme de test de jeu. Nous suivons les politiques et procédures ISO-27001 pour garantir que toutes les données collectées sont sécurisées, confidentielles et cryptées.
Les mesures de sécurité de notre système de test de jeu sont les suivantes :
- Cryptage des données au repos et en transit
- Tests réguliers de pénétration et de sécurité du code
- Logiciels et techniques de sécurité de haut niveau qui garantissent la sécurité et la mise à jour de tous les serveurs
- Utilisation de modèles LLM que nous contrôlons entièrement et qui conservent les données séparément des ensembles de données de formation
- Conformité totale au RGPD
- Suppression et anonymisation de toutes les IPI (informations personnelles identifiables) qui ne doivent pas être conservées dans les bases de données
Cette approche axée sur la sécurité garantit la protection de vos données tout au long du pipeline d'analyse de l'IA.
Quotes
En résumé
La plateforme de test de jeu Razer Cortex, alimentée par le système d'IA de Side, change complètement le paysage du test de jeu. L'avenir des tests de jeu n'est plus limité à 10 ou 50 testeurs de jeu dans une pièce, mais offre la possibilité d'en avoir 1000, 10 000, voire 100 000 ou plus, tous jouant et signalant des bogues en même temps.
Cette capacité à traiter de grands volumes de données permet aux studios de prendre de bien meilleures décisions de développement pour leur jeu, sans avoir à dépenser une quantité exponentielle de temps ou d'argent. Au lieu d'être confrontés à un retour d'information limité ou écrasant, les studios obtiennent des informations complètes qui les guident dans leurs choix de développement.
Vous voulez savoir comment les commentaires et analyses des joueurs alimentés par l'IA peuvent s'intégrer dans votre processus de développement? Prenez contact avec nous pour savoir comment notre programme de test peut être personnalisé pour vous aider à améliorer votre jeu.