Sideは プレイテスト を熟知しています。
この分野で10年以上の実績があり、QAテストにおいては30年以上にわたって業界をリードしてきました。これまで、ゲーム会社が50人のプレイヤーのフィードバックを理解するために苦労している姿を見てきました。ましてや1,000人、さらには10万人のフィードバックとなれば、なおさらです。すべてのフィードバックが有意義に見えても、どう活用すればよいのでしょうか？また、ゲームを改善するために役立つインサイトをどのようにして見つけ出すのでしょうか？
これこそが、私たちがAIを活用したプレイテスト分析システムを開発する際に取り組んだ課題なのです。 Sideは Razer Cortex Playtest Program - Powered by Side の一環として、世界で唯一、 最大10万人規模のプレイテストを提供する企業です。この取り組みの中で、膨大なフィードバックを整理・処理して明確な開発優先事項へと変化するためのAIツールを構築しました。
本技術概要では、プレイテストにおけるビッグデータの課題を解決するためのSideのアプローチについてご紹介します。
言語分析とLLMの活用
Sideによる独自のデータ分析AIの最初のステップは、 で処理し、プレイヤーが報告する最も一般的な「良かった点」や「不満点」を抽出します。LLMを使用することで、表現に関係なく、プレイヤーの発言の意味を抽出できるのです。これにより、類似したテキストベースのフィードバックを組み合わせて、膨大なプレイヤーフィードバックから主要なインサイトを見つけることができます。
実際の例を見てみましょう。
3人のプレイヤーがゲームについてそれぞれ異なった「気に入った点」を挙げたとします。
- プレイヤー1：「銃の射撃アニメーションが気に入った。シャープで、かっこよかった」
- プレイヤー2：「ゲームのアートがとても素晴らしかった。特に移動中のビジュアルがすごい」
- プレイヤー3：「ゲームの動作がスムーズで、キャラクターが生き生きとしていた」
一見すると、まったく異なる3つの意見のように見えますが、Side は共通点を見つけ出し、次のような共通のインサイトを導き出します。
「プレイヤーは、ゲーム内のアニメーションや動きが滑らかで美しいと感じている」
このようなインサイトは、一見些細に思えるかもしれませんが、1,000人または10万人規模のプレイテスターによる数時間のゲームプレイを分析することで、プレイヤーが最も好む点や不満に思う点を深く理解するための重要な手がかりとなります。
ゲームの文脈を追加
しかし、単にテキストをLLMの分析に通すだけでは不十分です。ゲームに関する文脈もAIに読み込ませる必要があります。ゲームのジャンル、キャラクター、設定、コアメカニクスについての情報がなければ、プレイヤーのフィードバックを正しく理解するのは難しいでしょう。たとえば、プレイヤーから「船が小さすぎた」というフィードバックがあった場合、宇宙ゲームと航海ゲームでは意味が全く異なります。
SideのAIシステムは、プレイヤーフィードバックを分析する際にゲームに関する文脈を自動的に追加します。そのため、フィードバックが正確に解釈され、誤解を招く結論を防いでいるのです。
カスタムアンケートデータの統合
プレイヤーフィードバックアンケート項目は、すべてが標準的な形式やテキストベースであるとは限りません。複数の選択肢が用意されたものや、「はい/いいえ」の2択のもの、または、プレイヤーの属性やコンピューターのスペックについて尋ねる質問などさまざまな形式があります。ゲームがプレイヤー調査に追加するであろうカスタム項目に関わらず、SideのAIはどのようなカスタム項目に対しても、2つのアプローチで分析を行います。
まず、回答をテキスト形式に変換します。たとえば、ゲームの満足度を5段階評価で回答された場合、「プレイヤーはゲームを5点中3点と評価した」というテキストに変換されます。これによりLLMでの分析が可能となり、一般的に最も多い回答を抽出します。
次に、テキスト以外の項目では基本な統計分析を自動的に行います。たとえば、平均値、中央値、最頻値を算出し、次の分析ステージである「相関分析」と「セグメンテーション分析」に活用します。
関係性の特定
テキスト以外の項目（複数の選択肢や「はい/いいえ」の2択から選ぶなど）は数値的に扱うことで、相関分析に活用できます。Sideのシステムは任意の2つの項目間の正の相関と負の相関を分析し、報告することができるのです。
また、Razer Cortex Playtest Platform – Powered by Sideの一環として、プレイヤーのゲームプレイ時間も追跡しています。このデータは、プレイ時間と他の項目との相関を特定するための重要な指標となります。
たとえば、プレイ時間と平均スコアや感情との相関を分析することで、「プレイ時間が長いほどゲームを好む傾向があるかどうか」といったインサイトを得ることができます。他にも、プレイ時間に基づいてプレイヤーをグループを分けして「少ししかプレイしていない層」と「長時間プレイした層」を比較することで、さらに詳細なセグメント分析が可能になります。
プレイヤーセグメントの分析
前述のLLMと相関分析は非常に有用ですが、特定のセグメントに絞ってデータを分析したい場合もあります。たとえば、18歳から25歳までの女性のみに焦点を当てた分析リクエストがある場合、Sideでは条件に一致するプレイヤーのデータだけを使って、同様の詳細な分析手法を適用したセグメント別レポートを生成することが可能です。
改善のための実用的なインサイトの提供
すべてのデータが分析され、フィードバックレポートとしてまとめられた後、SideのAIシステムは最後の重要なステップを実行します。ゲームに関する文脈分析、相関分析、AIベースの言語分析、カスタム項目などを組み合わせて、SideのAIはフィードバック全体を統合し、ゲームを改善するための具体的な提案を導き出します。
事前にトレーニングされたAIは、プレイヤーが問題点や不満点を報告した箇所（テキスト・非テキストの両方）に対して、改善案を提案するだけでなく、プレイヤーが好意的に評価したポイントについても報告し、それらをさらに強化する方法についても提案します。このしたインサイトは、任意のターゲットセグメントに対して提供できるため、ゲームスタジオは次回の開発フェーズにおいて、狙ったユーザー層に合わせた改善計画を立てることができるのです。
バグ対応
もちろん、すべてのフィードバックがデザインに関するものとは限りません。バグ報告は、プレイテストの規模が大きくなるほど大きな課題となります。1,000人でも10万人でも、1つのゲームプレイ上の問題が、数千件の個別報告につながる可能性があるのです。
Sideのバグレポート分析・重複排除ツールは、この課題に正面から取り組むために設計されました。このツールはLLM技術を活用し、バグの表現が完全に一致しない場合でも重複を検出できます。プレイヤーのコメントからバグを自動的抽出・整形し、重複を排除することで、QA担当者が効率よくレビューできるようにするのです。この重複排除機能の精度は、調整が可能で、誤って同一と判定されるリスク（偽陽性）を防ぐことができます。
このツールを使えばデータを効率的に処理できますが、最終的な確認は人間の目で行う必要があるため、SideのQA専門家が活躍します。
Human-in-the-Loop（人間による監督）
Human-in-the-Loop（人による監督）
AIはSideのプレイテストシステムで中心的な役割を果たしていますが、 信頼性が高く正確な技術ベースのプロセスには、依然として人によるチェックが必要です。
プレイテストにおいては、以下の2つの方法で人間が関与します。
1つ目は、SideのQA専門家チームがAIの分析結果をレビューし、内容の妥当性、プライバシー・セキュリティポリシーへの準拠、高品質なインサイトの提供がなされているかを確認します。
2 バグが実際に存在するか、再現可能か、再現手順が明確か、動画が添付されているか、バグチケットシステムに正しく登録されているかを確認します。
この「Human-in-the-Loop」アプローチによって、フィードバックの精度がさらに高まり、次の開発フェーズをより効率的に進めることができます。
プライバシーとセキュリティ
知的財産や機密情報を扱う上で、データセキュリティは極めて重要です。Sideのプレイテストプラットフォームでは、ISO-27001に準拠したポリシーと手順に従い、収集されたすべてのデータを安全かつプライベートに、暗号化された状態で保護しています。
Sideのプレイテストシステムの以下のセキュリティ対策を講じています。
- 保存・転送時におけるデータの暗号化
- 定期的なペネトレーションテストおよびコードセキュリティテストの実施
- エンタープライズグレードのセキュリティソフトウェアと技術によるサーバーの保護
- データを学習に使用しない、完全に管理されたLLMモデルの使用
- GDPRに完全準拠
- データベースに保存すべきでないPII（個人識別用情報）の削除および匿名化
このセキュリティ第一のアプローチにより、AI分析の全工程において、ユーザーデータは常に安全に保護されます。
Quotes
まとめ
Razer Cortex Playtest Platform – Powered by SideのAIシステムは ゲームプレイテスト のあり方を根本から変えつつあります。プレイテストの未来は、もはや部屋の中で10人～50人のテスターが集まって行うものではなく、1,000人、10,000人、さらには10万人以上が同時にプレイし、バグを報告するという可能性が広がっているのです。
このように大量のデータを処理できる能力によって、ゲームスタジオは規模が大きくなっても、膨大な時間やコストを追加で費やすことなく、より的確な開発判断を下すことが可能になります。限られたフィードバックや、情報量が多すぎて扱いきれない状況に悩まされことなく、スタジオは自信を持って開発を進めるための包括的なインサイトを得ることができます。
AIを活用したプレイヤーフィードバックとAI分析がどのようにあなたの開発プロセスにどのように組み込めるか気になりますか？ぜひお問い合わせください。
あなたのゲームをレベルアップするために、Sideのプレイテストプログラムがどのようにカスタマイズできるかをご紹介します。