Side는 플레이 테스트를 잘 알고 있습니다. 저희는 수십 년 동안 이 일을 해왔으며, 30년 이상 QA 테스트 분야를 선도하고 있습니다. 그리고 게임 회사들이 1000명, 10만 명은커녕 50명의 플레이어 피드백을 이해하는 데도 어려움을 겪는 것을 보아왔습니다. 데이터는 좋아 보이지만, 이 데이터로 무엇을 할 수 있을까요? 게임을 개선하기 위해 대량의 플레이어 피드백에서 실행 가능한 인사이트를 창출하려면 어떻게 해야 할까요?
이는 저희가 AI 기반 플레이 테스트 분석 시스템을 개발할 때 해결해야 했던 과제였습니다. Side는 전 세계에서 유일하게 대규모 플레이 테스트를 제공하는 기업으로, Razer Cortex 플레이 테스트 프로그램 - Powered by Side를 통해 압도적인 피드백을 명확한 개발 우선순위로 정리하고 처리하기 위한 AI 도구를 구축했습니다. 이 기술 요약 문서에서는 플레이 테스트에서 빅데이터 문제를 해결하기 위한 Side 접근 방식을 설명합니다.
LLM을 사용한 언어 분석: 대규모 의미 추출
Side의 독점적인 데이터 분석 AI의 첫 번째 단계는 OpenAI, Gemini, Llama와 같은 대규모 언어 모델 활용입니다. 저희는 이 LLM을 통해 모든 텍스트 기반 플레이어 피드백을 실행하여 플레이어가 가장 많이 보고하는 '좋아요' 및 '싫어요'를 추출합니다.LLM을 사용하면 플레이어가 말하는 방식에 관계없이 플레이어가 말하는 내용의 의미를 추출할 수 있습니다. 여기에 유사 텍스트 기반 피드백을 결합하면 대량의 플레이어 피드백에서 최고의 인사이트를 찾을 수 있습니다.
실제로 작동하는 방식은 다음과 같습니다. 세 명의 플레이어가 게임에서 마음에 드는 요소를 제공한다고 상상해 보세요.
- 플레이어 1: "총이 발사되는 애니메이션이 마음에 들어요. 시원시원하고 멋지네요."
- 플레이어 2: "게임 아트, 특히 이동할 때가 아주 놀랍네요."
- 플레이어 3: "게임이 원활하게 실행되고 캐릭터가 생생하게 느껴져요."
언뜻 보기에는 전혀 다른 세 가지 소감처럼 보이지만 Side의 LLM 기반 AI는 이 중에서 공통점을 찾아내 '좋아요'라는 공통점으로 계산하여 다음과 같은 통합된 인사이트로 종합합니다. "플레이어들은 게임 애니메이션과 움직임이 부드럽고 아름답다고 평가했습니다."
별것 아닌 것 같지만, 여러 시간 동안 게임을 플레이한 1,000명 또는 10만 명의 플레이 테스터를 분석하여 얻은 인사이트는 플레이어가 게임에서 일반적으로 좋아하는 요소와 일반적으로 싫어하는 요소를 이해하는 데 큰 차이를 만들 수 있습니다.
게임 컨텍스트 추가
하지만 단순히 텍스트를 LLM 분석기에 넣는 것만으로는 충분하지 않습니다. 게임에 대한 컨텍스트도 제공해야 합니다. 게임의 장르, 캐릭터, 설정, 핵심 메커니즘에 대한 지식이 없으면 플레이어의 피드백을 컨텍스트에 맞게 전달하기 어렵습니다. 예를 들어, 플레이어가 "배가 너무 작았다"라고 말하는 것은 우주 게임과 항해 게임에서 두 가지 다른 의미를 가질 수 있습니다.
Side의 AI 시스템은 제공된 플레이어 피드백을 분석할 때 게임에 대한 컨텍스트를 자동으로 추가합니다. 이를 이용하면 피드백을 정확하게 해석하고 오해의 소지가 있는 결론을 피할 수 있습니다.
사용자 지정 설문 조사 필드에서 데이터 종합하기
플레이어 피드백 설문 조사의 모든 항목이 표준적이고 텍스트 기반인 것은 아닙니다. 객관식 질문도 있고, 예/아니오로 답하는 질문도 있으며, 인적 정보나 컴퓨터 사양에 대해 묻는 질문도 있습니다. 이처럼 플레이어 설문 조사에 추가할 수 있는 사용자 지정 필드에도, Side의 AI는 두 가지 접근 방식을 사용하여 분석합니다.
먼저 응답을 텍스트 기반 형식으로 변환합니다. 예를 들어, 플레이어에게 게임이 얼마나 좋았는지 1~5점 척도로 평가하는 질문은 이를 설명하는 텍스트 피드백 필드로 변환됩니다. "플레이어가 게임을 5점 만점에 3점으로 평가했습니다." 그리고 위의 LLM 분석기가 마법처럼 작동하여 가장 일반적인 답변을 추출합니다.
둘째, 텍스트가 아닌 필드에 대해서도 자동 기본 통계 분석을 수행합니다. 예를 들어 평균값, 중앙값, 모드 등이 있습니다. 이 통계 데이터는 다음 두 단계의 분석, 즉 상관 관계 분석과 세분화 분석에서 매우 유용하게 활용됩니다.
상관 관계 식별
객관식이나 '예/아니오' 등 텍스트 전용 필드가 아닌 모든 필드도 상관 관계 분석을 위해 숫자 방식으로 처리할 수 있습니다. Side 시스템은 두 필드 간의 긍정적인 상관 관계와 부정적인 상관 관계를 모두 분석하고 보고합니다.
Razer Cortex 플레이 테스트 플랫폼 - Powered by Side를 통해 플레이어의 게임 시간도 추적할 수 있습니다. 이 데이터는 플레이어의 실제 플레이 시간과 다른 모든 필드 간의 상관 관계를 파악하는 핵심 필드가 됩니다.
예를 들어, 플레이어가 게임을 플레이한 시간과 평균 점수 및 감정 사이의 상관 관계를 분석하여 플레이한 시간이 플레이어가 게임을 얼마나 좋아하는지 여부에 영향을 미치는가에 대한 인사이트를 도출할 수 있습니다. 또 다른 예로, 플레이 시간을 기준으로 플레이어 코호트를 생성하여 플레이 시간이 많은 플레이어와 플레이 시간이 적은 플레이어를 비교 분석하여 필요에 따라 더 세분화할 수 있습니다.
플레이어 세그먼트 분석
위의 LLM 및 상관 관계 분석은 유용하지만, 때로는 특정 세그먼트의 데이터만 조사하고 싶을 때도 있습니다. 예를 들어 18세에서 25세 사이의 여성에게만 초점을 맞춘 분석을 요청할 수도 있습니다. 이러한 경우, 해당 기준에 부합하는 플레이어가 제공한 데이터만을 기반으로 두 번째 보고서를 생성하는 동시에 동일한 포괄적인 접근 방식을 적용하여 세그먼트별 인사이트를 파악할 수 있습니다.
개선을 위한 실행 가능한 인사이트 제공
모든 데이터가 분석되어 피드백 보고서로 수집되면, Side의 AI 시스템이 수행하는 마지막 중요한 단계가 있습니다. Side의 AI는 게임에 대한 컨텍스트, 상관 관계 분석, AI 기반 언어 분석, 사용자 지정 필드를 사용하여 모든 피드백을 결합하고 게임을 개선할 수 있는 구체적인 제안을 제공합니다.
사전 학습된 AI는 플레이어가 문제나 싫은 점을 보고한 특정 영역(텍스트 및 비텍스트 필드 모두)에 대한 아이디어를 제안할 뿐만 아니라 플레이어가 좋아하는 항목과 이를 더욱 강조하는 방법에 대해서도 보고합니다. 이를 통해 원하는 세그먼트에 대한 인사이트를 얻은 게임 스튜디오는 다음 게임 반복 작업에서 타겟 인구 통계에 따라 개선 계획을 조정할 수 있습니다.
버그 처리
물론 모든 피드백이 디자인 선택과 관련된 것은 아니며, 플레이 테스트를 확장할 때 버그 보고는 여전히 가장 큰 과제 중 하나입니다. 플레이 테스터가 1,000명이든 100,000명이든 대규모 테스트에서 게임플레이 문제가 하나 발생하면 동일한 문제를 설명하는 수천 개의 개별 보고서로 이어집니다.
Side의 버그 보고서 분석 및 중복 제거 도구는 이러한 문제를 정면으로 해결하도록 설계되었습니다. 이 도구는 LLM 기술을 사용하여 버그 보고서의 문구가 완전히 동일하지 않더라도 중복 버그를 찾아내어 플레이어의 코멘트에서 버그를 자동으로 추출하고 서식을 지정해 QA 전문가가 중복 제거 기능을 통해 검토할 수 있도록 합니다. 이 중복 제거 기능은 우발적인 중복 태그 지정(오탐)을 방지하기 위해 어느 정도 보수적으로 조정할 수 있습니다.
이러한 데이터는 도구를 통해 효율적으로 처리될 수 있지만, 결과 검토는 여전히 필수적인 단계입니다. 그렇기 때문에 Side의 QA 전문가가 꼭 필요합니다.
인간 참여형
플레이 테스트 시스템에서 핵심적인 역할은 AI가 하지만, 신뢰할 수 있고 정확한 기술 기반 프로세스에는 여전히 사람의 감독이 필요합니다. 플레이 테스트의 경우 두 가지 방식으로 진행됩니다.
먼저, Side의 QA 전문가 팀이 AI의 분석이 합당한지, 개인정보 보호 및 보안 가이드라인을 준수하는지, 대규모 플레이 테스트가 약속하는 높은 가치의 인사이트를 제공하는지 검토합니다.
다음으로, 고객이 요청하는 경우 추가 계층으로 플레이 테스트 중에 발견된 모든 버그를 전 세계에 있는 전문 QA 팀에 전달하여 추가 처리를 진행합니다.Side의 QA 팀은 버그가 실제 존재하는지, 재현 가능한지, 재현 단계가 명확하게 작성되어 있는지, 동영상이 첨부되어 있는지, 버그 티켓 시스템에 올바르게 접수되었는지 확인합니다.
이러한 인간 참여형 접근 방식을 통해 피드백이 더욱 정확해지고, 다음 개발 단계를 더욱 효율적으로 계획하고 실행할 수 있게 됩니다.
개인정보 보호 및 보안
데이터 보안은 지적 재산과 개인 정보를 다룰 때 매우 중요한 요소이며, Side 플레이 테스트 플랫폼의 기본이기도 합니다. Side는 ISO-27001 정책과 절차를 준수하여 수집된 모든 데이터를 안전하게 보호하고 비공개 및 암호화하고 있습니다.
Side의 플레이 테스트 시스템 보안 조치에는 다음이 포함됩니다.
- 저장 중 및 전송 중 데이터 암호화
- 정기적인 모의 침투 및 코드 보안 테스트
- 모든 서버에 패치를 적용하고 보안을 유지하는 엔터프라이즈급 보안 소프트웨어 및 기술
- 데이터를 사일로화하여 학습 데이터 세트에서 제외시키는, 완전히 제어되는 LLM 모델 사용
- 완전한 GDPR 준수
- 데이터베이스에 보관해서는 안 되는 모든 PII(개인 식별 정보)의 제거 및 익명화
이 보안 우선 접근 방식으로, 전체 AI 분석 파이프라인에서 데이터가 안전하게 보호됩니다.
Quotes
결론
Side의 AI 시스템으로 구동되는 Razer Cortex 플레이 테스트 플랫폼은 게임 플레이 테스트의 환경을 완전히 바꾸고 있습니다. 플레이 테스트의 미래는 한 공간에서 진행되는 10명 또는 50명의 플레이 테스터로 제한되지 않고 1,000명, 10,000명, 심지어 10만 명 이상이 동시에 게임을 플레이하고 버그를 보고할 수 있는 가능성으로 확장됩니다.
게임 스튜디오는 대량의 데이터를 처리할 수 있는 기능을 통해 기하급수적으로 많은 시간과 비용을 들이지 않고도 게임에 대한 훨씬 더 나은 개발 결정을 내릴 수 있습니다. 또한, 제한적이거나 압도적인 피드백을 받는 대신 자신감 있는 개발 선택을 위한 포괄적인 인사이트를 얻을 수 있습니다.
AI 기반 플레이어 피드백 및 분석이 개발 파이프라인에 어떻게 적용될 수 있는지 알아보고 싶으신가요? 여기로 문의하여 플레이 테스트 프로그램을 맞춤화해 게임의 수준을 올리는 방법을 알아보세요.