테스트 랩: 게임을 위한 대규모 QA 팀 구축 및 관리

Rajdeep Sahani, 솔루션 아키텍트 매니저| Side 방갈로르

게임이 점점 더 정교해짐에 따라 규모와 복잡성도 함께 증가하고 있어, 효율적으로 운영되는 QA 팀을 갖추는 것이 그 어느 때보다 중요해지고 있습니다.

품질 보증, 즉 QA는 플레이어의 기대와 전반적인 만족도를 충족하는 양질의 게임 경험을 제공하는 데 있어 필수적인 역할을 합니다.

하지만 게임에 맞는 QA 팀을 구축하고 관리하려면 신중한 계획과 협업 그리고 높은 수준의 조직이 필요하죠.

다음은 적합한 QA 모델을 선택하고 대규모 QA 팀을 관리하기 위한 전략과 요구에 대한 인사이트로, 게임이 최고 수준을 충족할 수 있도록 돕습니다.

최적의 모델을 선택하기

대규모 테스트를 위해 QA 팀을 구축할 때는 게임에 무엇이 필요한지를 뚜렷하게 이해하고 있어야 합니다. 이러한 요구 사항은 게임의 크기, 목표 시장, 요구되는 지원 범위 및 예산에 따라 달라지죠.

Side에서는 일반적으로 파트너사의 요구사항에 맞춰 커스터마이징할 수 있는 세 가지 QA 팀 모델을 제공합니다.

1. 하나의 스튜디오, 하나의 근무조

예:

우리 방갈로르 Side QA팀은 유럽에 기반을 둔 고객사의 모든 QA 관련 요구사항을 지원하고 있습니다. 2010년 소규모 팀 위주로 소규모 프로젝트를 진행하는 것으로 시작한 저희는 170명의 상근 자원으로 구성된 팀으로 성장하여 여러 타이틀에 대해 지속적인 지원을 제공하고 있습니다. 이러한 프로젝트를 수행하는 QA 팀 모두가 보안 조치를 위한 전용 작업 공간을 보유하고 있습니다.

특히 유럽과 인도는 근무 시간이 겹쳐서 QA와 개발자 및 제작팀 간의 협력이 향상되기 때문에 효과적입니다.

(근무 시간이 큰 차이를 만드는 이유에 대해 자세히 알고 싶다면, "QA에서 시간대 맞춤 솔루션의 힘"을 확인하세요.)

2. 하나의 스튜디오, 여러 근무조

예:

이런 계약을 통해서 협업 중인 고객이 몇 있습니다. 그들은 게임의 범위 전체를 지원하기 위해 다양한 교대조의 확장된 지원이 필요했죠.

각 게임 스튜디오에는 필요한 QA 지원 범위에 따라 고유한 요구 사항이 있습니다. 예를 들면 개발자들이 미국 시간대에서 근무하기에 핵심 팀을 거기에 맞춰 조정하고, 다른 팀들이 연장된 시간 동안 지원을 제공하는 운영 방식입니다. 다른 스튜디오는 개발자들이 여러 지역에서 근무하고 있어 각 제품에 대한 핵심 팀이 근무 시간대를 다르게 하도록 요구하기도 했죠.

3. 여러 스튜디오

예:

Side는 인기 있는 게임을 다수 보유한 게임 스튜디오와 협력하고 있습니다. 고객은 여러 다른 지역에서 QA 팀을 구성해야 했습니다. 그렇게 그들을 위한 QA 지원은 부쿠레슈티와 상하이에서 시작해 몬트리올, 타이베이, 도쿄로 확대되었죠. 현재 총 148명의 직원이 5개의 다른 스튜디오에서 6개의 타이틀을 지원하고 있습니다.

QA 요구에 맞는 최적의 모델을 선택했다면, 다음은 성능을 최적화할 전략을 설계할 차례입니다.

대규모 QA팀 관리 전략

어떤 모델을 선택하든 팀이 속도를 유지하고 개발 파이프라인 전반에 걸쳐 철저한 QA 작업을 제공하려면 올바른 전략을 구현하는 것이 중요합니다.

우리에게 효과적인 접근 방식을 몇 가지 소개하면 다음과 같습니다.

능동적인 소통

• 소통 채널 구축과 매일 스크럼 회의를 하여 정기적인 업데이트를 제공하는 것은 긴급한 QA 요구 사항을 평가하고, 프로젝트 진행 상황을 중계하며, 협력 및 퍼포먼스를 향상하는 데 도움이 됩니다.

크로스 트레이닝 보장

• 크로스 트레이닝은 학습 곡선을 낮춰 팀원들이 보다 광범위한 기술을 학습할 수 있도록 함과 동시에 프로젝트 관련 작업을 더 많이 처리할 수 있도록 합니다.

효율적인 리소스 계획

• 테스트 리드가 숙련된 리소스 계획 기술을 가질 수 있도록 프로젝트 및 QA 관리자는 테스트 중에 권고 및 지침을 제공할 수 있습니다.
• 여기에는 프로젝트 일정 모니터링, 최적의 리소스 할당 보장, 피크 기간의 리소스 재할당, 제출 또는 피크 기간의 지원 범위 보장, 업무량이 적은 기간에 리소스가 현재 QA 추세 및 도구에 대한 교육받도록 보장 등이 포함됩니다.

훈련된 리소스 풀 관리

• 훈련된 테스터 풀을 효과적으로 관리하면 교육 시간을 최소화하고 즉각적인 지원이 필요한 프로젝트에 인원을 투입할 수 있습니다.

지속적인 개선

• 이쪽 업무는 정말 끝이 없죠. 따라서 각 업무에서 얻은 교훈을 기반으로 프로세스를 평가하고 개선하는 것이 중요합니다. 그렇게 개선 분야를 식별하고 변경 사항을 구현하며 결과를 모니터링하면 향후에 발생할 문제에 효율적으로 대처할 수 있습니다.

대규모 프로젝트에서 품질 유지

제품 출시 이후에도 품질을 유지하는 것은 게임 플레이 경험 개선과 전반적인 프로젝트 성공에 있어 매우 중요합니다. 팀을 확장하면서 품질을 유지하려면 적합한 절차를 마련하는 것이 중요하죠.

• 프로젝트의 주요 성과 지표(KPI)와 서비스 수준 계약(SLA)을 모니터링하기 위해 프로젝트 관련 지표를 체계적으로 평가하면 생산성을 높은 수준으로 유지할 수 있습니다. 각 근무조에 QA 매니저와 같은 선임 리소스가 팀 또는 프로젝트를 감독하게 하면 이를 쉽게 수행할 수 있습니다.
• 모든 프로젝트와 고객에 대한 포괄적인 문서화 프로세스와 데이터베이스가 필요합니다. 새로운 팀원이 프로젝트와 프로세스에 대해 자율적으로 학습할 수 있도록 지식 창고 역할을 할 QA 핸드북 제작에 테스트 리드를 지정합니다. 한 걸음 더 나아가 프로젝트별 교육 모듈을 만들면 교육 시간을 최소화할 수 있습니다.
• 테스트 리드는 팀의 KPI를 평가하여 팀이 기준을 충족하고 현재 역할에서 발전하고 있는지 확인하는 동시에 향후 업무를 준비할 수 있도록 지원해야 합니다.
• 또한 전체 업무를 모니터링 및 평가하고 팀이 수행하는 데 필요한 도구를 갖추고 있는지 확인하는 것도 중요합니다. QA 테스트를 자동화하면 팀의 학습 곡선을 감소시키고 출력을 높일 수 있어 확장이 더 원활해집니다.
• 사고 발생 시, 사후 보고서 및 CAPA(Correct Action and Preventive Action: 시정 및 예방 조치) 계획을 생성하면 재발을 방지할 수 있습니다. 이러한 보고서는 모든 팀원과 공유하여 모든 프로젝트에서 모범 사례를 따라야 합니다.

여러 프로젝트의 균형 잡기

성공은 달성하는 것이 아니라 지속적인 개선 과정이며, 어떤 프로젝트에 효과가 있는 것이 다른 프로젝트에는 효과가 없을 수도 있습니다. 새로운 계약은 늘 백지상태로부터 시작하죠. 하지만 일부 전략은 프로젝트 및 요구 사항에 따라 달라지더라도 핵심 모범 사례는 동일합니다.

프로젝트의 성공을 보장하는 것은 팀의 조직과 적응력에 달려 있습니다. 효율적인 소통과 조직 유지 및 원활한 운영을 위해서는 강력한 팀 계층 구조가 중요하죠.

여러 프로젝트를 관리할 때는 업무량에 따라 팀의 균형을 맞춘 다음, 각 프로젝트에 적절한 선임자의 지원이 필요합니다. 이는 중요한 프로젝트나 마감일이 임박한 프로젝트에 선임 리소스를 할당하는 것을 의미할 수 있습니다.

여러 프로젝트의 균형을 맞춤에 있어 또 다른 중요한 측면은 바로 직원의 건강과 만족도입니다. 팀 및 근무 일정을 유연하게 하고 직원의 번아웃을 완화하면 더 높은 수준의 생산성을 촉진할 수 있습니다.

마지막으로 프로젝트 및 팀의 건강과 생산성을 유지하려면 미리 파트너와 정기적인 검토 일정을 잡는 것도 도움이 됩니다.

난관과 해법

이 시점에서 보면 천하무적 QA 팀을 구축하는 데 어려움이 수반된다는 것을 잘 알 수 있습니다. QA 프로세스를 확장하는 과정에서 다음과 같이 몇 가지 일반적인 문제가 발생합니다.

• 특정 기술들과 합리적인 학습 곡선을 요구하는 프로젝트에서는 적합한 인재를 찾는 것이 상당히 어려울 수 있음.
• 규모를 확장하려면 하드웨어 기재도 보충해야 함. 모바일 단말기와 PC 조달은 대체로 간단하지만, 테스트 키트는 최대 4주에서 6주가 소요되며(지역에 따라 다름), 게임이 오래된 기술을 지원하는 경우에는 구식 운영 체제를 지원하는 모바일 단말기와 PC를 확보하는 데 어려움이 발생할 수 있음.
• 광범위한 성장은 일반적으로 최소 한 달이 걸리는 새로운 인프라의 구축이 수반됨.

대규모 팀을 개발하고 여러 프로젝트를 동시에 관리하면서 프로세스나 프로젝트에 관해 직면했던 난관의 예를 몇 가지 들어보겠습니다.

첫 번째 예: 고객별 교육 프로그램

문제: 고객이 표현하는 주요 생산성 문제 중 하나는 QA 리소스가 작업할 특정 게임 시리즈 및 테스트 도구에 대한 숙련도와 관련이 있습니다.

해결: 이 문제를 해결하기 위해 테스터를 프로젝트에 투입하기 전에 들어야 하는 고객별 교육 프로그램을 구현했습니다. 각 프로젝트의 주제 전문가(Subject Matter Expert: SME)가 수행한 이 교육은 사용할 타이틀과 도구의 모든 측면을 다룹니다. 교육 후 평가를 받은 다음, 평가를 통과한 팀원만 고객의 프로젝트에 배치되었습니다.

효과: 이 접근 방식은 프로젝트에 할당된 QA 팀원의 업무 품질을 크게 향상하므로 선임 구성원의 지속적인 감독이 불필요합니다. 또한 배치된 테스터의 테스트 중인 타이틀에 대한 학습 곡선을 효과적으로 낮췄습니다.

두 번째 예: 적응력

문제: COVID-19 팬데믹 중 어느 한 주요 고객이 QA 팀의 확장을 요청했습니다. 사무실에서 팀이 운영되었다면 어렵지 않게 요구 사항을 충족했겠지만, 당시 상황으로 인해 우리는 특별한 난관에 봉착했습니다. 바로 원격 작업으로 인해 HR팀과 QA팀 모두 테스터를 교육하는 것이 더 어려웠던 것이죠. 그러나 더 큰 난관은 이러한 테스터에게 온라인 교육을 제공하는 것이었습니다. 보통 선임 리소스의 감독하에 현장 교육을 제공하는 것이 더 쉽습니다.

해결: 프로젝트 매니저와 테스트 리드는 HR팀과 협력하여 후보자에 대한 온라인 심사를 실시했습니다. 선정이 끝난 후보들은 테스트 리드 및 선임 테스터의 지도하에 투입되었습니다. 그들은 신규 테스터를 적절하게 훈련하는 것이 팀의 주요 과제임을 인식하고, 포괄적인 훈련을 제공하면서 공백 없이 원활한 교육 프로세스를 보장하기 위해 근무 시간을 연장했습니다.

효과: 고객은 팀의 빠른 처리 시간과 생산성에 만족스러워했습니다. 새로 모집된 테스터는 해당 고객을 위한 프로젝트의 중요한 구성원으로 남아 있습니다. 특히 이 사례로 유사한 요청을 짧은 시간 내에 더 효율적으로 처리하는 방법을 터득했습니다.

신뢰할 수 있는 QA 팀 구축

QA 팀을 구성하고 관리하는 것은 플레이어 만족도로 이어지는 완성도 높은 제품을 제공하는 데 필수적입니다. 하지만 최적의 솔루션을 찾는 여정은 게임마다 다양한 과제가 수반되죠.

게임에 적합한 모델을 선택하고 협업과 조직을 촉진하는 전략을 구현하는 것이 핵심입니다. 올바른 시스템을 구축하면 팀이 자급자족하고 적응할 수 있으며, 신뢰할 수 있는 양질의 서비스를 제공할 수 있습니다.

QA 서비스를 전문가에게 아웃소싱하고 싶거나 자체적인 설계 및 구축에 대해 질문이 있다면 Side의 전문가가 30년이 넘는 업계 최고의 경험을 바탕으로 기꺼이 도와드리겠습니다.