에러 모니터링과 QA 캡처는 다른 물건이다

Sentry 같은 에러 모니터링과 QA 버그 캡처는 기본 목적이 다릅니다. 예외 없이 발생하는 게임 버그를 어떻게 남기고 전달할지 구분합니다.

  • unity
  • qa
  • bug-report

"Sentry 쓰고 있는데 QA 캡처 도구가 또 필요한가요?"라는 질문을 자주 받습니다. 답은 지금 Sentry로 어떤 데이터를 수집하고 있고, QA가 예외 없는 버그를 어떻게 보고하는지에 달려 있습니다. 두 도구의 기본 목적과 필요한 증거를 구분해 보겠습니다.

에러 모니터링이 푸는 문제

Sentry 류의 에러 모니터링은 실행 중 발생한 예외·크래시를 수집하고 집계합니다. 스택트레이스, 발생 빈도, 영향받은 사용자 수, 릴리스별 회귀 여부 — 이 넷이 핵심 산출물입니다. Sentry Unity SDK는 예외·크래시 이벤트와 breadcrumb, 기기 문맥을 보여주는 데 초점을 둡니다. 이벤트에 스크린샷을 첨부할 수도 있지만, QA가 정상 실행 중 발견한 이상을 기록하고 전달하려면 별도의 트리거와 증거 수집 흐름이 필요합니다. 예를 들어 특정 릴리스 배포 이후 크래시율이 튀었다면, 그 릴리스만 따로 걸러 얼마나 많은 사용자가 영향을 받았는지 대시보드에서 바로 확인할 수 있습니다. (Sentry 이벤트 첨부 문서)

QA 캡처가 푸는 문제

QA 캡처는 개발 중 사람이 목격한 이상을 증거와 함께 다음 사람에게 넘기는 문제를 풉니다. 여기서 핵심은 목격 대상이 반드시 "예외"는 아니라는 점입니다. UI가 깨졌다, 밸런스가 이상하다, 캐릭터가 벽을 뚫는다 — 이런 버그는 스택트레이스를 남기지 않을 수 있습니다. 프로그램은 계속 실행됩니다. 예를 들어 QA가 플레이하다가 캐릭터 애니메이션이 특정 구간에서 두 프레임씩 끊기는 걸 발견해도, 그 순간 예외가 발생하지 않을 수 있습니다. 예외 모니터링만 켜 두었다면 이 목격은 자동으로 버그 리포트가 되지 않습니다. Sentry Unity SDK도 수동 피드백을 받을 수 있지만, 테스터가 이상을 표시하고 재현 증거를 모으는 흐름은 따로 구성해야 합니다. (Sentry Unity SDK 릴리스)

예외 없이 발생하는 버그도 많다

게임 QA가 보고하는 버그에는 예외가 아니라 상태 이상인 경우도 많습니다. 물리 계산이 튀거나, 스크립트 이벤트 순서가 꼬이거나, 아트 에셋이 잘못 배치되는 경우가 그렇습니다. 이런 버그는 게임별 기대 동작을 검사하는 코드를 넣지 않았다면 예외 감지로만 찾기 어렵습니다. 영상과 게임 상태를 함께 보고 사람이 판단해야 할 때도 있습니다. 특히 수동 플레이 테스트에서는 테스터가 화면에서 발견한 차이를 기록해 다음 사람에게 전달하는 흐름이 중요합니다.

왜 이 착각이 반복되는가

두 도구 모두 버그에 관한 정보를 모으므로 같은 모니터링처럼 보이지만, 수집을 시작하는 신호가 다릅니다. 에러 모니터링 대시보드가 익숙해지면, 거기 안 뜨는 건 "문제가 없는 것"처럼 느껴지기 쉽습니다. Sentry 대시보드가 조용하다고 해서 QA가 어제 발견한 UI 버그가 사라지는 건 아닙니다. "크래시 리포트 0건"이라는 화면을 보고 이번 빌드가 안정적이라고 판단했는데, QA는 같은 빌드에서 UI 버그 여러 건을 이미 따로 보고해 둔 경우처럼, 두 신호가 서로 다른 걸 말하고 있는데 하나만 보고 안심하는 상황이 반복됩니다.

둘은 대체재가 아니라 보완재다

에러 모니터링은 예외 추세를 자동으로 집계하고, QA 캡처는 사람이 표시한 이상에 재현 증거를 붙입니다. Sentry에 사용자 피드백이나 게임별 이벤트를 추가해 QA 보고 흐름을 만들 수도 있습니다. 그 경우에도 테스터가 언제 어떻게 표시할지, 영상·게임 상태 같은 증거를 얼마나 남길지 따로 정해야 합니다. 실무에서는 Sentry로 예외 추세를 보고 QA 캡처 도구로 비예외 버그를 기록하는 조합도 가능합니다. 두 신호를 같은 사람이 본다면 어느 리포트가 자동 수집된 예외이고 어느 리포트가 사람이 목격한 이상인지 구분해 두는 편이 좋습니다. 카테고리 전체 지형은 Unity 버그 리포팅 도구 비교에서 정리했습니다.

정리

에러 모니터링을 쓰고 있어도 QA가 발견한 비예외 버그가 충분한 증거와 함께 전달되는지는 따로 확인해야 합니다. 지금 놓치는 버그가 스택트레이스를 남기는지, 아니라면 테스터가 무엇을 기록하고 어디로 보내는지 살펴보면 됩니다. 이미 Sentry를 쓰는 팀이라면 기존 피드백 흐름을 확장할지, 별도 캡처 도구를 붙일지 필요한 증거를 기준으로 결정할 수 있습니다.

저희 Rekon은 QA 캡처에 필요한 증거를 모으는 도구입니다 — Unity 2022.3+ 플러그인이 Play Mode에서 핫키(Ctrl/Cmd + Shift + B) 한 번으로 직전 약 60초 영상과 로그, 씬·디바이스 정보 같은 게임 상태를 같은 시간축으로 캡처하고, 웹 대시보드에서 Jira 이슈로 이어집니다. 예외가 아닌 버그도 증거와 함께 넘길 수 있도록 만들었습니다. 에러 모니터링과 함께 사용할 수 있습니다.