본 게시물의 목적달성을 위해 우리에게 insignificant(하찮은), minor(중요하지 않은), significant(의미있는), major(중대한) 그리고 critical(치명적인) 의 5가지 결함 등급이 주어졌다고 가정하자.
우리가 프로젝트의 한 단계를 종료하고 다음 단계로 접어들 때, 우리는 테스트 매니저에 의해 설정되는 기준을 인지할 필요가 있으며 이것이 꼭 수반되어야 한다. 보통 한 단계의 종료 기준이 다음 단계를 위한 시작기준이 된다. 예를 들면 대규모의 통합 테스트에서 테스트 매니저는 그 자신만의 시작기준을 정의할 것이며 기본적으로 이것이 이전단계에 대한 종료기준이 되는 것이다. 이는 제품의 출시 시점에서 이상적인 수단이 된다.

내가 강조하고 싶은 것은 두 가지 핵심 요소이다. 출시 시점에 남아있는 결함이 하나도 없을 것이라고 말하는 테스트 매니저는 마치공상의 세계에서 살고 있는 것과 같다. 이것은 평생 테스트 할 수 있기를 바라고, 완벽한 코드를 출시하고자 하는 테스트 매니저이다. 이는 현실적으로 불가능한 일이다. 비즈니스의 현실은 프로젝트를 착수하고, 사업 요구사항을 만족시키며, 첫번째 예시에서 프로젝트를 정당화하기 위해 사용된 비즈니스 혜택들을 제공하기 위해 어느 정도의 리스크는 수용될 수 있는 것이다. 


그래서 다음 질문은 리스크의 수준과 수용될 수 있는 것이 무엇인가이다. 이는 프로젝트의 특성에 따라 좌우될 것이다. 안전과 밀접하게 연관된 어플리케이션을 포함하는 것은 소규모 비즈니스에서 두 사람에 의해 사용되는 것 보다는 훨씬 더 높은 수준의 품질 요구사항을 가질 것이다. 일반대중이나 많은 고객들에게 노출되는 것 역시 내부적으로만 사용되는 것 보다 훨씬 더 높은 품질을 보장할 필요가 있을 것이다. 테스트 매니저의 능력은 어플리케이션의 사용 목적을 평가하는 것이며 허용할 수 있는 결함의 수준을 정의하는 것이다. 시작, 종료기준을 언급한 문서(http://tcl-india.blogspot.com/2008/06/entry-and-exit-criteria.html)에서 이전에 정의한 것처럼 프로젝트 후반에 지원을 보장하기 위해 프로젝트 매니저가 그런 단계들이 실행될 수 있도록 해야한다.

지금 당장 우리는 수용될 수 있는 결함들을 살펴봐야 한다. 일반적인 오해는 치명적인 결함이 우선순위나 심각성이 '0' 인 수준을 확인하는 것이지만, 사소한 결함의 수준에 대한 제한이란 존재하지 않는다. 이는 현실에서 그대로 드러난다. 하나의 사소한 결함이 출시를 가로막지는 않지만, 다수의 사소한 결함들이 어플리케이션의 출시를 허락하지 않을 수 있다.

나는 우리가 일단 결함의 심각성에 집중하기를 제안한다. 우리는 다수의 insignificant 가 하나의 minor 와 같고, 다수의 minor 가 하나의 significant 와 같다는 식으로 비례적으로 이해할 필요가 있다. 이는 어플리케이션의 용도에 따라 바뀔 수 있다. 그래서 각기 다른 어플리케이션 유형에 대한 몇가지 제안을 제시한다.

안전과 밀접한 어플리케이션
Proportions: 1 Critical = 2 Severe : 1 Severe = 3 Significant : 1 Significant = 5 Minor : 1 Minor = 10 Insignificant
Final Exit Criteria: 0 Critical : 0 Severe : 0 Significant : 5 Minor : 10 Insignificant


일반적인 상용 어플리케이션
Proportions: 1 Critical = 3 Severe : 1 Severe = 5 Significant : 1 Significant = 10 Minor : 1 Minor = 20 Insignificant
Final Exit Criteria: 0 Critical : 0 Severe : 3 Significant : 10 Minor : 20 Insignificant


내부적인 용도로 사용되는 어플리케이션 (20 + Users)
Proportions: 1 Critical = 4 Severe : 1 Severe = 7 Significant : 1 Significant = 15 Minor : 1 Minor = 50 Insignificant
Final Exit Criteria: 0 Critical : 1 Severe : 5 Significant : 10 Minor : 40 Insignificant


내부적인 용도로 사용되는 어플리케이션 (0 to 20 Users)
Proportions: 1 Critical = 5 Severe : 1 Severe = 10 Significant : 1 Significant = 20 Minor : 1 Minor = 100 Insignificant
Final Exit Criteria: 0 Critical : 2 Severe : 5 Significant : 10 Minor : 50 Insignificant