ALLPAIRS

설치본 다운로드

pairs.zip

설치 가이드

폴더에 압축해제하기만 하면 끝이다.

 사용법

올페어즈는 각각의 파라매터 셋의 개별 값이 최소한 한번 이상 쌍의 조합이 되는 합리적인 테스트 케이스 셋을 만드는 펄 스크립트이다. 솔직히 내가 말하는게 정확하게 맞는 건지 모르지만, 한번 얘기해보도록 하겠다. 만일 테스트 셋에서 포함해야 한 2개의 파라메터 즉, 프린터와 운영 체제를 예로 들면 다음과 같이 구성될 수 있을 것이다.

운영체제

Win98

Win2K

WinXP

프린터

HP 4050

HP 4100

모든 쌍의 조합을 테스트 하려면 테스트 케이스는 다음과 같을 것이다.

두 매개변수의 경우에서 모든 쌍은 모드 가능한 조합을 의미한다. 하지만 세번째 매개변수를 추가했을 때는 무슨 일이 발생하는지 보자.

듀플렉스 프린트

Y

N

저 매개변수들의 각각의 경우에 대한 모든 조합은 12개의 테스트 케이스를 생성하게된다. 하지만 우리에게 진정으로 필요로 한 것이 최소한 하나의 케이스에 각 파라메터의 한 개의 조합을 보장하는 테스트 케이스라면? 그러면 더 적은 테스트 케이스를 얻을 수가 있을 것이다. 아래를 보면 6개가 도출된다.

세 파라메터 중 어느 하나의 값이 다른 하나 혹은 둘의 값과 한 쌍이 되었을 때, 버그가 발생한다면 이 테스트 케이스로 발견할 수 있을 것이다. 만일 세 개의 특정한 값이 조합되었을 때만 버그가 발생한다면, 이 조합의 케이스로는 발견할 수 없을 것이다. 하지만 적어도 모든 쌍에 대해서는 수행하게 된다.

올페어 커버리지는 모든 조합보다 수행하기 훨씬 수월하다. 예를 들면 26개 값을 가진 10개의 매개변수를 테스트 한다면, 모든 조합은 141,167,095,653,376 개의 테스트 케이스가 필요하게 될 것이다. 올페어는 1094 개가 필요할 뿐이다.

Allpairs 를 사용하려면 탭으로 구분된 매개변수의 테이블을 준비해야 한다. 가장 쉬운 방법은 엑셀을 사용하는 것이다.

그리고 나서 엑셀 테이블을 복사하여 텍스트 파일에 붙여넣기 하라. 그리고 다음과 같이 DOS 커맨드 라인에서 Allpairs 프로그램을 실행해라.

ALLPAIRS VARS.TXT > TESTCASES.TXT

혹시 Perl 을 설치했다면 다음과 같이 실행하는 것도 가능하다. 

PERL ALLPAIRS.PL VARS.TXT > TESTCASES.TXT

testcases.txt 의 내용은 엑셀로 붙여넣기 좋게 다음과 같이 작성될 것이다. 

결과물의 첫번재 부분이 테스트 케이스이다. "pairings" 컬럼은 Allpairs 가 발견한 유일한 쌍의 갯수를 알려준다.

결과물의 두번째 부분은 어떻게 쌍의 조합이 이뤄졌는지를 알 수 있게 해준다. 각각의 쌍을 나열하고, 테스트 케이스 테이블 내에 그 쌍이 몇 번이나 나타나는지를 보여준다. 그리고 그런 쌍이 발생하는 특정 테스트 케이스 혹은 케이스들을 나열한다.

 "~" 는 중요하지 않다는 의미 

때때로 모든 조합의 쌍이 이미 수행되었기 때문에 테스트 케이스 테이블의 특정 셀의 값은 의미가 없다. 이런 경우에 선택된 값이 그 테스트 케이스의 다른 셀들에 비해 상대적으로 가장 적은 수만큼 쌍이 된 것이다. 또한 그 셀은 Allpairs 가 선택한 값을 다른 값으로 대체할 수 있으며 all-pairs 커버리지 목표를 여전히 달성하고 있음을 알려줄 수 있도록 "~" 기호로 표기된다.

예제

zip 파일에 포함된 마이크로소프트 워드 파일에 실제 테스트 예제가 포함되어 있다. Printing.txt 는 데이터 파일, The Printing.xls 에는 결과가 담겨있다.(좀 더 읽기 편하도록 일부 수정하였다.)

조언

테스트 설계
매개변수를 치환할 때, 매개변수를 더 많이 선택할 수록, 각 테스트 케이스를 위해 해야 할 일이 더 많아진다. 그렇기 때문에 적당하게 서로 연관이 있는 매개변수를 선정하는 것이 좋다. 게다가 버그 발생의 중요성에 대해 고민해야 한다. 만일 애매한 2개의 매개변수의 두 값이 동시에 사용되었을 때만 문제가 발생한다면, 결과는 아무도 수정하려고 하지 않을 버그가 될 것이다.

값이 "중요하지 않음"(~) 이라면 실패 가능성을 최대화 하거나 발생시 실패 영향력을 최대로 하는 값을 선택하라.

다른 도구들
내 도구는 최적화된 해결책을 제시하지는 못한다. 하지만 스스로 최적화 된 해결책을 찾는데 있어 신경을 끄는데 충분한 정도는 된다. 10개의 값을 가진 10개의 매개변수로 이뤄진 테스트 케이스를 고려하자. allpairs 는 177개의 조합을 찾을 것이다. 가장 적은 숫자의 가능한 테스트 케이스는 100~177 개 사이가 될 것이다. 나는 대략 130 개 이하가 될 것으라 예상한다. 하지만 모든 순열을 수행하기 위한 10억개의 테스트 케이스와 비교햇을 때 177개 정도는 나쁘지 않은 수준이다.

Telcordia Technologies (<http://www.argreenhouse.com>) 에서 Allpairs 보다 더 좋은 웹 기반 툴을 제공한다. 예를 들어 3개의 값을 지닌 40개의 매개변수로 그 툴은 21개의 테스트 케이스로 모든 쌍을 커버할 수 있다. Allpairs 는 29를 필요로 한다. 하지만 그 툴은 자그마치 $6000 의 비용을 필요로 한다. 무료 버전과 한번 비교해보면...

 출처: By James Bach, james@satisfice.com <mailto:james@satisfice.com>, www.satisfice.com

SUMI_sample.pdf

What is SUMI?

The Software Usability Measurement Inventory is a rigorously tested and proven method of measuring software quality from the end user's point of view.

SUMI is a consistent method for assessing the quality of use of a software product or prototype, and can assist with the detection of usability flaws before a product is shipped.

It is backed by an extensive reference database embedded in an effective analysis and report generation tool.

Who should use SUMI?

SUMI is recommended to any organisation which wishes to measure the perceived quality of use of software, either as a developer, a consumer of software, or as a purchaser/consultant. SUMI is increasingly being used to set quality of use requirements by software procurers.

SUMI also assists the manager in identifying the most appropriate software for their organisation. It has been well documented that if staff have quality tools to work with, this contributes to overall efficiency of staff and the quality of their work output.

Our customers have used SUMI effectively to:

• assess new products during product evaluation
• make comparisons between products or versions of products
• set targets for future application developments.

SUMI has been used specifically within development environments to:

• set verifiable goals for quality of use attainment
• track achievement of targets during product development
• highlight good and bad aspects of an interface.

SUMI is the de facto industry standard questionnaire for analysing users' responses to desktop software or software applications provided through the internet.

Why use SUMI?

SUMI is the only commercially available questionnaire for the assessment of the usability of software which has been developed, validated, and standardised on an international basis.

There is a large range of languages in which SUMI is available. Each language version is carefully translated and validated by native speakers of the language.

SUMI ennables measurement of some of the user-orientated requirements expressed in the European Directive on Minimum Health and Safety Requirements for Work with Display Screen Equipment (90/270/EEC).

SUMI is mentioned in the ISO 9241 standard as a recognised method of testing user satisfaction.

What do I get when I buy SUMI?

We now have a variety of methods in which we deliver the SUMI service.

Professional consultancy service

This is a service housed at University College Cork, the url of which is sumi.ucc.ie/en/ (for the English language version - other language versions are coming onstream with demand.) You can see the questionnaire on this link but you'll need a password to be able to send data.

This service provides a detailed report giving the SUMI output including content analysis of some additional questions.

Basic online service

As above, this service is housed at University College Cork, the url of which is sumi.ucc.ie/en/ (for the English language version - other language versions are coming onstream with demand.) You can see this questionnaire on this link but you'll need a password to be able to send data.

This service provides a CSV file of scored data and the additional questions but little else. It is intended for studies of between 12 to 100 users and clients who prefer to do their own analyses.

Offline SUMI service

This service is primarily intended for labs who want to do a quick in-house test, or academic users who cannot purchase the online or the standalone service (for student work towards a major thesis, for example.) You will get a questionnaire in pdf form and a licence for the period of your data collection. You make as many copies of the questionnaire as you need. When you have gathered your data, you send a file of data to HFRG who will then produce a standard SUMI output and send it back to you by e-mail.

Dates for submitting and sending data back must be agreed upon beforehand. The usual turn-around time can be very short (half a working day) if you have arranged this with HFRG.

If you are a student and want to apply for a free use of SUMI you will have to get your academic supervisor to write a letter on headed stationery stating that the work you are carrying out is academic and not for profit or part of a consultancy arrangement (see the suggested wording, below.)

Customised service

For a large scale survey, or a survey with additional questions, you will have to contact Dr Jurek Kirakowski at jzk@ucc.ie to discuss your survey and get a quotation for the cost of it.

SUMISCO is based on profiles of about two thousand responses to commercially available software. It will tell you how your product compares to this standardisation base: whether you are about average for the market, below, or above. Because of the background statistics in our database, you can find out very precisely how you compare to the market.

What does SUMI look like?

SUMI consists of 50 statements to which the user has to reply that they either Agree, Don't Know, or Disagree.

Here are some example statements:

Item No. Item Wording

1.       This software responds too slowly to inputs.

3.       The instructions and prompts are helpful.

13.      The way that system information is presented is clear and understandable.

22.      I would not like to use this software every day.

How do I administer SUMI and how long does it take?

It takes a user about 3 minutes to fill out the questionnaire, perhaps a few minutes longer on the internet version.

One way of administering it is on paper: print out the SUMI form and get your user to make marks on the page. It takes an analyst about one minute to type each user's responses into a file for scoring by SUMISCO or to send to HFRG for scoring.

On the other hand you may decide to go for the internet, online option.

You can also do a hybrid: concoct your own HTML pages to be served on your intranet and either send the results to HFRG for analysis, or purchase SUMISCO and analyse them yourself.

How many users do I need?

Online SUMI might require sample sizes with a minimum of about 30 unless your respondents are well targetted.

However, we know that paper SUMI will give you reliable results with as few as 12 users. This is because you are able to control the quality of your user sample directly when administering SUMI on paper.

You can use fewer users if you wish, but beware that your results may not be as representative of the true user population. In fact, SUMI has yielded useful information with user sample sizes of four or five.

However, this question is always like 'how long is a piece of string.' You should try to get as many users as you can within your timeframe.

How much does it cost?

It all depends on the kind of service you want. See the Pricing and Ordering Information page.

Are there educational discounts?

We don't do educational discounts on SUMI.

However, if you are a student pursuing a full-time course of study and wish to use SUMI for your project or term assessment, eMail Dr Jurek Kirakowski and discuss the use you would like to make of SUMI. This year's students are, after all, next year's professionals...

Because of some bad experiences with students from a University which shall not be named, for a student licence we will need information from the permanent staff member supervising the project involving SUMI, who must supply the following undertaking on headed stationery:

This will assure us that students are not carrying out commercial activities in the guise of student projects and will therefore not be under-cutting commercial SUMI clients.

S/W 벤치마크테스트 평가모델 개발 이슈

*한국정보통신기술협회 시험인증연구소 S/W시험인증 센터

The Development Issue of S/W Benchmark Test

Evaluation Model

-요약-

국내 벤치마크테스트는 일반적으로 각 제품의 기능별 성능별 비교분석을 통해 제품의 장단점을 파악하는 것이 주된 목적이었다 기존 벤치마크테스트의 산출물은 시험 항목별 결과와 비교 분석 결과이다. 최근에는 동종 제품들 중에서 특정 목적에 가장 적합한 제품을 선택하기 위한 수단으로 벤치마크테스트 결과가 사용되기도 한다. 이러한 특수한 목적의 벤치마크테스트는 기존 산출물 이외에 특정 목적에 가장 적합한 제품이 무엇인지 판단할 수 있는 순위표가 추가된다. 최근의 새로운 요구사항을 반영하기 위해서는 새로운 S/W 벤치마크 테스트 평가모델이 필요하다. 본 논문에서는 기존의 벤치마크테스트와 구분되는 소비자의 새로운 요구를 만족시킬 수 있는 S/W 벤치마크테스트 평가모델 개발 이슈에 대해 연구하고 있다.

1. 서론

국내 S/W 산업이 점차 성숙해감에 따라 유사한 제품의 개발이 많아지고 점점 군을 형성해 가고 있는 추세이다. 다양한 동종 제품의 개발로 인해 사용자는 자신의 사용 목적에 보다 적합한 제품을 선택할 수 있게 되었다. 그러나 많은 동종제품 가운데 사용자 자신이 다양한 제품을 직접 사용해보지 않고 용도에 맞는 최적의 제품을 선택하는 것은 쉬운 일이 아니다. 이때 객관적이고 공정한 S/W 벤치마크테스트 결과를 확보할 수 있다면 보다 쉽게 좋은 제품을 선택할 수 있을 것이다.

구매자 입장에서 벤치마크테스트는 객관적인 테스트 결과를 통해 각 제품의 장단점을 올바로 파악할 수 있게 하여 구매 목적에 보다 근접한 제품을 선택하는데 유용한 지침이 될 수 있다. 반면 개발사 입장에서 벤치마크테스트는 동종 제품들 간의 객관적인 비교평가를 통해 각 제품의 강점을 파악하고 취약점 보완 및 개선방안을 제시할 수 있으므로 품질향상에 큰 도움을 줄 수 있다.

또 다른 목적의 벤치마크테스트는 유사 제품들간의 기능 및 성능의 우선순위를 결정하는데 목적을 둘 수도 있다. 일례로 공공기관 및 대규모 조직에서 도입할 제품을 선정하고자 할 때 중립의 위치에 있는 전문 기관에 제품의 우선순위를 결정하기 위한 벤치마크 테스트를 의뢰하는 경우도 최근 들어 많은 수요가 발생하고 있다.

기존의 비교 분석을 위한 벤치마크 테스트는 산출물로 각 평가 요소별 평가 값과 비교 분석서를 산출하지만 요구에 의한 우선순위를 결정하는 벤치마크테스트는 부가적으로 목적 평가 기준에 기반한 제품별 우선순위를 산출하게 된다. 이러한 순위 산출을 위한 벤치 마크 테스트는 무엇보다 기본 목적이 명확해야 하며 이러한 벤치마크테스트는 시험에 응하는 제품을 대부분 수용할 수 있어야 한다.

비교분석을 위한 벤치마크테스트는 시험제품을 선정함에 있어 LINUX OS들에 대한 벤치마크테스트, 백신 S/W들 간의 벤치마크테스트 등과 같이 동종의 국한된 S/W를 대상으로 시험을 진행하는 반면, 순위를 결정하는 벤치마크 테스트는 벤치마크테스트의 목적에 부합하는 어떠한 제품도 시험에 응할 수 있다.

이러한 소비자의 새로운 요구사항을 반영하기 위해서는 기존의 벤치마크테스트 평가모델과 구별되는 특수 요소가 반영된 새로운 S/W 벤치마크테스트 평가모델의 개발이 절실히 필요하다.

본 연구에서는 이러한 요구사항을 만족시킬 수 있는 벤치마크테스트 평가모델 개발 및 프로세스에 대해 연구하고 있으며 향후 산업계에서 벤치마크테스트 수행 시 지침으로 활용할 수 있도록 하고자 한다.

2. 프로세스 정의

효율적인 벤치마크테스트 수행을 위해서는 벤치마크테스트 프로세스 정의가 선행되어야 한다. 그림은 일반적인 벤치마크테스트 수행을 위한 프로세스를 단계, 활동, 작업으로 구분하여 도식화 한 것이다.

2.1 벤치마크테스트 프로세스

2.1.1 요구분석 단계

시험 대상 항목과 벤치마크테스트 항목 리스트를 도출하기 위해 대상 S/W에 대한 철저한 분석을 실시한다. 분석 이후 항목 도출 시에는 벤치마크테스트에 참여하는 제품의 업체 개발자 및 담당자들과의 미팅을 통해 도출 항목에 대해 합의하고 실제 벤치마크테스트 가능 여부를 검증하기 위해 프로토 타입 단계를 포함하여 설계단계에 앞서 준비해야 할 조건을 파악한다.

2.1.2 계획단계

요구분석 단계에서 도출한 결과물들을 토대로 일정 및 자원 투입 계획을 구체적으로 산정한다.

[그림 1] S/W 벤치마크테스트 프로세스

별도의 교육이 필요한 경우 교육 계획을 수립하며 전문가 그룹을 구성하도록 한다. 시험환경 구축을 위한 환경설정과 시험도구 및 S/W 선정도 계획단계에서 이루어진다.

2.1.3 설계 단계

계획 수립 이후 도메인별 전문가 그룹을 구성하여 시험 대상 주요 항목 및 부가항목을 선정한다. 벤치마크테스트 항목 확정 이후 항목별 측정기준 및 공식을 도출하여 매트릭을 작성하고, 벤치마크 테스트에 참여하는 업체들과 항목에 대한 합의를 진행한 후 벤치마크테스트 평가모델을 완성한다.

2.1.4 실행 단계

개발된 평가모델의 각 항목 별 벤치마크테스트를 수행한다. 비교 대상 제품별로 동일한 조건에서 시험을 실시하고 시험 결과가 도출되면 결과에 대한 문제점을 정밀 검토 후 필요한 경우 보완 시험을 수행하고 결과를 정리한다.

2.1.5 마감 단계

벤치마크테스트의 절차 방법 및 비교분석 결과를 정리 검토하고 결과에 대한 고객 의견을 조사한다. 최종적으로 벤치마크테스트 과정 및 결과를 저장한다.

[표 1] 유형별 벤치마크테스트 프로세스

2.2 순위도출 형 프로세스 고려사항

[표 1]은 비교분석 형 벤치마크테스트와 순위도출 형의 벤치마크테스트의 프로세스를 비교한 도표이다. 도표에서 나타나듯이 일반적인 비교분석형 벤치마크테스트와 순위도출 형 벤치마크테스트는 동일한 프로세스를 준수하지만 각 단계별로 약간의 차이를 갖는다.

2.2.1 요구분석 단계

비교분석 형에서 벤치마크테스트 항목 협의 주체는 벤치마크테스트에 응하는 업체 벤치마크테스트 수행기관 전문가집단이다. 항목을 도출하고 확정하는 단계에서 특정 제품 또는 특정 기능에 편중되지 않도록 모든 참여 업체들과 협의 조율 과정이 수반된다.

반면 순위도출 형에서의 항목 협의 주체는 벤치마크테스트 의뢰기관, 벤치마크테스트 수행기관 전문가집단이다. 벤치마크테스트에 응하는 업체는 협의 주체 대상에 포함될 수 없다. 항목을 도출하고 확정하는 단계에서 의뢰 기관이 요구사항을 정확히 파악하고 전문가 집단 및 수행기관과의 협의 조율 과정이 수반된다.

2.2.2 설계 단계

설계단계의 최종 산출물은 벤치마크테스트 평가 모델이다. 최종 확정된 평가 항목들은 요구분석 단계와 마찬가지로 각각 참여 업체들과의 합의(비교분석형), 의뢰 기관과의 합의(순위도출형)를 필요로 한다.

[표1] 의 순위도출형 설계단계의 작업 영역을 살펴보면 평가모델 개발시 부가적으로 고려해야 할 사항으로 항목별 가중치 항목별 배점 과락 항목에 대해 언급되어 있다. 벤치마크테스트 목적에 따라 평가모델 개발 요소가 크게 달라짐을 알 수 있으며, 각 사항의 내용에 대해서는 3장에서 다루고 있다.

2.2.3 마감 단계

벤치마크테스트 수행 종료 후 마감단계에서는 각각 벤치마크테스트 항목 별 비교 분석 결과와 순위 표(순위도출형)를 산출하게 된다 결과에 대한 공표는 전자의 경우 각 참여업체들에게 공개되고 일반에 공표 여부는 또 다른 프로세스를 거쳐 공표 여부가 결정되게 된다. 하지만 후자의 경우 벤치마크테스트의 결과가 의뢰 기관에만 공개되며 참여업체 및 일반에 공개하지 않는다.

3. 평가모델 개발 이슈

3.1 가중치 부여

가중치는 시험 대상 제품의 평가항목 중요도에 따라 차등적으로 부여해야 하며 벤치마크테스트 의뢰기관, 벤치마크테스트 수행기관, 전문위원 3자의 충분한 의견 수렴을 거친 후 결정되어야 한다.

세부항목을 기준으로 벤치마크테스트 항목의 중요도를 2단계(필수항목, 부가항목)로 구분하여 가중치를 부여하는 방법, 3단계(필수항목, 중요항목, 부가항목)로 구분하는 방법 또는 더욱 세밀하게 구분하여 가중치를 부여할 수 도 있다. 하지만 통상적으로 2단계 또는 3단계 구분이 일반적인 가중치 부여 방법으로 사용되고 있다.

항목의 중요도를 3단계로 구분할 경우 평가모델이 간결하고 명확해 지는 반면 정밀도는 보다 세밀한 구분방법 보다 덜하게 된다. 반면 3단계로 구분할 경우 보다 정밀한 평가가 가능하지만 제품의 순위에 변동을 줄 만큼의 차이를 발생시키는 일은 드물다. 선정하기 위한 벤치마크 테스트에서는 제품을 도입하려는 벤치마크테스트 의뢰기관에서 중요하게 여기는 필수항목에 통상 50%이상의 배점을 할당하기 때문에 더욱 그러하다.

[표 2] 와 [표 3] 은 TTA에서 기 수행한 순위선정을 위한 벤치마크테스트 사례 중 일부 데이터이며, 가중치 단계와 항목 수를 나타내고 있다. 해당 벤치마크테스트에서는 총 40개의 세부항목에 대해 2단계 가중치를 4:1 비율로 부여하여 적용하였다.

[표 2] 2단계 가중치 및 항목 수

 [표 3] 3단계 가중치 및 항목 수

3.2 배점 기준

3.2.1 하향식 및 상향식 배점 부여

품질특성, 분류, 평가항목, 세부항목, 시험항목, 테스트케이스의 6단계의 레벨로 구성된 평가모델을 예로 들면 품질특성별로 큰 점수를 부여한 후 하향식으로 점수를 배분하는 Top-Down 방식과 테스트케이스마다 작은 점수를 부여하여 상향식으로 점수를 합산하는 Bottom-Up 방식이 존재한다. 언급한 두 가지 방식이 SW 벤치마크테스트의 일반적인 배점방식이다. 상기 가중치 부여 결과를 그대로 점수화하여 다음 하위 레벨에 배점하는 경우가 Top-Down 방식에 해당할 수 있다. 이렇게 Top-Down 방식을 적용할 경우 최하위레벨의 테스트케이스들 간의 형평성이 결여될 수 있는 문제점이 발생한다. 이러한 문제점은 Bottom-Up 방식의 장점을 반영함으로써 어느 정도 해소할 수 있다.

Bottom-Up 방식을 적용할 경우에는 가중치 부여 시 구분했던 필수항목, 중요항목, 부가항목들 각각에 대해서는 항목 내부에서 동일한 배점을 적용해야 한다. 이렇게 함으로써 Top-Down 방식을적용함으로써 발생하는 형평성 결여 문제점을 일부 해소할 수 있다.

3.2.2 기능구현여부와 기능구현 정확성

순위를 선정하는 벤치마크테스트는 기존 벤치마크테스트보다 다양한 제품들이 벤치마크테스트에 참여한다. 이때 기능 평가 항목이 모든 제품을 수용하기는 현실적으로 불가능하다. 어떠한 항목에 대해 해당 제품의 모호한 구현은 Pass/Fail을 판단하는데 어려움이 있다.

따라서 명확한 기준을 마련하기 위해 기능성에 속한 벤치마크테스트 항목은 실제 해당 기능

이 구현되어 있는지를 시험하는 “기능구현”과 구현된 기능이 의도한대로 정상 동작 하는지

여부를 시험하는 “정확성”으로 구분하여 배점한다.

이렇게 구분된 배점을 통해 모호하게 구현된 기능에 대해 부분점수를 부여할 수 있으며 부분 점수의 적용을 통해 벤치마크테스트를 수행하면서 발생할 수도 있는 오 측정의 역효과를 부분적으로 감소시킬 수 있다.

3.3 과락 항목 설정

구매를 위한 우선순위 도출을 목적으로 하는 벤치마크테스트 수행 시 대상 제품은 시험수행

기관 또는 의뢰기관에서 선정하는 것이 아니라 신청에 의해 접수된 제품을 대상으로 벤치마

크테스트를 수행하게 된다. 이러한 경우 목적에 부합하지 않는 제품들도 벤치마크테스트에 신청하는 경우도 있다.

과락 항목의 범위는 벤치마크테스트 의뢰자가 반드시 구현되어야 하며 정상적인 동작을 보장해야 한다고 여기는 항목과 간단한 예로 “제품은 정상적으로 설치 가능해야한다” 와 같은 시험 진행을 위한 필수 기본 항목으로 구성한다.

과락 항목 채택 여부는 실질적으로 벤치마크테스트 의뢰자와 협의 하에 채택하여야 하며, 이러한 과락 항목에 대해서는 모집공고 시 명확하게 공시하여야만 한다.

과락 항목에 대한 모집공고를 명확하게 공시하여도 해당 요구사항을 만족하지 못하는 제품들이 실제 벤치마크테스트에 응하는 사례가 다수 존재하며 현재까지 TTA에서 수행한 순위선정을 위한 벤치마크테스트 참여 업체 중 37.5% 가량이 해당 케이스로써 실격한 전례를 보인다. 일반적으로 과락 항목은 배점을 부여하지 않으며 Pass/Fail 형태의 특수 항목으로 분류한다.

4. 결론 및 향후 연구

본 논문에서는 각 제품의 기능별 성능별 비교분석을 통해 제품의 장단점을 파악하는 것을 목적으로 하는 기존의 벤치마크테스트 외에 최근 수요가 늘고 있는 순위 도출을 목적으로 하는 벤치마크테스트에 대해 연구하고 각 단계별로 주요 점검 요소를 도표로 정리하여 나타내었으며, 세부적으로 상이한 요소에 대해서 자세한 설명을 통해 해당 벤치마크테스트 프로세스 및 평가 모델 개발과 관련한 지침을 제시하였다.

향후 보다 다양한 가중치 부여 방법 개발에 관한 연구와 보다 공정한 배점기준에 관한 연구를 지속적으로 진행하여 평가모델에 반영하여야 하며, 이러한 연구를 통해 벤치마크테스트 목적에 부합하는 적합한 평가모델 개발이 가능할 것이라 예상된다.

[참고문헌]

[1] Benchmark handbook, http://www.benchmarkresoruces.com/handbook, 2004

[2] 소프트웨어 벤치마크테스트(BMT) 현황, 김재웅, 신석규, 2005년 3월, 정보처리학회지

[3] S/W 벤치마킹 테스트 및 품질 표시제 시행 방안에 관한 연구 보고서, 한국정보통신기술협회(TTA), 2002

[4] S/W분야별 벤치마킹 테스트 모델 개발 및 시범서비스에 관한 연구 보고서, 한국정보통신기술협회(TTA), 2002

[5] 벤치마킹 테스트 보고서, 한국정보통신기술협회(TTA), 2004

[6] 소프트웨어 품질 벤치마킹을 위한 평가기술에 관한 연구, 한국정보통신기술협회(TTA), 2001