PSC64 Testing Guideline

PSC64 Testing Guideline

 

[테스트 환경]

Windows7 SP1 64bit(클린 OS) + Internet Explorer 9 64bit (기본 브라우저로 지정)

- UAC off

- 방화벽 off

- 윈도우 디펜더 off

- 2명의 테스터(테스트 결과를 상호 점검하여 오류를 제거)

 

[Step]

1. 테스트 할 제품을 설치하기 전에 SSTS64 Configurator 툴을 사용하여 시스템의 스냅샷을 생성하라.

이때 반드시 64비트 IE 9 와 작업 관리자를 실행한 상태에서 툴을 실행해야 함.

도스창에서 다음 명령을 실행한다.

>configurator.exe –c 스냅파일명 (시스템 리소스와 시간이 많이 걸림… 약 30분)

 

[스냅샷에 포함되는 정보들]

- 프로세스

- 시스템 서비스와 드라이버

- 로컬 디스크에 설치된 파일과 디렉토리

- 레지스트리 항목

 

2. 테스트 할 제품을 설치하라.

3. 시스템을 재부팅하라.

4. 보안 제품을 최신 업데이트하라.

5. IE 9 64bit 를 실행하여 웹 페이지를 방문하라.

윈도우 탐색기를 통해 인터넷 페이지를 방문하라.

임의로 서명된 어플리케이션의 코드 서명된 인증서에 대한 정보를 확인하기 위해 ping.exe 을 사용해서 IP주소에 핑하라.

schtasks.exe 를 사용하여 작업을 예약하라.(ex. schtasks /create /tn "execute notepad" /tr c:\windows\notepad.exe /sc daily /st 15:15)

wscript.exe 로 비쥬얼 베이직 스크립트를 실행하라.

Hello.vbs

작업관리자를 실행하여 몇개의 프로세스를 종료하라.

시스템을 재부팅하라.

cmd.exe 를 부모 프로세스로 사용하여 프로그램들을 실행하라.(특히 파라메터로 실행될 수 있는 64bit IE9 와 윈도우 탐색기 등)

테스트 제품이 어떤 행동에 대한 질문을 한다면 “허용”을 선택하고 가능하다면 저장할 수 있도록 하라.

6. 테스트 할 제품을 최대로 사용 가능한 보안 수준으로 설정하라.(Methology and rules 참조)

제품에 의한 자동 결정을 최대한 배제하고 사용자의 의사 결정에 따라 이벤트를 처리하도록 설정할 것.

ex) hosts 파일 보호 on, 파일 무결성 검사 on, 네트워크 규칙 초기화, 프로그램 규칙 자동 추가 off

7. 테스트 제품을 인터랙티브 모드 혹은 그와 유사한 동작을 하도록 설정되었는지 확인.

이는 어플리케이션의 모든 결정되지 않은 행위에 대해 사용자의 의사를 반영하도록 한다.

ex) 방화벽 알림창, 자체보호 알림창 on

8. SSTS64 환경설정 툴을 사용하여 현재의 환경 설정 파일을 생성하라. 환경 설정 툴이 동작하고 있을 때 64비트 IE 와 작업 관리자 그리고 테스트 제품의 GUI가 반드시 실행중이어야 한다.

ssts64.conf 파일에 생성된 LAN 인터페이스 주소도 설정해야 한다. 파일 리스트와 레지스트리 항목이 테스트 제품과 인스톨러에 의해 생성된 것만 포함될 수 있게 설정 파일을 수정하라.

> configurator.exe –X [스냅샷 파일]

옵션:

-c    시스템 스냅샷 생성 및 저장

-x    스냅샷으로 환경설정 파일 생성(하위 디렉토리를 포함하지 않음)

-X    스냅샷으로 환경설정 파일 생성(하위 디렉토리를 포함)

  

9. 가능하다면 제품 종료 시도에 대한 패스워드 보호 기능을 활성화하라.

10. 시스템 재부팅 후 5번 스텝을 반복하고 윈도우 업데이트를 수행하라. 모든 일반적인 행위가 제품의 질의창을 발생시키지 않는 것을 확인하라. 아직도 물어본다면 이 조건을 만족하도록 설정을 변경하고 이 스텝을 반복하라.

11. 머신에서 더 이상 경고가 발생하지 않는다면 테스트할 준비가 된 것이다. IE9 64비트와 작업 관리자를 실행하고 테스트 하는 동안 실행하도록 하라. 테스트 제품의 GUI도 열려있어야 한다.

12. 테스트 머신에 테스트 파일을 복사하라. 만일 제품의 엔진과 관련된 문제가 생기면 파일 복사에 대한 예외를 허용하라. 불가능 하다면 AV 엔진을 비활성화하라.

13. 시스템 상태를 저장하라.

14. 테스트를 수행하라. 제품이 테스트를 통과하면 다시 반복하고 두번째에도 통과한다면 성공으로 기록하고 다음 테스트를 진행하라. 만일 테스트를 실패한다면 실패로 기록하고 저장된 시스템 상태를 복원하고 다음 레벨의 테스트를 진행하라. 테스트 중 BSOD 나 시스템이 파손되어 재부팅이 불가하거나 다른 방식으로 심하게 손상을 입은 경우 테스트가 실패한 것으로 간주한다.

15. 종료 테스트 기법이 성공하더라도 종료된 프로세스가 없기 때문에 테스트를 실패로 보고하지 않는다면, 몇 번 더 반복하고 최대한 제품을 사용하도록 하라. 제품 업데이트, 시스템 검사 수행, 제품이 로그를 기록하고 리포트를 작성하는 것과 관련된 여러 행위 등이 예가 될 수 있다. 주어진 테스트에 대한 점수 정의를 따르는 테스트 결과가 의심스럽다면 테스트가 보고하는 결과를 맹신하지 마라. My leaks 페이지나 네트워크 패킷 스니퍼가 유용할 수 있다.

 

Tip.

1. 테스트를 시작하기 전에 환경설정 파일(ssts64.conf)을 해당 테스트 레벨 폴더에 복사할 것.

2. 시작 프로그램 폴더에 다음 프로그램의 바로가기를 생성하여 재부팅시 자동 시작하면 편리하다.

- %system32%cmd.exe

- %program files%Internet explorer\iexplore.exe

- %system32%taskmgr.exe

- 제품 메인UI 실행 프로세스