[CSTS 요약 정리] 3. 테스트 프로세스

테스트 프로세스

 

• 테스트 프로세스
  • 조직 테스트 프로세스
  • 테스트 관리 프로세스
    1. 테스트 계획: 테스트 대상과 범위를 식별. 조직 테스트 프로세스를 참고하여 테스트 전략 수립
       • 테스트 계획서(테스트 계획 활동의 산출물) 구성항목 : 테스트 컨텍스트, 위험 분석, 테스트 전략, 테스트 수행 계획
       • 테스트 계획 → 테스트 설계 및 구현 → 테스트 환경 구축 및 관리 → 테스트 실행 →
    2. 테스트 모니터링 및 제어: 동적 테스트 프로세스의 수행을 모니터링하여 테스트 현황 파악, 테스트 활동 제어
       • 모니터링을 바탕으로 다음과 같은 제어가 수행될 수 있다.
       • 동적테스트활동의 시작을 결정
       • 동적테스트활동의 종료를 결정
       • 테스트 계획과의 차이가 있다면 이를 해결하기 위한 작업을 수행
       • 위험 관리
    3. 테스트 종료: 테스트가 종료되면 생성된 산출물을 관리하고 테스트 환경을 정리. 테스트 종료 보고.
       • 테스트 종료 보고서(테스트 종료 활동의 산출물) 구성항목: 테스팅 요약, 계획 대비 차이점, 테스트 방해요인, 테스트 메트릭, 결함목록, 잔존위험, 테스트 완료 평가, 테스트 산출물, 재사용가능한 테스트 자산, 교훈
  • 동적 테스트 프로세스
    1. 테스트 설계 및 구현: (테스트 계획에서 정의된) 테스트 대상, 범위, 피처를 바탕으로 피처집합을 식별하고 각 피처를 세분화. 테스트 범위와 테스트 전략을 구체화하며, 이에 따라 테스트케이스 및 테스트 절차 개발
       • 테스트 설계 및 구현 활동의 산출물 구성항목: 테스트 설계 명세서, 테스트 케이스 명세서, 테스트 절차 명세서, 테스트 환경요건 명세서, 테스트 데이터 요건 명세서
    2. 테스트 환경 구축 및 관리: 테스트 실행을 위한 테스트 환경과 테스트 데이터를 준비
       • 테스트 환경 구축 및 관리 활동의 산출물 구성항목: 테스트 환경 준비 보고서, 테스트 데이터 준비 보고서
    3. 테스트 실행: 테스트 절차를 실행, 테스트 실행 결과를 기록
    4. 결함 보고: 테스트 실행 결과에 대한 분석을 바탕으로 결함을 식별하고 기록

 

---

• 테스트 계획서: 테스트컨텍스트, 위험 분석, 테스트 전략, 테스트 수행계획

☆암기☆

Q. 다음중 테스트 계획서에 포함되지 않는 항목은?

---

 

1. 테스트 컨텍스트 명세: 테스트 수행의 배경이 되는 다양한 요소를 명세

• 테스트 계획 유형: 테스트 계획서가 목표로 하는 테스트 계획의 유형
• 테스트 대상: 테스트하고자하는 대상 +테스트 대상의 미션이나 비즈니스 목표 등
• 테스트 범위: 테스트하고자하는 피처들을 나열
• 가정 및 제약사항: 테스트 수행에 고려/준수해야할 사항 (표준, 정책, 전략, 일정, 비용, 인력 등)
• 이해관계자: 이해관계자(개발팀, 마케팅팀 등)를 파악하고 의사소통 방법을 결정

---

2. 위험 분석: 테스트 프로젝트에서 발생할 수 있는 위험요소를 식별하고, 분석하여 조치 계획을 수립

• 프로젝트 위험
• 제품 위험

---

3. 테스트 전략 수립: 테스트를 효과적이고 효율적으로 수행하기 위한 다양한 전략을 결정

• 개별 테스트: 프로젝트 테스트를 구성하는 개별 테스트
• 테스트 산출물 
• 테스트 설계기법
• 테스트 환경요건: 테스트 실행을 위한 테스트 환경요소
• 테스트 데이터 요건: 테스트 실행 시 필요한 테스트 데이터
• 재테스팅 및 리그레션 테스팅: 재테스팅 및 리그레션 테스팅 방법
• 테스팅 중단 및 재시작 조건
• 테스트 메트릭: 테스트를 수행하면서 측정할 메트릭을 결정. (메트릭은 테스트 활동 수행과 결과를 정량적으로 판단하는데 사용)
• 테스트 완료 기준: 테스트 완료 여부를 판단할 기준 (충분한 테스트를 수행하였다고 판단할 수 있는 기준)
• 조직테스트 전략과의 차이점

---

• 테스트 메트릭
  • 결함보고활동 메트릭
    • 검출 결함 수
    • 검출 결함 밀도 = 검출 결함 수 / 대상 코드 행 수
    • 상태별 결함 수 = 결함 생명주기의 각 상태별 결함 수
    • 결함 나이 = 결함이 보고되고 종결될 때까지 걸린 시간

---

• 테스트 완료 기준 예시
  • 컴포넌트의 테스트 완료 기준
    • 테스트 케이스(테스트 절차) 기반 기준: 90%의 TC가 통과, TCS-10번과 TCS-20번 TC가 통과
    • 테스트 커버리지 기반 기준: 95%의 문장 커버리지가 충족
    • 결함 기반 기준: 2개이하의 결함만 허용, 심각한 결함이 존재하지않아야함

 

---

4. 테스트 수행 계획 수립

• 테스트 조직/인력 및 역할
• 테스트 활동 및 일정
• 의사소통
   

---

1. 테스트 설계/구현

 

• 테스트 설계

 

---

• 테스트 설계
  • 테스트 설계 작업  
    • 피처집합 식별: 테스트 범위를 구성하는 피처를 바탕으로 피처집합을 결정. 위험요소 등을 고려하여 각 피처 집합에 대한 우선순위 결정
      • 피처집합은 테스트 설계 및 구현, 테스트 환경 구축 및 관리, 테스트 실행 활동의 단위가 된다. 따라서 피처집합별로 테스트케이스 및 테스트 절차가 개발된다.
    • 피처 구체화: 피처집합의 각 피처를 구체화하여 세부 피처들을 식별. 각 세부피처에 대하여 우선순위를 결정
    • 테스트 전략 구체화: 피처 집합별로 테스트 전략을 구체화. 
  • 테스트 설계 명세서 (테스트 설계 작업의 결과물)
    • 식별된 각 피처 집합별로 다음을 명시한다.
    • 목적: 피처 집합을 통해 확인하고자 하는 테스트 대상에 대한 목표 및 범위
    • 우선순위: 해당 피처집합에 대한 우선순위
    • 추적성: 해당 피처집합에 포함된 피처에 테스트 베이시스(요구사항명세서, 구조설계명세서 등)에 대한 참조사항
    • 구체적 테스트 전략: 해당 피처집합에 대하여 적용하고자하는 테스트 설계 기법, 테스트 환경요건 등 구체화된 테스트 전략을 기술
    • 피처 목록: 해당 피처집합에 포함된 피처들을 나열. 
      • 각 세부피처에 대해서는 다음을 명시한다.
        • 세부 피처 설명: 무엇을 테스트할지 기술
        • 세부피처 우선순위
        • 세부피처 추적성: 테스트 베이시스의 해당 항목과 관련된 참조사항

---

• 테스트 케이스 개발
  • 테스트케이스 명세서  항목
    • 각 테스트케이스에 대하여 다음을 명시한다.
    • 목적
    • 추적성
    • 우선순위
    • 선행조건
    • 입력
    • 예상결과

---

• 테스트 절차 개발
  • 테스트절차 명세서 항목
    • 각 테스트 절차에 대하여 다음을 명시한다.
    • 목적
    • 우선순위
    • 시작작업
    • 실행 테스트케이스 목록
    • 종료 및 정리작업
    • 다른 테스트절차와의 관계  

---

• 테스트 환경요건 명세
  • 테스트 환경요건 명세서 항목
    • 각 테스트 환경 항목에 대하여 다음을 명시한다.
    • 테스트 환경 항목명
    • 설명: 해당 테스트 환경 항목이 어떤 목적으로 활용되는지
    • 요구사항
    • 필요시기
    • 담당자

---

• 테스트 데이터 요건 명세
  • 테스트 데이터요건 명세서 항목
    • 각 테스트 데이터에 대하여 다음을 명시한다.
    • 테스트 데이터명
    • 설명: 해당 테스트 데이터가 어떤 목적으로 활용되는지
    • 요구사항
    • 초기화 필요여부
    • 보관 필요여부
    • 담당자

 

---

2.  테스트 환경 구축/관리

• 테스트 환경 구축
• 테스트 데이터 준비

---

3. 테스트 실행 : 테스트 절차를 실행, 테스트 실행 결과를 기록
 

• 테스트 절차 선정: 테스트 실행 순서 결정은 우선순위를 이용한 방법과 테스트 완료 기준을 이용한 방법이 있다.
  • 우선순위 전략
  • 테스트 완료 기준 전략: 테스트 완료 기준 달성에 가장 큰 기여를 할 수 있는 테스트 절차를 먼저 실행한다.
• 테스트 절차 실행
  • 테스트레벨에 따른 테스트를 실행하는 주체

테스트 레벨	개발자	테스터	사용자
컴포넌트 테스트	O	O
통합테스트	O	O
시스템테스트	O	O	O
인수 테스트		O	O

• 테스트 결과 비교
• 테스트 실행 기록

 
 

---

4. 결함 보고
 

• 테스트 결과 분석
• 결함 기록
  • 결함보고서에 다음 항목을 기록한다.
  • 결함 컨텍스트: 결함 발생상황(결함을 검출한 개별 테스트, 테스트 대상, 테스트 환경, 테스트절차 및 테스트케이스, 결함을 발생시킨 테스트 데이터)
  • 결함 설명: 실제결과(결함을 고립화하고, 일반화하여 결함의 해결을 도울수있는 정보도 기술), 이상상황 (실제 결과와 예상 결과의 차이점에 대한 분석내용, 예상치않게 발견된 오동작 상황)
  • 심각도 (+결함해결소요 예상 시간, 임시 우회방법)
  • 우선순위: 결함해결의 긴급성
  • 위험분석
  • 결함 상태: open, assigned, resolved 등
• 결함 추적
  • 결함 생명 주기

결함 생명 주기

 

---

---

 

※심화 공부 ※

---

 

단위테스트에서 모듈을 단독적으로 실행하기 위해 테스트드라이버와 테스트스텁이 필요하다. 

•  테스트 드라이버 : 상향식 테스트 시, 하위모듈을 테스트 하기 위해 상위의 가짜모듈인 드라이버를 호출. 필요한 테스트데이터를 넘겨주고, 테스트 완료 후 그 결과값을 받는다. →테스트 대상 모듈을 호출함 

↔

•  테스트 스텁 : 하향식 테스트 시, 상위모듈을 테스트 하기 위해 하위의 가짜모듈인 스텁을 호출.  필요한 테스트데이터를 받아 수행한 후, 그 결과를 테스트할 모듈에 넘겨준다.  → 테스트 대상 모듈에 의해 호출됨