[ISTQB_FL] 5장 - 테스트 관리

테스트 계획

---

• 테스트 계획서의 내용 : 테스팅 정황(예: 범위, 테스트 목적, 제약 사항, 테스트 베이시스), 테스트 프로젝트의 가정 및 제약 사항, 이해관계자(예: 역할, 책임, 테스팅 관련성, 채용 및 훈련 요구사항), 의사소통(예: 의사소통 방법 및 빈도, 문서 양식) , 리스크 목록(예: 제품 리스크, 프로젝트 리스크), 테스트 접근법(예: 테스트 레벨, 테스트 유형, 테스트 기법, 테스트 산출물, 시작 조건 및 완료 조건, 테스팅의 독립성, 수집할 메트릭, 테스트 데이터 요구사항, 테스트 환경 요구사항, 조직의 테스트 정책 및 테스트 전략과의 편차), 예산 및 일정

---

• 시작 조건
  • 자원의 가용성(예: 인력, 도구, 환경, 테스트 데이터, 예산, 시간), 테스트웨어 가용성(예: 테스트 베이시스, 테스트 가능한 요구사항, 사용자 스토리, 테스트 케이스), 테스트 대상의 초기 품질 수준(예: 모든 스모크 테스트가 합격함) 등
• 완료 조건 
  • 충분함에 대한 측정(예: 달성한 커버리지 수준, 해결되지 않은 결함 수, 결함 밀도, 실패한 테스트 케이스 수)과 종료 기준(예: 계획한 모든 테스트 실행, 정적 테스트 수행, 발견한 모든 결함 보고, 모든 리그레션 테스트 자동화 완료), 시간 및 예산의 소진 등

---

추정 기법

• 비율 기반 추정(Estimation based on ratios). 메트릭 기반 기법으로 조직에서 수행한 이전 프로젝트 수치를 수집해 유사 프로젝트를 위한 “표준” 비율을 도출한다. 이런 표준 비율을 가지고 새로운 프로젝트에 필요한 테스트 노력을 추정할 수 있다. 예를 들어, 이전 프로젝트에서 개발 노력 대 테스트 노력의 비율이 3:2였고, 현재 프로젝트에서 개발 노력을 600MD로 예상한다면, 테스트 노력은 400MD로 추정할 수 있다.
• 외삽법(Extrapolation). 메트릭 기반 기법으로 현재 프로젝트에서 데이터 수집을 위해 가능한 한 빨리 측정을 수행한다. 관찰 결과가 충분히 쌓이면 이 데이터를 가지고 외삽법(보통 수학적 모델 사용)을 적용해 남은 작업에 필요한 노력의 근사치를 추정할 수 있다. 이 방법은 반복적 소프트웨어 개발수명주기(SDLC)에 매우 적합하다. 예를 들어, 팀이 지난 세 번의 반복 주기에 들인 평균 노력으로 다음 반복 주기의 테스트 노력을 추정할 수 있다.
• 와이드밴드 델파이(Wideband Delphi). 반복적, 전문가 기반 기법으로 전문가의 경험을 기반으로 추정을 한다. 각 전문가는 독립적으로 노력을 추정한다. 결과를 수집해서 합의된 범위를 벗어난 편차가 있다면 전문가들이 각자의 추정치에 대해 논의 후, 논의 결과를 바탕으로 다시 한번 새로운 추정치를 제시한다. 합의에 도달할 때까지 이 과정을 반복한다. 
• 3점 추정(Three-point estimation)
  • 최종 추정치(E) =  ( a+ 4*m +b ) / 6
  • 가장 낙관적인 추정치(a), 유력한(확률적으로 가장 높은) 추정치(m), 가장 비관적인 추정치(b)

 

---

• 테스트 케이스 우선순위지정법
  • 리스크 기반 우선순위지정: 리스크 분석 결과에 따라 테스트 실행 순서를 결정한다.
  • 커버리지 기반 우선순위지정: 테스트 실행 순서를 커버리지(예: 구문 커버리지)에 따라 결정한다. 가장 높은 커버리지를 달성하는 테스트 케이스를 먼저 실행한다. 
  • 요구사항 기반 우선순위지정: 테스트 실행 순서를 해당 테스트 케이스의 기반이 되는 요구사항의 우선순위에 따라 결정한다. 요구사항의 우선순위는 이해관계자가 정의한다. 

---

리스크 관리

---

• 리스크 관리 활동
  • 리스크 분석  
    • 리스크 식별: 리스크 목록 생성
    • 리스크 평가: 식별한 리스크를 분류, 우선순위 결정, 조치 방법을 제안
  • 리스크 제어  
    • 리스크 완화 : 평가 때 제안된 조치를 실행
    • 리스크 모니터링 : 리스크 완화 조치가 효과적인지 확인, 새로운 리스크를 식별

---

• 제품 리스크 제어 : 분석한(식별 및 평가된) 제품 리스크에 취하는 모든 조치
  • 예를 들어, 테스팅을 통한 리스크 완화, 리스크 수용, 리스크 전가, 대안 계획 등이 이루어질 수 있다

테스팅으로 제품 리스크 완화를 위해 취할 수 있는 조치는 다음과 같다:

• 주어진 리스크 유형에 적절한 경험과 기술을 갖춘 테스터 선정
• 적절한 수준의 테스팅 독립성 적용
• 리뷰 및 정적 분석 수행
• 적절한 테스트 기법 및 커버리지 수준 적용
• 영향을 받는 품질 특성을 다루는 적절한 테스트 유형 적용
• 리그레션 테스팅을 포함한 동적 테스팅 수행

---

테스트 모니터링, 테스트 제어, 테스트 완료

---

 

• 테스팅에 사용하는 메트릭
  • 프로젝트 진행 상황 메트릭(예: 작업 완료율, 자원 사용률, 테스트 노력 투입률)
  • 테스트 진행 상황 메트릭(예: 테스트 케이스 구현 진행률, 테스트 환경 준비 진행률, 실행/미실행 및 합격/불합격 테스트 케이스 수, 테스트 실행 시간)
  • 제품 품질 메트릭(예: 가용성, 응답 시간, 평균 장애 시간)
  • 결함 메트릭(예: 발견/수정한 결함의 수와 우선순위, 결함 밀도, 결함 발견 비율)
  • 리스크 메트릭(예: 잔여 리스크 수준)
  • 커버리지 메트릭(예: 요구사항 커버리지, 코드 커버리지)
  • 비용 메트릭(예: 테스팅 비용, 조직의 품질 비용)

---

Q. 다음 중 제품 품질 지표인 것은?

a. 평균 고장 시간 b. 식별된 결함 수 c. 요구사항 커버리지 d. 결함 탐지율

답: a

b) 결함 메트릭

c) 커버리지 메트릭

d) 결함 메트릭

---

형상 관리

 

• 형상 관리(CM, Configuration Management)는 테스트 계획서, 테스트 전략서, 테스트 컨디션, 테스트 케이스, 테스트 스크립트, 테스트 결과, 테스트 로그, 테스트 보고서와 같은 작업 산출물을 형상 항목으로 식별, 제어, 추적하는 지침을 제공한다.
• 복잡한 형상 항목(예: 테스트 환경)의 경우, 형상 관리는 구성요소, 구성요소 간 관계, 각각의 버전 등을 기록한다.
• 테스팅을 적절히 지원하기 위해 형상 관리는 다음을 보장한다
  • 테스트 항목(테스트 대상의 개별 부분)을 포함한 모든 형상 항목에는 고유한 식별자가 부여되고, 버전이 관리되며, 변경사항이 있는지 추적되고, 다른 형상 항목과 가지는 연관성이 식별돼 테스트 프로세스 전체에서 추적성이 유지된다.
  • 식별된 모든 문서와 소프트웨어 항목은 테스트 문서에서 명확히 참조된다.
• 지속적 통합, 지속적 전달, 지속적 배포, 그리고 관련된 테스팅은 일반적으로 자동화된 데브옵스 파이프 라인으로 구현하며, 여기에 보통 자동화된 형상 관리가 포함돼 있다.

---

테스트 자동화의 효과와 리스크

 

• 테스트 자동화 활용 시 잠재적 리스크 :

• 도구의 효과(기능 및 사용 편의성 포함)에 대한 비현실적인 기대

• 도구 도입, 테스트 스크립트 유지 관리, 기존 수동 테스트 프로세스 변경에 필요한 시간, 비용, 노력에 대한 부정확한 추정

• 수동 테스팅이 더 적합한 곳에 테스트 도구 사용

• 도구에 지나치게 의존(예: 사람의 비판적 사고의 필요성 무시)

• 폐업, 도구 지원 중단, 다른 공급업체로 도구 매각, 열악한 지원(예: 문의, 업그레이드, 결함 수정에 대한 대응관련) 등의 문제가 생길 수 있는 도구 공급업체에 대한 종속성

• 지원이 중단되거나(즉, 더는 업데이트되지 않거나), 추가 개발을 통해 내부 컴포넌트를 빈번하게 업데이트해야 할 필요가 있을 수 있는 오픈소스 소프트웨어의 사용

• 자동화 도구가 개발 플랫폼과 호환되지 않을 수 있음

• 규제 요건/안전 표준을 준수하지 않는 부적합한 도구의 선택

---