2020 정보처리기사 - 애플리케이션 테스트 관리

ㆍSW 테스트

시스템이 사용자가 요구하는 기능과 성능 등을 만족하는지 확인하고 SW의 결함을 찾아내는 활동.

 

ㆍSW 테스트 필요성

오류 발견 관점 : 프로그램에 잠재된 오류를 발견하고 이를 수정하여 올바른 프로그램을 개발

오류 예방 관점 : 검토, 워크스루, 인스펙션 등을 통해 오류를 사전에 발견하는 예방

품질 향상 관점 : 사용자의 요구사항을 만족하도록 반복적인 테스트를 걸쳐 제품의 신뢰도를 향상.

 

ㆍ결함 집중

적은 수의 모듈에서 대다수의 결함 발생. (20%모듈에서 80%의 결함 발견)

 

ㆍ살충제 패러독스

동일한 테스트 케이스에 의한 반복적 테스트는 새로운 버그를 찾지 못함.

 

ㆍ오류-부재의 궤변

요구사항을 충족시켜주지 못한다면, 결함이 없다 해도 품질이 높다고 볼 수 없음.

 

ㆍSW 테스트 프로세스 

테스트 계획 - 테스트 분석 및 디자인 - 테스트 케이스 및 시나리오 작성 - 테스트 수행 - 테스트 결과 평가 및 리포팅

 

ㆍSW 테스트 산출물

테스트 계획서 , 테스트 케이스 , 테스트 시나리오, 테스트 결과서

 

ㆍ정적 테스트

프로그램 실행없이 구조를 분석하여 논리성 검증 (동료 검토, 워크스루, 인스펙션)

 

ㆍ동적 테스트

프로그램 실행을 요구하는 테스트 (블랙박스)

 

ㆍ화이트 박스 테스트

프로그램 내부 로직을 보면서 수행하는 테스트 (제어구조 테스트, 루프 테스트)

 

ㆍ블랙 박스 테스트 

프로그램 외부 사용자의 요구사항 명세를 보면서 수행하는 테스트 (동등 분할 테스트, 경계 값 분석 테스트)

 

ㆍ검증

개발자의 시각으로 SW가 기능을 올바르게 수행하는지 알아보는 과정

 

ㆍ확인

사용자의 시각으로 올바른 SW가 개발되었는지 확인하는 과정.

 

ㆍ테스트 목적에 따른 분류

회복 테스트 : 고의로 실패를 유도하고, 시스템의 정상적 복귀 여부 테스트

안전 테스트 : 소스 코드 내의 보안적인 결함을 미리 점검하는 테스트

강도 테스트 : 시스템이 과부하 시에도 시스템이 정상적으로 작동되는지 검증하는 테스트

성능 테스트 : 사용자의 이벤트에 응답하는 시간, 업무량 등 측정하는 테스트

구조 테스트 : 시스템의 내부 논리 경로, 소스코드의 복잡성을 평가하는 테스트

회귀 테스트 : 오류 제거, 수정에 의해 새로 유입된 오류가 없는지 확인하는 반복적 테스트

병행 테스트 : 변경된 시스템과 기존 시스템에 동일한 데이터 입력 후 결과를 비교하는 테스트

 

ㆍ테스트 종류에 따른 분류

명세 기반 테스트 : 요구사항 명세서를 기반으로 테스트 케이스를 선정하여 테스트(동등 분할, 경계 값 분석, 유스케이스)

구조 기반 테스트 : SW 내부 논리 흐름에 따라 테스트 케이스를 작성하고 확인하는 테스트(제어구조, 루프 테스트)

경험 기반 테스트 : 테스터의 경험을 토대로 한 직관,기술 능력을 기반으로 수행하는 테스트(오류추정, 체크리스트)

 

ㆍ테스트 케이스

요구사항에 준수하는지 확인하기 위해 개발된 입력값, 조건등 결과의 집합.

 

ㆍ테스트 케이스 작성 절차

테스트 계획 검토 및 자료 확보 - 위험 평가 및 우선순위 결정 - 테스트 요구사항 정의 - 테스트 구조 설계 및 테스트 방법 설정 - 테스트 케이스 정의 - 테스트 케이스 타당성 확인 및 유지보수

 

ㆍ테스트 오라클

테스트의 결과가 참인지 거짓인지 판단하기 위해 정의된 참 값을 입력하여 비교

 

ㆍ테스트 오라클 종류

참 오라클 : 모든 값에 대해 기댓값을 생성하여 발생된 오류를 모두 검출할 수 있음

샘플링 오라클 : 특정 입력값에 대해서만 기대하는 결과를 제공해주는 오라클

휴리스틱 오라클 : 샘플링 오라클을 개선, 특정값에 기대결과값을 제공, 나머지값에는 휴리스틱으로 처리

일관성 검사 오라클 : 애플리케이션 변경이 있을 때, 수행 전과 후의 결괏값이 동일한지 확인하는 오라클

 

ㆍ테스트 레벨 종류

단위 테스트 : 요구사항에 대한 단위 모듈, 서브루틴 등을 테스트 하는 단계

통합 테스트 : 각 모듈 간의 인터페이스 관련 결함을 찾기위한 체계적인 테스트 기법

시스템 테스트 : 통합된 단위 시스템의 기능이 시스템에서 정상적으로 수행되는지 검증하는 단계

인수 테스트 : 계약상의 요구사항이 만족되었는지 확인하기 위한 테스트

 

ㆍ테스트 시나리오

테스트 케이스의 집합, 테스트 케이스의 동작 순서를 기술한 문서

 

 

 

---

 

ㆍ하향식 통합

메인 제어 모듈로 부터 아래 방향으로 제어의 경로를 따라 하향식으로 통합하며 테스트 진행.

 

ㆍ하향식 통합 수행 단계

1. 메인 제어 모듈은 작성된 프로그램 사용하고 작성되지 않은 하위 모듈 제어.

2. 검사 초기에 시스템 구조 파악

3. 모든 하위 컴포넌트를 대신하여 더미 모듈인 스텁 개발

4. 깊이-우선, 너비-우선에 따라 스텁이 한번에 하나씩 실제 모듈로 대체

5. 각 모듈 또는 컴포넌트를 통합하면서 테스트 수행

6. 테스트 완료 후 스텁이 실제 모듈 또는 컴포넌트로 작성.

 

ㆍ상향식 통합

최하위 레벨의 모듈 또는 컴포넌트로부터 위쪽 방향으로 제어의 경로를 따라 이동하면서 구축과 테스트 진행

 

ㆍ상향식 통합 수행 단계

1. 하위 레벨의 모듈 또는 컴포넌트들이 하위 모듈의 기능을 수행하는 클러스터로 결합

2. 드라이버 작성

3. 통합된 클러스터 단위 테스트

4.클러스터는 위쪽으로 결합되며, 드라이버는 실제 모듈 또는 컴포넌트로 대체.

 

ㆍ빅뱅 테스트

모든 모듈을 동시에 통합 후 테스트 수행. 실제 모듈로 테스트.

단시간 테스트 가능, 장애 위치 파악이 어려움.

 

ㆍ테스트 자동화 도구

반복적인 테스트 작업을 스크립트 형태로 구현함으로써, 테스트 시간 단축과 인력 투입 비용을 최소화. 효율적 테스트.

객관적인 평가 기준을 제공, 고비용, 교육 및 학습 필요.

 

ㆍ테스트 자동화 도구 유형

정적 분석 도구, 테스트 실행 도구, 성능 테스트 도구, 테스트 통제 도구

 

ㆍ테스트 하네스

컴포넌트 및 모듈을 테스트하는 환경의 일부분. 테스트를 지원하기 위한 코드와 데이터이며 코드 개발자가 작성.

 

ㆍ테스트 하네스 구성 요소

테스트 드라이버, 테스트 스텁, 테스터 슈트, 테스터 케이스, 테스터 스크립트, 목 오브젝트

 

ㆍSW 결함

에러/오류 : 결함의 원인, 일반적으로 사람의 실수로 생성.

결함/버그 : 에러/오류가 원인이 되어 SW 제품에 포함되어 있는 결함. 제거하지 않으면 SW제품이 실패/문제발생.

실패/문제 : SW 제품에 포함된 결함이 실행될 때 발생되는 현상.

 

ㆍ테스트 리포팅

테스트 결과 정리 : 모든 테스트가 완료되면 테스트 계획 ~ 테스트 결과까지 모두 포함된 문서작성.

테스트 요약문서 : 테스트 계획, 소요 비용, 테스트 결과로 판단 가능한 대상 SW 품질 상태를 포함 가능한 문서 작성

품질 상태 : 정량화된 품질 지표인 테스트 성공률, 발생한 결함의 수, 결함의 중요도 등 포함

테스트 결과서 : 결함과 관련한 사항을 중점적으로 기록, 결함 내용, 재현 순서를 상세히 기록.

테스트 실행 절차 및 평가 : 테스트 실행 절차 리뷰 후 평가 수행. 그 결과에 따른 최적화하여 다음 테스트 적용.

 

ㆍ결함 관리

단계별 테스트 후 발생한 결함의 재발 방지 등을 위해 결함을 추적하고 관리하는 활동.

(결함 대장 관리, 테스트 활동 로그 등)

 

ㆍ테스트 커버리지

주어진 테스트 케이스에 의해 수행되는 SW의 테스트 범위를 측정하는 측정기준. 테스트 정확성, 신뢰성 향상

 

기능 기반 커버리지 : 테스트 대상 전체 기능을 모수로 설정. 실제 테스트가 수행된 기능 수를 측정

라인 커버리지 : 소스 코드의 라인 수를 모수로 설정, 테스트 시나리오가 수행한 소스코드 라인 수 측정

코드 커버리지 : 소스 코드의 구문, 조건 등 구조 코드 자체가 얼마나 테스트 되었는지를 측정

 

ㆍ코드 커버리지 유형

구문 커버리지 : 프로그램 내의 모든 명령문을 적어도 한 번 수행하는 커버리지

결정 커버리지 : 프로그램 내의 전체 결정문이 적어도 한 번은 참과 거짓의 결과를 수행하는 커버리지

조건 커버리지 : 결정 명령문 내의 각 조건이 적어도 한 번은 참과 거짓의 결과가 되도록 수행

조건/결정 커버리지 : 전체 조건문, 개별 조건식도 참, 거짓 한번 결과가 되도록 수행

변경 조건/결정 커버리지 : 개별조건식이 전체조건식에 독립, 조건/결정 커버리지를 향상 시킨 커버리지

다중 조건 커버리지 : 결정 조건 내 모든 개발 조건식의 모든 가능한 조합을 100% 보장.

 

ㆍ결함 심각도별 분류

치명적 결함 : 기능이나 제품의 테스트를 완전히 못하게 하는 결함 (데이터손실, 시스템충돌)

주요 결함 : 기능이 다르게 동작하거나 기능이 동작하지 않는 결함 (기능 장애)

보통 결함 : 프로그램이 특정 기준을 충족하지 못하거나 일부 기능이 부자연스러운 결함 (사소한 기능 오작동)

경미한 결함 : 사용상의 불편함을 유발하는 결함 (표준 위반, UI잘림)

단순 결함 : 사소한 버그, 기능에 영향이없지만 수정되어야 하는 결함 (미관상 좋지 않음)

 

ㆍ결함 우선 순위

결정적 : 24시간 내 즉시 수정. 전체 기능이 동작하지 않고 테스트 진행 불가

높음 : 결함으로 인해 다른 기능을 사용할 수 없을 때 우선

보통 : 올바른 에러 메시지가 출력되지 않는 것과 같은 에러

낮음 : 작은 기능 구현에 대한 요청

 

---

 

ㆍ애플리케이션 성능 측정 지표

처리량 : 주어진 시간에 처리할 수 있는 트랜잭션의 수

응답 시간 : 입력이 끝난 후 애플리케이션의 응답 출력이 개시될 때까지의 시간

경과 시간 : 사용자가 요구를 입력한 시점부터 트랜잭션 처리 후 그 결과의 출력이 완료될 때 까지 걸리는 시간

자원 사용률 : 트랜잭션을 사용하는 동안 사용하는 CPU사용량, 메모리 사용량, 네트워크 사용량

 

ㆍ성능 테스트 도구

JMeter : HTTP,FTP,LDAP 등 다양한 프로토콜을 지원하는 안전성,확장성,부하,기능 테스트 도구

LoadUI : UI를 통해 HTTP,JDBC등 주로 웹서비스를 대상으로 모니터링을 지원하는 부하테스트 도구

OpenSTA : HTTP,HTTPS 지원하는 부하 테스트 및 생산품 모니터링 도구

 

ㆍ시스템 모니터링 도구

Scouter : 단일 뷰 통합/실시간 모니터링, 튜닝에 최적화된 인프라 통합 모니터링 도구

Zabbix : 웹기반 서버, 서비스, 애플리케이션 모니터링 도구

 

ㆍDB관련 성능 저하 원인

DB LOCK : 대량의 데이터 조회, 과도한 업데이트 , 인덱스 생성 시 발생하는 현상

DB FETCH : 필요한 데이터보다 많은 데이터 요청이 들어올 경우 응답시간 저하 현상

연결 누수 : DB 연결과 관련된 JDBC 객체를 사용 후 종료하지 않을 경우 발생

부적절한 커넥션 풀 크기 : 너무 작거나 크게 설정한 경우 성능 저하 현상 발생

확정 관련 : 트랜잭션이 확정되지 않고 커넥션 풀에 반환될 때 성능 저하 발생

 

ㆍ애플리케이션 성능 테스트 수행 절차

성능 테스트 도구 설치 - 테스트 환경 설정 - 시나리오 생성 - 성능 테스트 실행 및 모니터링

 

ㆍ소스코드 최적화

읽기 쉽고 변경, 추가가 쉬운 클린코드를 작성하는 것.

 

ㆍ나쁜 코드

다른 개발자가 로직을 이해하기 어렵게 작성된 커드.

 

ㆍ클린 코드

가독성이 높고, 단순하며 의존성을 줄이고 중복을 최소화하여 깔끔하게 잘 정리된 코드