ISO/IEC/IEEE 29119-1:2022와 29119-5:2024는 키워드 기반 테스트(keyword-driven testing)를 키워드로 구성한 테스트 케이스를 쓰는 테스트로 정의한다. 두 부는 키워드(keyword)를 하나 이상의 테스트 케이스를 실행하는 동안 수행할 특정한 동작 묶음을 가리키는 하나 이상의 낱말로 정의하고, 정의에 단 Note에서 그 동작의 예로 테스트 중의 사용자 인터페이스 조작, 검증, 테스트 시나리오를 꾸리는 동작을 든다.[1][2] 29119-5:2024의 Note는 키워드가 흔히 파라미터를 두어 여러 데이터로 쓰인다는 것을 제시한다.[2]
같은 정의의 Note는 키워드 이름에 동사를 적어도 하나 쓴다는 것도 제시하고, ISTQB CTAL-TA(Certified Tester Advanced Level Test Analyst) 강의계획서도 키워드가 동사를 담아야 한다고 정한다.[2][3]
수동 테스트와 자동화
키워드 기반 테스트는 테스트 자동화에 흔히 쓰이지만, 자동화하지 않는 수동 테스트에도 쓸 수 있다.[2][4] ISTQB 용어집은 키워드 기반 테스트를 테스트 스크립트에 키워드를 담고, 그 키워드를 구현하는 스크립트를 지원 파일에 두는 테스트 자동화 접근으로 정의하고, 동의어로 action word-driven testing을 둔다.[5] CTAL-TA 강의계획서에 따르면 키워드 기반 테스트를 수동 테스트에 쓰면 뒤에 자동 테스트로 옮겨 가기 쉬워진다.[3]
29119-5:2024의 5절(참고)은 자동화할 때는 키워드마다 그것을 실행하는 코드(keyword execution code)를 소프트웨어로 구현하고, 수동으로 할 때는 키워드가 가리키는 동작을 사람이 수행하므로 실행 코드가 없다는 것을 제시한다. 이 코드는 고른 도구나 테스트 실행 엔진과 테스트 인터페이스에 따라 달라진다.[2]
층
5절(참고)은 키워드를 추상화 수준이 다른 층으로 나누는 것을 제시하고, 전형적인 층으로 다음 둘을 든다.[2]
- 도메인 층(domain layer): 테스트 항목에 대한 가장 높은 추상화 수준으로, 이 층의 키워드는 도메인 전문가에게 익숙한 말로 고른다.
- 테스트 인터페이스 층(test interface layer): 키워드의 가장 낮은 추상화 수준으로, 테스트 항목과 바로 상호작용하며 테스트 인터페이스에서의 가장 작은 상호작용을 감싼다.[2]
5절(참고)은 두 층 사이에 중간 층을 둘 수 있고, 한 키워드 테스트 케이스에 서로 다른 층의 키워드를 섞어 쓰면 유지보수 문제의 원인이 될 수 있으므로 섞지 않을 것을 제시한다.[2]
키워드의 종류
이 표준은 키워드를 짜임새와 수준으로 다음과 같이 정의한다.[2]
- 복합 키워드(composite keyword): 다른 키워드 둘 이상으로 이루어진 키워드
- 상위 키워드(high-level keyword): 다른 키워드로 구성할 수 있는 복잡한 활동을 다루며, 도메인 전문가가 키워드 테스트 케이스를 짜는 데 쓰는 키워드
- 하위 키워드(low-level keyword): 단순한 동작 하나나 몇 개만 다루고 다른 키워드로 구성하지 않는 키워드[2]
5절(참고)은 다른 키워드로 구성하지 않는 단순 키워드(simple keyword)가 흔히 테스트 인터페이스 층에 놓인다는 것과, 키워드를 적어도 테스트 항목에 입력을 주는 navigation 단계와 테스트 항목의 출력을 확인하는 verification 단계의 두 갈래로 나누는 것을 제시한다.[2]
5절(참고)은 테스트 실행이 실패하는 까닭을 둘로 든다. 테스트 케이스의 확인에서 실제 출력과 기대 출력이 어긋나는 경우는 소프트웨어 failure를 뜻할 수 있고, 테스트 케이스의 일부 단계를 실행할 수 없는 경우는 실행이 막힌(blocked) 것이다. 키워드, 키워드 실행 코드, 테스트 환경의 결함으로 실행할 수 없는 테스트 케이스도 막힌 것에 든다. 그래서 프레임워크가 결과를 failed와 blocked로 따로 매겨, 실패의 원인을 한눈에 알아보게 하는 것을 제시한다.[2]
키워드 기반 테스트 프레임워크
이 표준은 키워드 기반 테스트 프레임워크(keyword-driven testing framework)를 키워드 기반 편집기, decomposer, data sequencer, 키워드 라이브러리, 데이터 저장소, 테스트 환경의 기능과, 이들의 상호작용과 쓰임을 정하는 조직의 프로세스를 아우르는 테스트 프레임워크로 정의한다. 정의에 단 Note는 수동 키워드 기반 테스트에서는 수동 테스트 보조 기능이, 자동화한 키워드 기반 테스트에서는 테스트 실행 엔진, tool bridge, 스크립트 저장소의 기능도 든다는 것을 제시한다. 구성 요소의 정의는 다음과 같다.[2]
- decomposer: 상위 키워드를 모든 수준에 걸쳐 그것을 이루는 하위 키워드의 순서로 풀어내는 구성 요소
- data sequencer: 필요하면 여러 계층 수준에 걸쳐 키워드의 파라미터를 데이터로 바꾸는 구성 요소
- 키워드 라이브러리(keyword library): 테스트 케이스를 쓰는 데 쓰는 말과 추상화 수준을 반영한 키워드의 저장소. keyword dictionary라고도 부른다.
- 테스트 실행 엔진(test execution engine): 테스트 항목에 데이터를 넘기고 실행시킨 뒤 데이터를 받아 테스트 케이스를 실행하는 도구
- tool bridge: 키워드를 테스트 실행 엔진이 실행할 코드와 데이터로 대응시켜 바꾸는 구성 요소[2]
ISO/IEC/IEEE 29119-5
이 표준은 키워드 기반 테스트의 소개와 구현의 참조 접근을 주고, 테스터가 테스트 케이스, 테스트 데이터, 키워드 같은 작업 산출물을 나눌 수 있게 하는 프레임워크의 요구사항과 키워드 기반 테스트를 지원하는 도구의 요구사항을 정한다. 서로 다른 벤더의 도구가 테스트 케이스, 테스트 데이터, 테스트 결과를 주고받도록 인터페이스와 공통 데이터 교환 형식을 정하고, 계층적인 키워드의 수준을 정하며, “inputData”나 “checkValue” 같은 일반적인 기술 수준(하위) 키워드의 첫 목록을 예로 든다.[2]
CTAL-TA 강의계획서의 층과 갈래
CTAL-TA 강의계획서에 따르면 키워드는 적어도 도메인 층과 테스트 인터페이스 층의 두 층에 놓이고, 중간 층을 더 두면 키워드의 유지보수를 도울 수 있다. 이 강의계획서는 키워드를 action과 verification 두 갈래로 나눈다. action 키워드는 테스트 대상, 테스트 환경, 다른 컴포넌트나 시스템과 상호작용하고, verification 키워드는 실제 결과가 기대 결과와 맞는지 평가하는 assertion을 나타낸다.[3]
데이터 기반 테스트
데이터 기반 테스트(data-driven testing)는 테스트 데이터를 동작의 순서와 떼어 두고, 같은 동작 순서를 여러 데이터 묶음으로 되풀이해 실행하는 방법이다.[2][6] ISTQB 용어집은 이를 테스트 자동화 접근으로 정의한다.[6]
29119-5:2024의 5절(참고)은 데이터 기반 테스트가 키워드 기반 테스트와 별개이지만 함께 쓰이는 일이 많다는 것과, 데이터를 표, 스프레드시트, 데이터베이스에 둘 수 있다는 것을 제시한다.[2] ISTQB CTAL-TAE(Certified Tester Advanced Level Test Automation Engineering) 강의계획서에 따르면 데이터 기반 테스트에서는 테스트 분석가가 테스트 데이터 파일을 채워 자동화한 테스트를 명세할 수 있고, 키워드 기반 테스트는 흔히 데이터 기반 테스트 위에 세운다.[4] 테스트 자동화의 다른 접근은 테스트 자동화에서 다룬다.