한컴테크를 통해 한컴의 기술을 공유합니다. 한컴의 프로그래밍, 프레임워크, 라이브러리 및 도구 등 다양한 기술을 만나보세요. 한컴 개발자들의 다양한 지식을 회사라는 울타리를 넘어 여러분과 공유합니다. 한컴이 제공하는 기술블로그에서 새로운 아이디어와 도전을 마주하고, 개발자가 꿈꾸는 미래를 실현하세요.

한컴테크

생성형 AI와 테스트 케이스 자동 생성: 반복 업무 자동화로 품질 혁신

글쓴이 /
요약

생성형 AI는 QA의 반복 업무를 줄여 효율을 높이고, QA 엔지니어는 전략과 혁신에 집중할 수 있습니다.

글로벌 기업의 품질 보증 영역에 생성형 AI 활용 현황

최근 생성형 AI의 발전은 소프트웨어 품질 보증(QA) 분야에도 빠르게 확산되고 있습니다. 여러 글로벌 기업은 이를 활용해 테스트 효율과 품질을 높이는 성과를 보고하고 있습니다.

  • AWS는 자연어 기반 생성형 AI를 활용해 테스트 케이스 생성 시간을 최대 80%까지 단축했다고 보고했습니다. 요구사항 분석과 시나리오 도출 과정에서 AI가 유의미한 기여를 한 사례입니다.
  • BrowserStack은 Test Case Generator Agent를 통해 빠른 테스트 케이스 생성과 높은 커버리지를 확보했습니다. 이는 속도뿐 아니라 품질 측면에서도 AI가 기여할 수 있음을 보여줍니다.
  • Autify의 Genesis AI를 통해 요구사항 문서 기반 자동 테스트 케이스 생성을 제공하며, QA 팀이 반복 업무에서 벗어나 품질 개선과 전략적 업무에 집중할 수 있도록 지원합니다.
  • TestRigor 등 일부 플랫폼은 end‑to‑end 테스트 케이스를 자동 생성할 뿐 아니라, CI/CD 파이프라인과 통합해 지속적 테스트 흐름에 적용되고 있습니다.
  • Qodo(전 CodiumAI)는 TestGPT, CoverAgent 등 다양한 도구를 통해 테스트 케이스 생성뿐 아니라 코드 리뷰, 테스트 계획 생성, 커버리지 추적까지 지원하며 개발자 IDE와 연동해 작업 효율을 향상시킵니다.
  • AI 기반 결함 예측 분야에서도 활용이 늘고 있습니다. 예를 들어, Capgemini 보고에 따르면 북미 QA 리더의 약 66%가 AI를 활용한 리스크 기반 테스트 최적화를 이미 도입하거나 검토 중입니다.
  • AI 기반 Self‑Healing 테스트 케이스도 주목받고 있습니다. Forrester는 AI가 UI 변경을 감지해 테스트 스크립트를 자동 수정하는 기술이 도입되어 테스트 유지 보수 노력을 약 25% 줄인 사례를 보고했습니다.

이러한 성공적인 활용 사례들은 생성형 AI가 테스트 영역에 변화를 가져오고 있음을 보여줍니다. AI는 단순 자동화를 넘어 요구 사항을 분석하고 누락되기 쉬운 시나리오와 예외 상황까지 제안할 수 있는 수준에 이르렀습니다. 이에 따라 QA는 테스트 설계 속도뿐 아니라 품질 일관성 확보와 커버리지 확대 효과도 기대할 수 있습니다.

여러 품질 보증 활동 중 테스트 케이스 작성은 QA의 핵심 기능이자 가장 많은 리소스를 요구하는 업무입니다. 생성형 AI를 활용한 테스트 케이스 작성 방법을 알아보겠습니다.

테스트 케이스 작성 시 프롬프트 구성

반복적이고 구조화된 테스트는 AI가 빠르게 대량 생성할 수 있습니다. 요구 사항 분석 단계에서 생성형 AI를 활용하면 테스트 조건을 빠르게 추출하고 목록화할 수 있으며, 표준 템플릿을 미리 정의해 두면 템플릿에 자동으로 내용을 채워 넣어 서식 작업 시간을 줄일 수 있습니다.

이를 통해 테스트 준비와 실행 주기를 단축할 수 있고, QA 엔지니어는 고위험 시나리오 설계, 탐색적 테스트, 품질 전략 수립에 집중할 수 있습니다.

효과적인 테스트 케이스 생성을 위해서는 프롬프트 작성 원칙이 중요합니다. 처음부터 완벽한 지시문을 만들기보다 간단히 시작해 결과를 점진적으로 보완하는 이터레이션 방식이 효율적입니다.

원하는 출력 형식과 예시를 제공하면 정확도가 높아지고, 불필요한 정보는 결과 품질을 떨어뜨릴 수 있으므로 핵심 정보만 포함하는 것이 좋습니다.

프롬프트에 따라 결과가 크게 달라질 수 있으므로, 아래 프롬프트 가이드를 참고해 일관된 원칙을 적용하는 것을 권장합니다.

프롬프트 주요 구성 요소

구성 요소설명작성 가이드 (좋은 예시 / 주의할 예시)
목적/의도 (Objective)프롬프트로 달성하려는 최종 목표좋은 예시: “로그인 기능 테스트 커버리지를 80% 이상으로 올릴 수 있는 케이스 부탁해.”
주의할 예시: “로그인 기능 테스트 케이스 부탁해”
명령 (Instruction)AI가 수행해야 할 구체 작업좋은 예시: “웹 로그인 테스트 케이스를 GWT 형식으로 작성하고, 경곗값·보안·에러 메시지를 포함해 줘.”
주의할 예시: “웹 로그인 테스트 케이스 작성해 줘.”
역할/페르소나 (Role)AI가 어떤 관점으로 답할지좋은 예시: “15년 차 QA 리드로서 실무 적용 가능한 테스트만 제시 부탁해.”
주의할 예시: “전문가처럼 해줘.”
맥락/배경 (Context)시스템/업무 배경, 규칙좋은 예시: “OAuth2 기반 로그인, 비밀번호 8~16자 정책, 다국어(Ko/En) 지원.”
주의할 예시: “일반적인 웹앱이야.”
범위/대상 (Scope)포함·제외 범위 지정좋은 예시: “대상: 로그인 화면과 API. 제외: 회원가입/비밀번호 찾기.”
주의할 예시: “로그인 관련 전부.”
입력/자료 (Inputs)참조 문서/스펙좋은 예시: “요구사항 v2.1 SEC-03, API/auth/login 스펙 참조.”
주의할 예시: “첨부 문서 참고.”
출력 형식 (Output Format)결과의 구조·형식좋은 예시: “ID, 목적, 입력, 절차(GWT), 예상 결과를 마크다운 표로.”
주의할 예시: “테스트 보고서 형태로.”
제약/규칙 (Constraints)제한 조건좋은 예시: “25개 이내, 중복 금지, 실제 사용자 시나리오 우선.”
주의할 예시: “제한 없음.”
품질 기준 (Quality)산출물의 완성 조건좋은 예시: “경곗값 분석 최소 6건 포함, 오류코드 매핑 100%.”
주의할 예시: “괜찮아 보이면 됐어.”
커버리지/우선순위 (Coverage/Priority)다룰 범위와 중요도좋은 예시: “P1: 인증/잠금, P2: 다국어 메시지, P3: UI.”
주의할 예시: “중요한 것부터.”
예시/샘플 (Few-shot)원하는 출력 샘플좋은 예시: “샘플 2건을 표로 제공 후 동일 형식 확장 요청.”
주의할 예시: “형식은 알아서 만들어줘.”
가정/모호성 처리 (Assumptions)불확실성 처리좋은 예시: “불명확 시 ‘가정: …’ 명시, 질문 3개 제시.”
주의할 예시: “모르면 건너뛰어.”
도구/환경 (Tools)테스트 환경좋은 예시: “Chrome 126, iOS17 Safari, 스테이징 DB.”
주의할 예시: “일반적인 환경.”
규정/보안 (Compliance)준수 항목좋은 예시: “개인정보 마스킹, OWASP ASVS 인증 항목 포함.”
주의할 예시: “보안은 나중.”
추적성 (Traceability)요구사항-테스트 매핑좋은 예시: “각 케이스에 ReqID 포함, 누락 시 Gap 리포트 작성.”
주의할 예시: “요구사항 매핑 생략.”
결과물 후속 (Next steps)후속 절차좋은 예시: “P1 우선 실행 계획 수립, 실패 케이스는 JIRA 전환.”
주의할 예시: “일단 만들어 놓고.”

테스트 케이스 작성 시 반복적으로 동일한 지시를 입력해야 한다면 Custom GPTs 같은 맞춤형 AI 에이전트를 활용해 프롬프트를 표준화하는 것이 효과적입니다.

맞춤형 AI 에이전트 (Custom GPTs)로 테스트 케이스 자동 생성기 만들기

맞춤형 AI 에이전트 작성 및 등록 방법을 예시를 들어 알아보겠습니다. 여기서는 ChatGPT의 ‘Custom GPTs’ 기능을 사용했습니다.

  1. 좌측 사이드바에서 ‘GPT’ 메뉴를 선택하고, 우측 상단의 ‘+ 만들기’ 버튼을 선택합니다.
[그림 1] Custom GPT 생성 메뉴
출처 – ChatGPT (GPT-5, OpenAI)
  1. ‘만들기’ 탭과 ‘구성’ 탭 중 ‘구성’ 탭을 선택합니다. (설정 언어에 따라 메뉴명이 다른 언어로 나올 수 있습니다.)
    왼쪽에 AI 에이전트의 세부 항목을 채울 수 있는 메뉴 창이 나타나고, 오른쪽엔 미리 보기 창이 뜹니다.
[그림 2] ‘구성’ 탭 화면
출처 – ChatGPT (GPT-5, OpenAI)
  1. 대표 이미지, 이름, 설명, 지침, 대화 스타터 등을 필요에 맞춰 입력합니다. ‘지침’ 항목에 위에서 제시된 프롬프트 주요 구성 요소를 참고하여 상세하고 구체적인 지시 사항을 입력합니다.
    권장 모델은 해당 AI 플랫폼에서 사용할 AI의 버전을 선택하면 됩니다.
[그림 3] AI 에이전트 구성 항목 입력 화면
출처 – ChatGPT (GPT-5, OpenAI)
  1. 입력을 마치면 오른쪽 미리 보기 창에 다음과 같이 작성된 AI 에이전트 화면을 볼 수 있습니다.
[그림 4] AI 에이전트 미리보기 화면
출처 – ChatGPT (GPT-5, OpenAI)
  1. 이렇게 만들어진 AI 에이전트 대화 창에 요구 사항 문서를 첨부하거나 핵심 내용을 입력하면, 미리 입력해 둔 지침에 따라 테스트 케이스를 자동으로 작성해 줍니다.
[그림 5] 테스트 케이스 자동 생성 프롬프트 예시출처 – ChatGPT (GPT-5, OpenAI)
[그림 6] 테스트 케이스 자동 생성 결과 예시
출처 – ChatGPT (GPT-5, OpenAI)
  1. 1차 작성된 테스트 케이스는 AI 에이전트 입력 창에 추가 질문이나 피드백을 입력해 테스트 케이스를 보완할 수 있습니다.
  1. 필요 시, 오른쪽 상단 ‘공유하기’ 버튼을 통해 ‘링크 복사’와 ‘GPT 스토어’를 활용해 공유할 수 있습니다.
[그림 7] GPT 공유 화면
출처 – ChatGPT (GPT-5, OpenAI)

작성이 완료된 테스트 케이스 챗봇은 QA 엔지니어가 매번 동일한 지시를 입력하지 않아도, 설정된 지침에 맞춰 테스트 케이스를 생성할 수 있습니다.

생성형 AI 시대, QA 엔지니어 역할의 변화

과거 QA 엔지니어는 요구사항 분석, 테스트 케이스 작성, 실행, 결과 보고까지 대부분을 직접 수행하며 많은 시간을 반복 업무에 투입했습니다. 생성형 AI가 업무에 도입되며 케이스 작성, 결함 예측, 리스크 기반 설계, 일부 테스트 코드 생성까지 보조하면서 QA의 역할은 전략적이고 분석적인 업무로 확장되고 있습니다.

  • 테스트 아키텍트 / 품질 전략가: AI가 대량의 케이스를 산출하므로, 엔지니어는 이를 검증·보완하고 복잡한 시나리오와 통합 테스트에 집중합니다.
  • AI 트레이너 / 관리자: 프로젝트별 AI 모델이 정확히 작동하도록 테스트 데이터, 결함 패턴, 도메인 지식을 학습시킵니다.
  • 데이터 기반 분석가: AI가 식별한 리스크 영역을 바탕으로 자원을 효율적으로 배치하고 품질 지표를 고도화합니다.
  • AI 도구 전문가: 다양한 AI 테스트 도구를 프로세스에 통합하고 팀에 교육하는 역할을 담당합니다.

QA 엔지니어는 반복적 작성, 수행에서 품질 전략가로 역할이 이동하고 있으며, AI가 이를 지원하는 보조자 역할을 수행합니다.

Conclusion

반복 업무는 AI에, 판단과 혁신은 QA 엔지니어에게

생성형 AI의 도입은 QA 업무 방식에 뚜렷한 변화를 가져오고 있습니다. 품질보증실은 프로젝트에서 AI를 활용해 테스트 케이스 생성, 요구사항 분석, 샘플 데이터 작성, 테스트 산출물 관리, 자동화 코드 초안 작성 등 다양한 업무를 시도하며 반복적인 작업을 줄이는 효과를 확인하고 있습니다.

AI가 만든 결과물은 초안의 성격을 가지므로, QA 엔지니어의 검증과 보완 과정이 필수적입니다. 자동화된 결과를 그대로 사용하는 것이 아니라, 프로젝트 맥락과 사용자 경험을 반영해 품질을 보증하는 과정이 필요합니다. 특히 테스트 케이스 작성과 같은 시간이 많이 소요되는 작업을 AI에 위임하면 리소스를 절감할 수 있고, QA 엔지니어는 확보된 시간을 품질 전략과 혁신 활동에 집중할 수 있습니다.

QA 반복 업무를 줄이고 전략적 활동에 투자할 여유를 만들어 주는 도구로 생성형 AI를 적절히 활용한다면, QA 조직은 효율성을 높이는 동시에 프로젝트와 제품의 성공에 안정적으로 기여할 수 있을 것입니다. 

Reference

Post Views: 110
Scroll to Top