5. AI를 활용해 QA가 더 잘할 수 있는 것에 집중하기

2026년 QA 컨퍼런스 다섯 번째 발표, AI와 QA의 협업에 대한 발표 내용을 정리해 보겠습니다.

AI의 장점과 QA의 장점을 활용하서 협업하는 과정에서 경험했던 업무들에 대해 정리해 주셨습니다.

공식적으로 정리하는 것이 아닌 개인적으로 정리할 겸 작성하는 포스팅이라서 주관적인 의견이 담겨있을 수 있습니다. 해당 포스팅은 컨퍼런스가 어떤 식으로 진행됐었는지 참고하는 용으로만 확인해 주세요

발표 내용의 일부분을 활용해서 포스팅이 가능하다는 사전 협의를 받았고, QA 컨퍼런스에 참여하시면 더 많은 자료를 보실 수 있으니, 내용을 참고하시어 다음 회차에 참여하고 많은 정보를 받아가시는 것을 추천드립니다!

 

 

김치운님의 AI를 활용해서 QA가 잘할 수 있는 것에 집중하기에 대한 발표를 정리해 보겠습니다.

 

 

업무를 진행하면서 경험했던 과정과 이를 AI를 통해 풀어냈던 과정으로 현재 어떤 식의 업무 변화가 있었는지에 대해 설명해 주셨습니다.

 

 

앞서 진행된 컨퍼런스 AI 관련 발표와 유사한 관점으로 현 상황의 문제점을 파악했던 과정들을 설명해 주셨고, 문서 관련 업무에 투입되는 공수들을 줄일 수 있는 방법을 모색했던 과정을 설명해 주셨습니다.

 

 

처음에는 문서보다 테스트를 수행하는 테스트 시간의 절약을 위해 반복적으로 투입되는 공수를 자동화하는 것에 집중했고, 실제로도 시간 단축의 효과는 얻을 수 있었지만, 단축된 시간은 다시 TC 생성과 협의, 계획과 리포트 작성 등 부가적인 업무에 사용되었고, 문서에 투입되는 공수를 줄이기 위한 방법을 고민하게 되었다고 하셨습니다.

 

 

그래서 테스트 시스템을 만들어서 시간을 줄이고자 했고, QA 업무를 진행하면서 기록했던 판정들을 활용해서 협의 및 계획을 짜는 근거로 활용했으며, 지속적으로 쌓은 데이터는 다음에 진행될 QA 수행 시간, TC 개선 및 유지보수, QA가 진행 중일 때 잔여 일정 예측 용도로 활용하셨다고 알려주셨습니다. 

 

QA 업무 기록을 기반으로 구성된 시스템은 직접 구축하신 것처럼 보였고, TC 별 테스트 수행 시간을 기록하며 TC가 문제인지, 통과율이 낮은 영역은 어떻게 개선해야 할지 기록된 데이터를 근거로 앞으로의 일정을 예상하는 것이 새로웠습니다.

 

TC와 카테고리마다 테스트 수행 시간을 측정해서 근거를 만들고 전반적인 일정 관리 및 계획을 하는 것을 보며 귀찮은 작업일지라도 한번 해두면 효과적으로 사용될 수 있겠다는 생각이 들었습니다.

 

 

테스트 자산, TC를 채우는 방법은 AI를 활용하여 초안을 생성하고 생성 결과는 사람이 검토하고 판단하는 역할로 구분하여 QA 프로세스를 구축했다고 알려주셨습니다.

 

다른 AI 관련 발표와 유사하게 AI의 산출물을 맹신하지 않고, 수많은 TC 산출물을 어떻게 검증할 수 있을지에 대한 고민 과정을 설명해 주셨습니다.

 

 

이 과정에서 AI가 생성한 산출물을 검토하며 부족한 사례들은 어떤 부분인지 검토하게 되었고, TC 생성에서 부족하거나 누락된 요소들은 프롬프트 강화를 통해 지속적인 개선으로 TC 생성 품질을 향상했다는 것을 알려주셨습니다.

 

무작정 케이스를 많이 만들어서 양을 늘리기보다, 이벤트가 생기는 지점들을 생각해서 라이프사이클 매트릭스를 구성하고, 발생할 수 있는 이벤트 순서를 정의하여 사내 제품에 더 정확한 TC가 생성되도록 개선하는 과정을 설명해 주셨습니다.

 

 

그 결과로 AI가 잘하는 것을 구분하고, QA는 판단하는 시간을 늘릴 수 있어서 각자의 장점을 살린 환경이 구축되었고, TC가 통과했다고 하여 넘어가기보다는 더 깊은 검증에 시간을 활용할 수 있었다고 알려주셨습니다.

 

 

마지막으로 AI와 TMS를 구축하며 효율적인 업무 환경을 구축하게 되었지만, 새롭게 생긴 과제에 대한 부분도 알려주셨습니다.

 

AI로 품질 좋은 TC를 만들어낸다 해도, 수많은 TC를 사람이 검토하는 것에서 어떻게 효율적으로 검토해야 할지, 수집한 데이터들이 명확한 판단으로 진행되고 있는지, 새로운 시스템을 만들었지만 이 시스템을 관리하는 시간이 더 추가되어 업무량 자체가 비슷해진 것은 아닌지 생각하며 지속적인 환경 개선을 생각하고 있다는 내용을 마지막으로 발표가 마무리되었습니다.

 

---

 

시간 관계상 중간에 생략된 내용도 있어서 아쉬웠지만, QA 역할 중 관리자의 시점에서 근거 기반의 TMS을 활용하여 일정 예상을 하는 부분이 인상적이었습니다.

 

AI를 많이 수행해 보며 AI로 TC 생성했을 때 놓칠 수 있는 부분을 확인하고 프롬프트를 지속적으로 개선하여 TC 품질을 높인 부분도 경험이 없었다면 공유하기 어려운 내용이었을 텐데 실제로 사용해 보고 실용적인 부분에 대한 공유를 해주신 것 같아서 잘 들을 수 있었습니다.

 

AI 시대이다 보니 기존 발표와 유사한 부분도 있지만, AI의 산출물을 검증한다는 큰 틀은 같아도 어떻게 검증할지 생각되는 아이디어는 연사분들마다 조금씩 다르게 사용하시는 것 같습니다.

 

이번 발표에서는 테스트 수행에서 생긴 데이터로 어떻게 관리의 영역으로 활용할지 고민해 보게 되는 발표였으며, 이번 포스팅을 마무리하겠습니다 👍 👍