2. AI Driven QA - 팀 누구나 QA를 할 수 있게 만든 실전 AI 도입기

2026년 QA 컨퍼런스 두 번째 발표, 누구나 QA를 할 수 있게 만든 실전 AI 도입기 내용을 정리해 보겠습니다.

Claude를 통해 QA의 역할을 확장하고 누구나 QA의 역할을 수행할 수 있게하는 환경을 만들어 공유해주셨습니다.

공식적으로 정리하는 것이 아닌 개인적으로 정리할 겸 작성하는 포스팅이라서 주관적인 의견이 담겨있을 수 있습니다. 해당 포스팅은 컨퍼런스가 어떤 식으로 진행됐었는지 참고하는 용으로만 확인해 주세요

발표 내용의 일부분을 활용해서 포스팅이 가능하다는 사전 협의를 받았고, QA 컨퍼런스에 참여하시면 더 많은 자료를 보실 수 있으니, 내용을 참고하시어 다음 회차에 참여하고 많은 정보를 받아가시는 것을 추천드립니다!

 

 

 

주이식님의 Claude를 통해 QA의 역할을 확장했던 사례를 발표해주신 내용을 정리해보겠습니다.

 

 

1년차 주니어 연차이지만 1인 QA로 업무를 진행하며 개선해야했던 문제들과 해결했던 과정에 대해 설명해주셨습니다.

 

 

 

업무를 진행했던 상황은 4가지 제품을 QA해야하는 상황이었고, 병렬로 이뤄지는 업무와 짧은 배포주기로 인한 업무량 증가로 특정 제품의 경우는 QA를 진행하지 못하고도 배포되는 상황을 공유해주셨습니다.

 

 

이를 개선하기 위해 우선순위를 구분하고, 테스트 수행 자체는 팀에서 진행하도록 하며 프로세스를 개선하는 작업을 진행했지만, 업무가 다르고, 기준이 다르기 때문에 발생했던 테스트를 지원 받아도 추가 협의나 전문성의 격차로 인한 부가적인 문제가 다수 발생하게 되었고, 근본적인 해결을 위해 AI를 도입하게 되었다고 하셨습니다.

 

 

AI로 해결할 수 있는 부분을 우선적으로 정리했고, VOC(고객의 피드백)와 테스트 계획을 구성하는 부분에 AI를 활용하여 AI의 산출물을 기반으로 테스트를 빠르게 수행할 수 있는 환경을 만들자는 목표로 AI를 통한 프로세스 구축을 진행하셨다고 알려주셨습니다.

 

 

Claude를 활용해서 AI에게 요청할 것들을 나누고, 정리해서 1차적으로 시스템을 만들고 개선하는 방식으로 진행했고, 이 과정에서 발생되는 문제점을 하나씩 개선하는 방식으로 구축하셨다고 알려주셨습니다.

 

 

이 과정에서 시나리오 중복이나, 엣지케이스의 누락 등 AI의 결과물이 좋지 못했던 내용을 개선하는 방식으로 AI끼리 소통하는 구조로 만들고 최종 판단하는 결과를 얻는 방식인 적대적 토론 방식으로 AI 품질 개선을 진행했다고 설명하셨습니다.

 

 

중간 단계 생략이나 모호한 표현, 위험 경로 누락 등 교차 검증을 통해 AI 산출물의 품질 개선을 진행할 수 있었고, 직접 활용해보며 부족한 TC는 직접 추가하고, AI에게 학습시키며 TC 생성에 적합한 환경을 구축하고 QA의 추가 작업이 거의 없다고 판단되었을 때 팀에 시스템을 공유하여 누구든 TC를 생성할 수 있는 환경을 만들 수 있었다고 알려주셨습니다.

 

 

 

AI를 통한 TC 산출물을 예시로 보여주셨고, 상세한 설명과 Step 구분, 예상 결과까지 출력되는 것들을 보며 AI의 산출물을 보고 누구나 테스트의 수행 역할을 할 수 있는 TC를 얻을 수 있겠구나 생각되었습니다.

 

 

 

시스템을 구축한 뒤 테스트 계획에 활용되던 시간을 줄일 수 있어서 요구사항 검토나 탐색적 테스트에 집중할 수 있었으며, 다른 팀에서는 QA 부재 시 AI가 전달해주는 산출물로 테스트를 진행하여 앞서 설명 된 전문성의 격차를 줄일 수 있었다고 알려주셨습니다.

 

 

AI를 활용하여 QA의 업무를 효율적으로 줄인 덕분에 직접 결함을 수정하거나, VOC 모니터링, 대시보드 구축 등 다른 업무로의 확장까지 진행할 수 있었다는 경험을 마지막으로 발표가 마무리 되었습니다.

 

---

 

발표를 들으면서 처음 발표하셨던 주제인 팀 간 경계가 낮아지고 업무 확장이 되는 방향성의 예시가 되는 두 번째 발표였지 않았나 생각됩니다.

 

 

1년차 주니어의 역할이지만 현재 어려운 상황을 이해하고, 직접 해결하며, AI의 산출물의 퀄리티를 높이기 위한 노력들이 보인 발표라서 인상깊었습니다.

 

 

물론 이 발표는 여러 방법의 시도를 통한 성공적인 결과를 공유해주셨지만, 팀간 협업이나 소통과 업무 전달에 대한 설득 등 사람간의 문제도 많았을 것 같은 과정인데 주니어지만 업무의 제약을 두지 않고 다방면의 시니어급의 역할을 하시는 분이구나하고 대단하게 느껴졌습니다 👍👍

 

 

AI를 활용하는 환경에서는 일단 해보고 수정해보는 방식이 제일 빠르게 적용할 수 있는 방법이라 생각되며 이번 포스팅은 여기서 마무리하겠습니다 👏