3. 전문 리테일IT사의 반박자 늦은 AI플랫폼, 품질이 써먹기까지

2026년 QA 컨퍼런스 세 번째 발표, AI Agent를 활용한 품질 거버넌스 발표 내용을 정리해 보겠습니다.

AI를 QA 프로세스에 정착시킬 때 각 SDLC 단계에서 어떻게 적용하는지에 대한 내용으로 발표해 주셨습니다.

공식적으로 정리하는 것이 아닌 개인적으로 정리할 겸 작성하는 포스팅이라서 주관적인 의견이 담겨있을 수 있습니다. 해당 포스팅은 컨퍼런스가 어떤 식으로 진행됐었는지 참고하는 용으로만 확인해 주세요

발표 내용의 일부분을 활용해서 포스팅이 가능하다는 사전 협의를 받았고, QA 컨퍼런스에 참여하시면 더 많은 자료를 보실 수 있으니, 내용을 참고하시어 다음 회차에 참여하고 많은 정보를 받아가시는 것을 추천드립니다!

 

 

 

강성훈님의 사내에 구축된 AI 플랫폼과 품질 프로세스 구축 내용으로 발표해 주신 내용을 정리해 보겠습니다.

 

 

발표의 전체적인 내용은 AI를 활용한 효율적인 품질 프로세스 구축한 결과를 공유해 주시며 지표로 내용을 뒷받침 하는 방식으로 진행되었습니다. 

 

 

AI 시대의 품질의 역할은 앞서 첫 번째 발표해 주신 경계가 흐려진 시대에서 품질의 역할과 유사한 기준으로 설명해 주셨습니다. 

 

AI 시대에서 개발 사이클은 빨라졌지만, 품질도 빨라진 것일까에 대한 의문으로 시작되어 빠른 개발속도에 대응하기 위해서는 Shift-left 방식을 활용해서 사전에 검증하는 것을 품질의 기준으로 내재화하여 운영한다고 설명해주셨습니다.

 

 

SDLC 전체 단계에서 사내 AI 에이전트를 활용해서 업무에 활용하는 방식으로 구성되어 있고, 사전에 검증이 진행되어 비용 증가를 사전에 차단하며, TC를 자동 생성하고, 문서를 검토하는 역할을 지원받으며 최종 의사 결정과 판단은 사람이 진행하는 프로세스로 구축되었다고 설명해주셨습니다.

 

 

사내 통합 AI 플랫폼을 활용해서 SDLC 단계 별 품질 관리 방식을 공유해 주셨습니다.

 

고객의 제안서를 분석하는 RFP 분석 단계에서 기존에 1~2일 걸렸던 분석 단계를, AI가 정리한 내용을 사람이 재검토하는 시간까지 합쳐도 단시간 내에 작업이 완료되어, AI가 정리한 RFP 분석 내용으로 리스크를 분석하여, 사업 진행 여부까지 의견을 들을 수 있는 환경을 구성했다고 알려주셨습니다.

 

 

요구사항 분석 단계에서는 문서를 검토하여 요구사항 문서를 평가하고, 누락된 연계 기능이나 비기능 요구사항들을 파악하여 AI의 검토 의견을 기반으로 사람이 최종 검토하여 전체 시간을 90% 단축시킬 수 있었던 사례를 공유해 주셨습니다.

 

 

설계 및 테스트 단계에서는 TC를 작성하는 부분에 대한 과정 위주의 설명을 진행하셨습니다. 

설계 문서를 AI에게 검토하게 하여 잠재적 결함, 병목, 취약점을 판단한 의견을 얻으며, 요구사항 명세 문서를 활용하여 TC 초안 자동 생성을 진행하고, 생성된 자료를 검토하여 테스트에 사용한다는 경험을 알려주셨습니다.

 

일부 AI가 사용할 수 없는 보안 환경을 제외하고, 문서 분석과 산출물 생성을 AI로 활용하여 전체 시간을 단축하고 있다고 하셨습니다. AI를 활용하여 테스트를 수행하는 부분은 발표에서 다루지 않으셔서 산출물을 생성하는 부분 위주로 알아볼 수 있었습니다.

 

 

운영 및 모니터링 단계에서 Jira에 등록된 장애를 파악하고 등급을 나누고, 원인을 분석하는 과정을 진행하고 있는 것을 공유해 주셨습니다. 

 

장애 분석의 경우 실제 수행을 해보며 문제를 파악해야 하다 보니 문서 분석이나 TC 생성처럼 뛰어난 기대응답을 얻긴 어렵지만, 사람이 보다 쉽게 검토할 수 있는 환경을 만들어주는 역할로 활용한다는 것을 알게 되었습니다.

 

 

앞서서는 SDLC 단계에서 AI를 활용했던 얘기가 주로 진행되었다면, 더 확장해서 필요한 사양이 입력되면 기존에 구성된 기능들을 고려하여 모호한 부분, 모순인 부분을 파악한 검증 리포트를 제공해 주는 방식으로도 활용한다고 알려주셨습니다.

 

AI가 개발 전체 상세 이력을 다 알고 있지 않다면 환각을 자주 낼 수 있는 부분인데, 자체 구축 된 AI Agent가 있어서 입력된 요구사항 문서 외 넓은 범위까지 AI가 검토하고 리포트를 준다는 것이 신기하고 실제로 어떻게 나올지가 더 궁금했던 부분이었습니다.

 

 

AI에게 많은 도움을 받는 만큼 AI 자체에 대한 검증의 중요성도 언급해 주셨습니다. 항상 좋은 결과를 만드는 것처럼 보이는 AI의 산출물은 항상 사람의 눈으로 검증해야 하고, 최종 판단하는 결정은 사람이 하는 것에 대한 중요성을 알려주셨습니다.

 

AI를 많이 써본 사람이라면 다들 공감했을 부분이라 생각되었고, 자체적으로 HITL(Human-in-the-Loop)라는 통제 원칙을 만들고, ISO 42001 AI 경영시스템 국제 표준 등 4가지의 국제 표준을 활용하여 안정적인 AI 시스템을 품질에서 활용할 수 있는 방안을 만들고 구성해야 한다는 설명도 해주셨습니다.

 

내부적으로 AI 거버넌스 통제 항목을 정의하고 있으며, 지속적으로 개선하고 있고, 큰 기대효과가 있는 만큼 안정적인 프로세스 구축을 위해 노력하고 있다고 알려주셨습니다.

 

 

앞서 공유해 주신 내용을 성과로 증명하고 있다는 것을 지표로 알려주셨습니다.

 

문서 리뷰, 검토 등 사람 인력이 많이 들었던 과정 자체가 대폭 감소될 수 있으며, 반복되는 작업들은 자동화되고, 문서를 보는 시간에 품질 관리에 시간을 더 투자할 수 있어서, 속도와 품질 두 가지를 다 얻은 프로세스 구축 환경이라는 것을 알려주시며 발표가 마무리되었습니다.

 

---

 

AI를 품질 프로세스에 도입할 때 어떤 방식으로 도입할지 분석하고 어떤 효과를 얻을 수 있으며 AI의 신뢰도는 어떻게 높일 수 있을지 모든 과정이 많은 시도와 경험에서 나올 수 있는 발표 내용이었습니다.

 

 

저 역시 AI 포스팅에서 언급했던 것처럼 AI가 잘할 수 있는 영역과 QA가 잘할 수 있는 영역을 구분하고 AI의 결과를 판단하는 사람의 역할이 중요하다고 생각했는데, 이 부분을 실무에서 적용하고 더 안정적인 프로세스를 위해 국제 표준을 활용하여 구축하고 있다는 것이 새롭게 느껴졌습니다.

 

 

AI를 통해 품질 프로세스 개선이나 구축을 고려하고 있다면 이번 발표 내용을 통해 우리 회사에선 어떻게 활용하는 것이 좋을지 아이디어를 많이 얻을 수 있던 발표였습니다.

 

 

사내에서 프로세스를 구축했던 과정들을 공유하기 쉽지 않을 수 있는데, 많은 생각을 하게 되는 발표였고, AI 거버넌스를 구축할 때 다시 참고해야 할 발표라는 것을 적어두며 이번 포스팅을 마무리하겠습니다 👍