6. 쏘카 QA 프로세스로 AI챗봇 고객센터 시스템(AICC) 품질 높이기

QA 컨퍼런스에서 여섯 번째 발표를 맡아주신 문성준 님의 발표 내용을 정리해 보도록 하겠습니다.

쏘카의 AI 챗봇 고객센터 시스템 개발에서 QA의 역할과 성과에 대한 내용을 공유해 주셨습니다.
주제를 듣고 잘 들어야겠다고 생각한 주제였습니다.

현재 저는 테스트 자동화에 초점을 두고 자동화 시스템을 개발하고 있지만, 바로 이전 업무는 상담 시스템에 대한 QA 업무를 진행했기 때문이죠. 고객센터의 상담 시스템은 정말 잘 알고 있기에 내용이 궁금했습니다. 자사의 프로그램과 어떤 점이 다르고 어떤 식으로 QA 하는지 말이죠 😏

제가 작성하는 내용은 컨퍼런스 후기일 뿐입니다!
QA 컨퍼런스에 직접 참여하셔서 발표를 들어보시는 것을 정말 추천드립니다!

QA 코리아 컨퍼런스 : https://www.qa-korea.com/
 
문성준 님 링크드인 : 링크드인 연결 링크

 

 

QA 컨퍼런스의 여섯 번째 발표는 문성준 님이 발표해 주셨습니다. 쏘카에서 사용하고 있는 AI 챗봇 기반의 고객센터 시스템은 고객 만족을 위해 어떤 노력을 했는지, QA 업무는 어떤 작업을 진행했는지 그 결과 성과는 어떻게 나왔는지에 대한 경험 위주의 발표를 진행해 주셨습니다.

 

다른 발표와 다르게 QA 프로세스와 워크플로우에 대한 발표라서 기대가 되고 상세하게 들어야겠다는 생각이 들었습니다. 게다가 많이 사용했었던 고객센터 시스템이라니! 하나씩 정리해 보도록 하겠습니다. 😎

 

 

발표 내용은 쏘카 플랫폼 QA 팀에 대한 설명과 쏘카 QA 프로세스, AI 챗봇 고객센터 시스템과 성과에 대한 설명을 해주신다고 하셨습니다.

 

 

쏘카의 QA 팀 구조를 설명해 주시면서 간단한 조직도를 보여주셨습니다. QA팀은 Operation Group에 속해있고, 그중 QA팀은 플랫폼 QA와 버티컬 QA로 나뉘어 업무를 진행한다고 하시네요. Operation Group 전체가 쏘카의 안정적인 배포와 운영을 담당하며 QA는 SW 품질을 보장하는 역할을 담당하고 있다고 하셨습니다.

 

 

쏘카의 QA 프로세스는 미팅부터 회고까지 전반에 걸쳐 모든 프로세스에 관여하여 작업을 진행한다고 하셨습니다. 킥오프를 진행하고 회의 때 공유된 문서로 리스크를 파악한 뒤 개선 안을 제시해 주고, 테스트 케이스를 설계 및 수행 후 모니터링과 회고를 걸쳐 다음 목표를 준비하는 프로세스로 진행된다고 하네요.

 

제가 했던 업무와 정말 비슷했습니다. 저도 요구사항 워크샵(Kick off)을 통해 기획팀에서 제시한 문서를 세세한 부분까지 분석하여 개선안을 기획팀에 제시해 주고, 테스트 케이스 설계를 시작하거든요. 물론 이 과정에서 고객사의 추가 요구사항이 있거나 다른 방식으로 구성해야 해서 기획안이 변경되는 경우 테스트 케이스가 많이 수정될 수 있습니다. 🔥

(정 말 즐 거 워 요 ^_^...)

 

이후 테스트를 수행하고, 결함 건 수정 확인 후 릴리즈까지 모든 프로세스에 QA 업무가 들어가 있습니다. 똑같이 모든 프로세스에 관여하고 있다고 하셔서 끄덕끄덕 하면서 맞지 맞지.. 했던 것 같습니다 😅

 

 

쏘카의 QA의 작업은 자동화 테스트보다 매뉴얼 테스트의 고도화를 우선으로 생각하여 작업을 진행했다고 하셨습니다. 매뉴얼 테스트에 대한 프로세스가 명확하지 않았기 때문에 자동화 테스트를 진행하여도 프로세스가 수립되지 않으면 타 팀과 의사 협의나 자동화 개발 순서도 꼬일 수 있기 때문에 매뉴얼 테스트의 프로세스를 수립과 고도화 작업을 우선으로 하게 되었다고 하셨습니다. 이렇게 명확한 프로세스가 구축된다면 자동화 테스트 프로세스도 자연스럽게 수립될 것이다라고 판단했다고 하시네요.

 

 

QA 계획은 첨부한 이미지 내용처럼 8가지 기준을 가지고 소프트웨어 관리를 명확히 하기 위한 노력을 하셨다고 하네요.

 

 

그로 인해 테스트 시작 전 테스트 목표를 명확하게 수립할 수 있었다고 합니다. 이슈의 중요도 설정의 의미를 명확하게 하고, 중요도 별 성공에 대한 기준과 테스트 케이스의 수행 및 성공률의 기준을 수립하여 테스트 수행 후 기준을 만족해야 성공이라는 판정을 했다고 하시네요.

 

 버그 측정 기준을 명확하게 제시하여 버그 발생 시 작성된 기준으로 이슈를 분류하여 관리하셨다고 하네요. 그리고 QA 작업을 수행할 수 없는 중단 조건과 인수 조건도 정의하여 QA 작업이 정상 진행 될 수 있을 때 테스트 버전을 전달받아 테스트를 수행한다고 하네요.

 

 

그리고 제품 프리징 기간을 두어 기획이나 디자인이 더 이상 바꾸지 않는다는 일정을 수립하였고, 코드 프리징 기간을 두어 개발 자체 테스트까지 진행된 버전을 개발해야 하는 기간을 설정했다고 하네요.

 

QA 업무를 변화시킨 부분을 보고 가장 먼저 드는 생각은 QA 팀의 힘이 센가..?라는 생각이 가장 먼저 들었습니다. 우리 회사는 정말 약하거든요.. 전체 스프린트 기간은 설정되어 있고 개발기간, 테스트기간으로 구분되어 있으나, 기획이나 디자인은 수시로 변경되고, 개발기간이 부족하면 테스트 기간에도 개발을 진행하면서 테스트 업무가 병행되며 진행되는 꼬일 대로 꼬여버린 프로세스. 그리고 테스트 기간에 개발을 하는 바람에 테스트에 영향이 가서 기간이 더 걸리는 경우 스프린트 기간은 정해져 있다고 테스트를 어떻게든 수행해 내라는 압박.. 윽!!! 할 말이 많지만 더 이상 하지 않겠습니다 😭

 

말씀하신 프로세스를 보면서 정말 이상적인 구조를 가지고 있구나라고 생각이 들었고 정말 잘 지켜질까..?라는 의문도 들었습니다. 플랫폼을 사용하는 고객사에 납품 일정은 정해져 있고, 이 기간을 미루려면 많은 협의가 필요하니까요. BtoC라서 가능한 부분인가?라는 생각도 들었습니다.

 

 

다음으로 AI 챗봇 기반의 고객센터 시스템 수립 과정에 대한 이야기를 해주셨습니다.

고객의 응답을 상담사가 직접 하는 것보다 AI 응대를 한다면 비용 감소 효과가 있고 빠르고 정확하게 답변을 해줄 수 있을 것이다라는 목표로 시작하게 되었다네요.

 

하지만 GPT API를 사용하기 때문에 문의가 오는 경우 요청을 보내고 응답을 받을 텐데 모든 문의는 곧 GPT 비용으로 빠져나가게 되었다고 하셨습니다.

 

 

이를 개선하고자 모든 문의에 GPT를 사용하지 않게 하여 의존도를 낮췄다고 하는데, 사용된 시스템은 FAQ와 시나리오 시스템을 활용하여 의존도를 낮췄다고 하네요. FAQ 항목을 제공하여 고객이 AI 문의를 하지 않아도 스스로 해답을 찾을 수 있게 지원하고, 고객 발화와 FAQ 답변을 비교하여 미리 설정된 FAQ 답변을 전달하는 등 GPT를 사용하는 경우가 최소화될 수 있도록 프로세스를 수립했다고 합니다.

 

 

그리고 이 GPT를 활용한 AI 답변 시스템의 QA는 어떻게 진행했는지에 대한 설명을 해주셨습니다. 가장 먼저 검증 범위를 정했다고 하시네요. Front와 Admin을 구분하여 어떤 중심으로 검증을 할 것인지 나누고 성능 테스트와 연동 부분까지 검증 범위를 구분하여 계획했다고 하셨습니다.

 

 

소프트웨어의 리스크를 예측에 대한 이야기를 하셨습니다. 식별, 분석, 평가, 예측 단계에서 발생할 수 있는 이슈들을 정의해 보고 어떤 부분을 검증 우선순위를 두어야 하는지, 어떤 방향으로 테스트를 진행할 것인지 계획을 수립했다고 하시네요. 

 

그리고 테스트 목표를 구체화하고 및 예방적인 측면과 사후 관리에 대한 테스트 전략 수립을 통해서 QA 업무를 진행했다고 하시네요. 테스트 업무 진행을 위한 사전 준비와 프로세스 구성에 많은 시간을 쏟았을 것 같은데 QA 팀이 체계적으로 잘 잡혀있구나라는 생각이 들었습니다. 제가 업무를 진행했을 때는 미리 선정해 둔 계획과 목표, 완료 조건이 있었지만 잘 지켜지지 않아서 흐지부지 되었던 사례가 있었기 때문입니다 😭

 

 

이렇게 체계적으로 프로세스를 구축하고 잘 수행한 결과 1차 QA의 결과보다 2차 QA 진행 시 높은 성공률을 가져올 수 있는 결과를 얻었다고 하네요. 말씀하시면서 QA 프로세스를 구축하기 위해 현 상황을 직시할 수 있는 자료들을 만들고 설득하는 업무가 어려웠지만 프로세스를 구축하고 좋은 성과로 반증하니 체계적인 업무 전환이 긍정적인 효과를 이룰 수 있었다고 하셨습니다.

 

다른 사람들을 설득하고 프로세스 구축의 중요성을 알리기 위한 노력은 얼마나 힘들었을지 말만 들어도 알 것 같습니다. 저희는 QA 프로세스를 체계적으로 잡는 것은 고사하고, QA팀이 없어지고 자동화 팀이 만들어졌기 때문입니다. 윗 분들이나 다른 팀에게 QA의 중요성을 전달하는 것은 정말 힘든 업무라고 생각하는데 대단하십니다 👍👍

 

 

그리고 AI QA의 고민도 해결해야 하는 부분이라고 하셨는데, 해결한 방식은 프로세스를 명확하게 하고 체계적인 QA 계획으로 해결했다고 하셨습니다. 프로세스가 잡힌다면 각각의 팀의 역할이 명확하기 때문에 자연스러운 협업이 가능하므로 해결할 수 있었다고 하셨습니다.

 

사실 이 부분은 조금 아쉬웠습니다. QA로서 AI의 응답에 대한 테스트 케이스는 어떤 방식으로 만들었을까? AI 응답은 질문의 단어나 어구에 따라 응답이 다르기 때문에 테스트 케이스를 넓은 의미로 만들었는지, AI 모델의 알고리즘을 테스트하기 위한 방법은 어떻게 진행하셨을지 궁금했는데 명확한 답변은 못 들어서 아쉬웠습니다 답변하셨나.. 기록을 안 해서 제가 기억을 못 하는 것 일수도.. 나중에 QnA 답변 목록을 확인해 봐야겠습니다 :)

 

이번 발표는 전체적으로 QA 프로세스에 대한 내용과 프로세스를 수립하기 위한 과정들에 대한 설명을 주로 해주셨습니다. 직접 경험한 업무다 보니 공감 가는 부분도 많았고 제가 수행했던 업무 방식과 다른 부분도 있었습니다. 그래도 체계적인 프로세스 구성을 위해 많은 노력을 하신 것 같다는 생각은 계속 들었습니다. 

 

제가 작업했던 제품과 비슷한 상담 시스템이다 보니 더 귀를 기울이게 되었고 우리도 적용해 보면 좋은 항목들이 있어서 나중에 다시 QA를 하게 된다면 건의를 해봐야겠습니다 🤩

 

다음 포스팅은 E2E 자동화 도입에 대한 주제의 포스팅으로 돌아오겠습니다