3. 옴니서비스의 S/W Quality를 높이기 위한 QA Engineer 역할

Q 트랙에서 네 번째 발표를 맡아주신 권덕중 님의 발표 내용을 정리해 보겠습니다 :)

올리브영 서비스의 품질을 높이는 QA 엔지니어의 역할에 대한 주제로 발표를 해주셨으며, 올리브영에서는 다양한 오류 상황에 대해 어떤 방식으로 대응하고, 사전대비를 하고 있는지, QA의 역할은 어떤 부분에서 중요한지 사례를 기반으로 설명해 주셔서 QA의 역할을 한층 더 배울 수 있던 발표였습니다.


개인 블로그이기 때문에 주관적인 의견이 담겨있을 수 있습니다. 해당 포스팅은 컨퍼런스 참고용으로만 사용해 주세요 QA 컨퍼런스에 참여하시면 더 많은 자료를 보실 수 있으니, 다음 회차에서 직접 참여하시고 많은 정보를 받아가시는 것을 추천드립니다!


2025 QA 컨퍼런스 링크 : https://www.qa-korea.com/qaconference2025
2025 컨퍼런스 전체 리뷰 : 2025 4th QA 코리아 '오프라인' 컨퍼런스 후기

 

 

Q 트랙의 네 번째 발표는 권덕중 님이 발표해 주셨고, QA 엔지니어의 역할과 올리브영에서는 어떤 방식으로 품질 관리를 진행하고 있는지에 대한 주제로 발표해 주셨습니다.

 

올리브영이라는 기업 이미지에 대해 사용자는 어떤 부분이 보이는지 어떤 서비스를 경험했고, 이에 대한 QA는 어떤 부분을 담당해야 할지 질문을 하시는 빌드업을 통해 같이 생각해 볼 수 있는 발표로 시작하셨습니다.

 

 

사용자에게 보여지는 온라인 몰이나 오프라인 매장과 관련된 부분만 QA의 역할이 수행되는 것이 아닌, 사용자에게 보이지 않는 부분들인 다양한 시스템과 인프라, 보안까지 QA 엔지니어가 신경 써야 하는 부분이 정말 다양하다는 안내를 해주셨습니다.

 

저도 단순히 올리브영의 QA를 한다고 생각해보면, 화면에 상품들이 잘 뜨는지, 검색, 결제, 회원관리 같은 데이터 측면을 위주로 품질 관리를 할 것 같은 느낌이었는데, 그 외에도 올리브영에 상품을 등록하는 파트너 시스템, 올영 세일 같은 행사 시스템, 오늘드림과 같은 배송 시스템 등 생각보다 더 많은 부분에 관여를 해야 한다는 것을 알게 되었습니다.

 

 

단순히 겉으로 보이는 모습 외에도 수많은 시스템으로 연결되어 있는 올리브영에서 QA 엔지니어는 다양한 기술과 운영 환경에 따라 어떤 부분을 담당해야 하는지 설명해 주셨습니다.

 

알고있는 부분인 자동화 CI/CD 구축이나 테스트 품질 관리 영역뿐만 아니라, 통합 시스템 환경 구축, 보안 취약점 관리, 안정적인 서비스를 제공하기 위한 성능 테스트, 의사소통 능력 등 QA 엔지니어는 단순히 자동화나 테스트를 수행하는 역할을 하는 것이 아닌, 다방면의 시스템을 알아야 하고 품질을 관리해야 한다는 것을 알려주셨습니다.

 

 

그로 인해 QA팀에서 사용하는 기술 부분도 다양하다는 것을 알려주셨습니다. 테스트 관리부터 모니터링을 위한 툴, 자동화를 위한 툴 등 품질 관리를 위해 다양한 시스템을 사용한다는 것을 공유해 주셨습니다.

 

알고 있는 툴도 많지만, 아직 써보지 않은 Appium이나, API 테스트를 위한 Postman, 많은 회사에서 사용하는 Slack의 봇과 연동하여 자동화를 알림 받는 방식 등 배워야 할 분야가 정말 많다는 것을 알게 되었습니다.

 

제가 다녔던 회사에서는 직무 제한적인 요소로 다방면의 역할을 못해봐서 아쉬웠는데, 개인적으로 API 테스트나 Appium 자동화, 그리고 아직 안 써본 Python 언어를 학습해서 개인 기량을 높여야겠다는 생각이 많이 드는 화면이었습니다.

 

올리브영의 체계적인 시스템은 한순간에 이뤄진 것이 아니라, 경험을 통해 회고하고 이를 개선할 방향을 찾으면서 체계적인 시스템을 구축된 것으로 설명해 주셨습니다.

 

완벽한 테스트는 없다는 것처럼 다양한 종류의 인시던트 상황 속 문제점을 하나씩 잡아가는 방향으로 개선을 하셨고, 어떤 방식으로 인시던트를 관리할 수 있었는지 설명해 주셨습니다.

 

혼돈 속에서 질서를 잡는다는 문구가 재밌었습니다. 최근까지 열심히 했던 게임을 생각나게 하는...?🤔

 

인시던트가 발생하면 단순히 담당자가 뚝딱 하고 고치는 것이 아니라, 현황을 공유하고 어떤 이유로 인해 이슈가 발생되었는지, 인시던트의 대응 방안과 해결 과정이 어떻게 진행되고 마무리되었는지 회고와 보고서 작성까지 하는 방식으로 인시던트를 관리하고 있다고 하셨습니다.

 

문제가 발생하는 경우 이를 공유해서 여러 팀에 알리고 어떤 원인 때문에 발생했는지, 공유하고 인시던트 담당자가 아니라, 다 같이 해결하는 방식으로 이슈를 대응하는 느낌인 것 같아서, 올리브영은 체계적이고, 소통이 원활하게 이뤄지는 팀인 것 같다는 생각이 들었습니다.

 

이렇게 공유한다면 품질팀은 다른 유사한 결함이 있는지도 확인해 볼 수 있고, 개발팀은 인시던트를 확인하면서 발생한 문제에 사전 대비하는 방식으로 개발 시스템이 구축될 것 같다고 생각되었습니다.

 

또한 이 시스템은 슬랙 채널에서 '/으악'이라는 문구만 전달하면 사전에 구축된 ChatOps를 통해 인시던트 프로세스가 자동으로 구성되어 전달된다고 알려주셔서 작은 부분도 효율적으로 일하는 방식을 도입하려는 느낌을 많이 받게 되었습니다.

 

인시던트 관리에 대한 더 자세한 내용은 올리브영 테크 블로그에서도 확인할 수 있습니다 (테크 블로그 링크)

 

 

그리고 올리브영의 QA는 부족한 협력이나 소통이 없어지는 경우 발생하는 사일로 현상에 대비하여 여러 조직에 참여해서 변경사항이나 신규 기능에 대한 항목을 공유해 주는 허브 역할도 수행한다고 알려주셨습니다.

 

발표 내용 중 인상 깊었던 부분은 각 팀에서 어떤 부분이 변경되었다를 공유만 된다면 발생하지 않을 결함이 많을 수 있고, QA 팀이 커뮤니케이션 허브 역할을 수행해서 '~~ 부분이 변경되었다네요' 이 한마디만 해주는 것으로 사이드 이펙트로 인한 결함을 막을 수 있다고 공유해 주셨습니다.

 

실무에서 느낀 내용이지만 단순히 바뀐 부분만 서로 공유해 주고 확인한다면, 결함 발생률이 낮아질 것으로 보였습니다. 하지만 각자 다른 사정으로 바쁜 업무를 진행하고 있기에, 타 팀과 공유해야 하는 부분을 놓칠 수 있는데, 이를 QA 팀에서 도와준다고 생각하니 정말 좋다고 생각한 프로세스였습니다.

 

어차피 QA 역할을 수행하려면 연결된 시스템의 동작을 알아야 하고, 변경사항에 대한 부분도 숙지하고 있어야 하니까요. 다시 한번 QA의 역할에 대해 생각해 보는 내용이었습니다.

 

 

테스트 자동화 도입 시에도 효율적인 작업을 위해 고객 관점의 핵심 기능을 우선적으로 개발하여 항상 확인해줘야 하는 필수 테스트 부분을 자동화가 담당하여 안정적인 서비스를 제공하고 있다고 알려주셨습니다.

 

저도 자동화를 도입할 때 가장 필수적인 시나리오를 개발하고, 개발된 시나리오는 항상 성공해야 하는 자동화를 구축했었습니다. 구축하고 나면 필수적인 테스트는 항상 수행되는 것이라 자연스럽게 핵심 요소를 항시 리그레션 테스트 해주는 효과를 얻었거든요.

 

 

QA 팀의 역할 개선과, 체계적인 프로세스 구축 덕분에 매년 늘어나는 트래픽에도 안정적인 서비스를 제공할 수 있었다고 공유해 주셨습니다.

 

확실히 체계가 잡히고, 회고를 통해 문제점을 개선하는 QA 팀이라면 사용자에게 불편한 경험을 주지 않아 서비스를 더 자주 사용할 수 있는 환경을 제공해 주며, 이는 곧 사용자의 이탈률 감소와 전체 매출 증가 효과로 이뤄질 것 같다고 생각되었습니다.

 

올리브영 QA팀은 여전히 문제를 찾고 개선 중이며 더 나은 환경을 제공하고 있다는 이야기와 함께 발표가 마무리되었습니다.

 

---

 

테크 블로그나, QA 프로세스 기술 발표 등 다양한 매체를 통해 QA 팀 운영 상황을 공유해주고 계셨지만, QA 컨퍼런스 발표에서 직접적으로 들어보니 생각했던 것보다 담당해야 할 부분이 많고, QA의 역할이 가볍지 않구나를 생각하게 되었습니다.

그리고, B2C 기업에서는 좋은 품질을 사용자에게 제공하는 것만으로도 매출 향상에 기여할 수 있을 것 같다는 것도 배울 수 있었습니다. 

 

발표 시간이 더 있었다면 좋았겠다는 생각이 들 만큼 좋은 내용의 발표였고, 부족했던 부분은 테크 블로그를 통해 찾아볼 수 있을 것 같았고, 체계적인 시스템이 구축된 곳에서 일해보면 많이 배울 수 있겠다는 생각도 들고, 이런 곳에 가기 위해 개인 역량을 더 발전시켜야겠다는 생각도 드는 발표였습니다 🤓

 

채용 공고도 계속 열려있는 것 같으니 능력자 분들께서 지원해 보시는 것도 좋을 것 같네요 👍

 

작성한 내용 외에도 현장에서는 더 많은 내용이 발표에 담겨있었고, 참여를 못하신 분들은 다음 컨퍼런스에 직접 참여하셔서 발표를 들어보시는 것을 권장드립니다 😁