1. 사용자 행동로그 검증으로 보는 데이터 QA 전략

QA 컨퍼런스에서 첫 번째 발표를 맡아주신 이경형 님의 발표 내용을 정리해 보도록 하겠습니다.
데이터 QA는 알지 못했던 부분이라 이색적인 발표였고, 제 업무에 직접적으로 도움 될 수 있는 부분과 알아두면 좋을 것들에 대해서 주관적으로! 정리해 보겠습니다 :)
기억을 더듬어서 작성해보는 내용이기에 실제 발표 내용과 약간 다를 수 있습니다 😅

제가 작성하는 내용은 QA 컨퍼런스 후기일 뿐입니다 🫠
QA 컨퍼런스에 직접 참여하셔서 발표를 들어보시는 것을 정말 추천드립니다!

QA 코리아 컨퍼런스 : https://www.qa-korea.com/ 
이경형 님 링크드인 : 링크드인 연결 링크

 

QA 컨퍼런스의 첫 발표는 이경형 님이 발표해 주셨고, 데이터 QA의 목표, 전략, 방법을 통하여 여기어때컴퍼니 현업에서 활용하고 있는 사례를 예로 들어 설명해 주셨습니다.

 

 

데이터 QA는 어떤 분야인지 잘 모르는 상태로 발표를 들었기 때문에 좀 더 새롭게 느껴졌습니다. 

우선 내용을 처음 보는 사람도 알아듣기 쉽게 예시를 들어가면서 말씀해 주셔서 좀 더 명확하게 파악했습니다

 

 

 여기어때를 사용하는 사용자가 어떤 행동을 했는지 로그로 기록하는 것이 "사용자 행동로그"라고 말씀해 주셨습니다. 이렇게 쌓인 데이터를 분석하여 사용자가 어떤 행동을 하는지, 분석하여 어떤 상품을 추천해야 하는지 학습 데이터로 쓴다고 하네요.

 

 

그리고 이번 발표를 통해 처음 알게 된 "개발요청서"라는 문서를 검토하는 작업이 QA 프로세스 중 하나라고 하는데요, 개발요청서는 각 화면의 이벤트들이 어떤 동작을 수행하고, 전달하는 프로퍼티에 대한 내용까지 정리된 문서라고 합니다. 이런 방식으로 명확하게 개발 문서를 관리하여 기획 의도에 맞는 개발을 하고 있다는 것을 증명할 수 있고 기획-개발-QA가 서로 어떤 시스템이 만들어지고 있구나를 파악할 수 있는 문서라고 합니다.

 

이 문서를 보고 이런 문서 쓸 시간도 없이 개발만 해도 바쁠 텐데.. 그리고 개발 내용을 문서화하는 작업이 엄청 귀찮고 유지보수하는 것도 귀찮을 것 같다고 생각했는데 관리만 잘 된다면 서로의 의사소통이 잘 되고 있구나를 문서로 확인할 수 있어서 프로세스만 잡힌다면 업무 협의에 큰 도움이 될 것 같다는 생각도 했습니다.

 

 

그래서 QA의 업무는 개발 요청서의 내용을 꼼꼼하게 검토하는 부분이 중요하다고 하시네요. 잘못된 내용을 그대로 개발하면 예상과 다른 결과를 다르게 만들 수 있기 때문입니다. 어쩌면 이 부분이 화면 개발은 아직 안되었을지라도 백엔드 내용을 미리 테스트할 수 있는 업무인 것 같네요! 

 

그다음은 QA 업무인 TC 설계 및 수행에 대한 내용을 사용자 행동 로그 데이터와 관련되어 설명해 주셨습니다.

이벤트나 태그의 정상 동작 여부 확인, 사용자 동작 내용은 로그로 정상 저장이 되는지, 너무 많은 로그를 쌓아서 앱 자체에 영향을 주는 부분은 없는지를 주로 확인한다고 하시네요

 

 

로그 검증 도구는 Kibana를 사용하며, Elastic search, Logstash와 같이 사용하여 ELK 시스템을 구축하고 있다고 합니다.

Elasticsearch에서 적재되는 로그를 실시간으로 확인할 수 있고, 한 번의 행동에 대해 적재되는 로그도 확인할 수 있고, 다른 환경에서 로그를 별도로 적재하고 있는지 확인하기 용이하여 사용한다고 합니다.

아무래도 사용자 행동로그를 기반으로 QA 업무를 진행하다 보니 로그 관리 도구에 대한 중요도나 사용성이 가장 중요할 듯한데 로그 관련되어 많이 사용하는 Kibana를 사용하는 것을 보고 직접 써보진 않았지만 정말 많이 들어본 툴인데!라고 생각하며 관련 자료에 대한 공부를 좀 더 해봐야겠다고 생각했습니다 😅

 

그다음 검증 도구는 Postman을 같이 활용한다고 하는데요, Elastic의 Search API를 통해 로그를 Json 형식으로 받아와서 로우 데이터로 저장하고 이 Json에 대한 쿼리를 작성하면 특정 로그만 조회하기 수월하다고 하네요. 앱에서 직접 사용자 행동을 수행하여 로그를 발생시킨 뒤 로그 데이터를 Json 형식으로 받아와서 확인하는 방식으로 마치 API 테스트하는 방법과 비슷하게 사용한다고 하셨습니다.

 

 

 Postman을 사용해서 테스트에 필요한 스크립트를 작성하여 TC로 활용하고 있다고 하네요. Elasticsearch와 Postman을 잘 활용하여 API 테스트처럼 사용하고 있다는 것을 볼 수 있었습니다. Postman으로 API 테스트를 많이 사용한다고 알고 있었는데 직접 현업에서 사용하는 사례에 대한 설명은 처음 봤네요! 우리 회사도 Postman으로 API 테스트를 한다면 좀 더 시각적이지 않을까 라는 생각이 드는 시간이었습니다 🙄

 

 

그리고 정규식을 잘 활용하여 대량의 로그들을 좀 더 편하게 관리할 수 있는 방법에 대해서 설명해 주셨습니다. 내부적으로 사용하는 규칙을 적용하여 원하는 로그가 정상적으로 들어왔는지, 아니면 비정상 로그가 들어가있는지를 확인할 수 있다고 합니다.  

 

 

체계적으로 잘 작성된 '개발요청서'를 기반으로 Postman Collection 기능을 활용하여 Postman의 TC를 자동 생성할 수 있는 방식도 설명해주셨습니다. 사실 이 부분은 프로세스 고도화 작업에 대한 내용이라서  Postman을 많이 다뤄보지 못한 저로서는 약간 어려운 내용이라 상세하게 적진 못하겠네요 😥

 

그래도 Postman 기능과 개발요청서를 잘 활용한다면 테스트 스크립트 생성을 자동화할 수 있기 때문에 공수 절감에 큰 영향을 준다고 합니다 😀

그리고 여기어때 기술블로그를 소개해주시면서, 자동화 관련 내용에 대한 포스팅도 올려주신다고 하셨습니다

https://techblog.gccompany.co.kr/

여기어때 기술블로그

 

후기로는, 개발요청서가 체계적으로 잡혀있으면 기획-개발-QA 3개의 팀의 의사소통이 명확하게 이뤄질 수 있겠구나라고 생각했으며, 사용자 행동 로그를 분석하여 우리 사용자가 어떤 행동을 하고 있는지 파악하여 사용자가 원할 수 있는 내용을 추천해 준다는 것을 알게 되었습니다. 유튜브 알고리즘도 이런 방식으로 영상을 추천해 주는 건가 싶기도 하네요 😮

 

이번 시간에는 제가 담당하고 있는 QA랑 다른 방식의 QA 업무의 내용이라서 신기했던 부분이 많았습니다. 잘 모르는 영역이라 틀린 부분도 있을 텐데 의견 주시면 수정하도록 하겠습니다 😅

새로운 내용을 쉽게 설명해 주신 이경형 연사자님 고생 많으셨습니다 👍👍

 

다음 내용에서는 제 업무에 직접적으로 영향이 있는 기능 자동화에 대한 내용을 가지고 포스팅해보겠습니다 :)