테스트 중 결함 등록 방식 공유

이전 글에 이어서 테스트관련 추가 내용을 공유하려고 합니다!
이번 글에서는 결함을 발견 했을 때 어떤 방식으로 결함을 공유하는지 작성해보겠습니다 😀
결함 예시는 어떤 페이지에서 해볼지 고민하다 최근에 자주 방문했던 올리브영(https://www.oliveyoung.co.kr/) 페이지로 예시를 들어보도록 하겠습니다 
참고 - 2024.06.11 - [QA/업무 방식] - 기능 테스트 케이스 작성 방식

---

결함 관리의 필요성

소프트웨어에서 결함을 발견하는 업무는 품질 향상을 위해 중요한 역할을 담당하고 있습니다.
하지만 발견한 결함 관리가 미흡하다면 어떻게 될까요?

분명 테스터가 결함을 확인하여 내용을 전달했음에도 내용이 부실하다면, 개발자는 이슈에 대해 다시 질문하는 상황이 발생할 수도 있고, 잘못된 방향으로 기능을 수정할 수도 있습니다.

또한 테스터의 거짓 양성 판정으로 이슈가 전달되었다면, 개발자들은 정상 동작을 비정상 동작으로 변형하여 수정될 수도 있습니다.

이런 위험성을 대비하기 위해 결함 등록 시 필요한 내용들을 정리해보겠습니다.

거짓 양성 : 실제로 존재하지 않는 문제나 결함이 존재한다고 잘못 진단되는 상황을 의미합니다. 이는 검증 또는 테스트 과정에서 오류가 발생하여, 사실은 정상이지만 비정상으로 잘못 판단되는 경우

 

---

결함 등록 원칙

소프트웨어 결함 등록 시의 원칙은 결함을 보다 명확하고 효율적으로 전달하여, 담당 개발자가 신속하고 정확하게 해결 할 수 있도록 돕는 것을 중요하게 생각합니다.

결함을 전달하기 위해 필요한 항목들에 대해 정리해보겠습니다. 개인적으로 사용하고 있는 업무 방식을 예시로 사용해보겠습니다. 사용하는 BTS 관리 툴이나 사내 규정 혹은 방식에 따라 다를 수 있으니 참고만 해주세요 :)

1. 명확한 요약으로 어떤 주제의 결함인지 전달해야 합니다.
   • 결함의 간단하고 명확한 요약을 작성하여 결함을 한눈에 파악할 수 있도록 합니다.
     • 예시 1. "로그인 페이지에서 비밀번호 입력 시 에러 메시지 표시 안됨"
     • 예시 2. "[로그인] 정상 데이터 입력 후 로그인 버튼 동작 시 반응 없음"
   • 개인적으로 괄호 안에 어떤 페이지에서 오류가 발생했는지 알려줘서 Jira에서 이슈 명만 보고 어떤 부분의 결함이구나를 전달합니다.
   • Jira 필터 기능을 통해 이슈의 카테고리를 설정하는 방법도 있지만, 보통 전체 이슈 제목을 스윽 둘러보고 어떤 페이지가 내 담당 업무인지 파악하는 것 같아서 대괄호안에 어떤 페이지와 관련있는지 써주고, 이슈 상세에서 관련 페이지 카테고리도 연결해주는 방식을 사용하고 있습니다.
2. 상세한 설명을 제공해야 합니다.
   • 결함의 구체적인 설명을 포함하여 문제를 명확하게 제공합니다. 방식은 아래와 같습니다.
     1. 재현 단계 : 결함을 재현하기 위한 단계를 기술합니다
        • 예시 :
          1. 웹 사이트에 접속
          2. 로그인 페이지 이동
          3. id: "admin" / pw: "admin" 입력
          4. 로그인 버튼 클릭
     2. 예상 결과 : 정상 동작에 대한 예상 결과를 작성합니다.
        • 예시 : "정상 로그인 수행되며 메인 페이지가 정상 출력 됨"
     3. 수행 결과 : 결함이 발생했을 때 실제 결과를 설명합니다.
        • 예시 : "로그인 버튼을 클릭해도 아무 반응이 없는 상태"
3. 결함 수행 환경 정보 명시해야 합니다.
   • 결함이 발생한 환경 정보를 명시합니다.
     • OS : Windows 10
     • 브라우저 : Chrome (필요시 버전까지)
     • 기기 정보 : 데스크탑 PC
     • 제품 버전 : v1.0.1 build ver
     • 대상 페이지 : https://qa-subi.tistory.com/
4. 필요시 첨부 파일 추가하여 공유합니다.
   • 결함을 재현할 수 있는 방법이나 발생한 상태를 스크린샷 또는 비디오로 첨부합니다.
   • 개발자 도구(F12)관련 로그에 오류가 있다면 첨부합니다.
   • 서버 로그를 첨부하여 공유하는 경우도 있습니다.
5. 우선 순위 설정하여 결함 수정 순서를 정할 수 있도록 합니다.
   • 결함의 심각도에 따라서 우선순위를 설정합니다
   • 예시 : 치명결함, 중결함, 단순결함, 개선 / Blocker, Critical, Major, Minor, Trivial
6. 필요시 담당자 할당하여 이슈를 전달합니다.
   • 대상 페이지에 담당자를 아는 경우 담당자를 지정해줍니다.

---

결함 등록 예시

최근에 자주 방문했던 올리브영 페이지에서 작은 결함을 확인하여 관련 내용으로 결함 등록 예시를 작성해보도록 하겠습니다.

1. 단순 결함 내용 등록 예시

결함 요약	[세일] 세일 페이지에서 카테고리 선택 후 마지막 페이지로 이동하면 상품이 없어지는 현상
심각도	단순 결함
재현 단계	1. 올리브영 페이지로 이동 2. 상단 페이지 목록 중 "세일" 항목 클릭 3. 중앙 카테고리 목록 중 "더모 코스메틱" 카테고리 혹은 "맨즈케어" 카테고리 선택 4. 가장 하단으로 스크롤하여 마지막 페이지 이동 아이콘 클릭 5. 페이지 내용 확인
예상 결과	" 전체 xx 개의 상품이 등록되어 있습니다." 라는 문구와 대상 상품 목록 정상 표시 됨
수행 결과	" 전체 0 개의 상품이 등록되어 있습니다." 라는 문구 출력되며 상품이 표시되지 않는 현상 발생
첨부 자료	표 하단 동영상 자료 확인
환경 정보	OS : Windows 10 브라우저 : Chrome 기기 정보 : 데스크탑 PC

결함과 관련된 내용을 전달할 때 개발자도구(F12) 내용 중 오류 항목도 첨부하면 개발자분들이 내용을 보다 빨리 확인할 수 있습니다. 테스터는 로그를 확인하고 관련 오류가 어떤 오류인지 파악할 수 있으면 더 도움이 되겠죠?!

---

2. 개선 항목 등록 예시

결함 요약	[메인] "마이 메뉴" 항목에 마우스 오버시 툴팁 설명과 실제 기능 동작이 상이한 현상
심각도	개선
재현 단계	1. 올리브영 페이지로 이동 후 로그인 수행 2. "최근 본 상품" 항목에 마우스 오버하여 툴팁 내용 확인 3. "최근 본 상품" 버튼을 클릭하여 메뉴 확인 4. "최근 본 상품" 버튼을 재 클릭하여 메뉴 닫힘 기능 확인 5. "관심 매장 소식" 항목에 마우스 오버하여 툴팁 내용 확인 6. "관심 매장 소식" 버튼을 클릭하여 메뉴 닫힘 기능 확인 7. "오늘 드림" 버튼을 클릭하여 메뉴 목록 확인 8. 우측으로 마우스 이동하여 "관심 매장 소식" 버튼 클릭 9. 페이지 내용 확인
예상 결과	툴팁 내용인 "xxx 자세히 보기 열기/닫기" 라는 문구와 동일한 동작 수행 됨
수행 결과	"최근 본 상품" 항목은 툴팁과 다르게 메뉴 닫힘 기능이 동작 하지 않고 마우스 오버를 해제해야 닫힘 "관심 매장 소식" 항목은 툴팁과 다르게 마우스 오버만 해도 내용이 표시되며, 재 클릭시 닫힘 기능이 동작 안함 "오늘 드림" 항목을 클릭 후 우측으로 마우스 이동하면 메뉴가 겹쳐서 표시 됨
첨부 자료	표 하단 동영상 자료 확인
환경 정보	OS : Windows 10 브라우저 : Chrome 기기 정보 : 데스크탑 PC

오늘 드림 메뉴와 관심 매장소식 메뉴가 겹치는 현상

올리브영 페이지에 로그인 하는 경우 개인정보가 표시되는 부분이 있어서 관련 내용은 작게 캡처하여 첨부했습니다.

이처럼 시각적인 자료도 첨부해서 내용을 공유해준다면 개발자분들이 결함 동작을 재확인하기 위한 추가 공수를 줄일 수 있어서 업무를 효율적으로 진행 할 수 있도록 지원해줄 수 있습니다.

---

올리브영 페이지 관련 조사를 해보다가 우연히 발견한 내용으로 결함 등록 방식에 대한 정리를 해봤습니다. 저는 이런 방식으로 진행을 하는 편인데 다른 업체는 어떤 방식으로 하는지 궁금하기도 하네요 😆

다음 QA 관련 포스팅으로 다시 돌아오겠습니다! 아마.. 또 올리브영 페이지를 활용한 QA 업무 정리를 할 듯 하네요 :)