테스트는 다 통과했는데 페이지가 통째로 깨졌습니다, AI로 만든 기능을 검증하며 찾은 것
진행 표시 기능은 타입 검사, 단위 테스트, e2e 테스트를 모두 통과했습니다. 그런데 모바일 화면과 저장소를 막은 브라우저에서 문제가 두 가지 나왔습니다. 검증 단계에서 한 일과, 테스트 표가 놓친 것을 정리했습니다.
기획부터 검증까지, AI와 넓힌 프론트엔드 개발자의 일· 6 / 6펼치기접기
진행 표시 기능을 만들고 나서 확인할 수 있는 건 다 확인했습니다. 타입 검사를 통과했고, 단위 테스트 28개도 모두 통과했습니다. Playwright로 짠 e2e 검사 7개도 모두 ok였습니다. 그런데 4편의 테스트 케이스 표에 "미확인"으로 남겨 둔 한 줄을 확인하자, 시리즈 페이지가 통째로 "This page couldn't load"로 바뀌었습니다.
시리즈 마지막 글에서는 검증 단계를 다룹니다. 자동 검사로 확인한 것, 사람의 눈으로 찾은 것, 그리고 이번에 확인하지 못한 것을 나눠서 정리합니다. 에이전트의 "완료했습니다"를 믿지 않으려고 걸어 둔 장치는 AI 산출물 품질 게이트 글에 따로 적어 두었습니다.
검증 역시 QA 엔지니어라는 전문가가 있는 분야입니다. 여기서 한 일은 개발자가 자기 코드를 넘기기 전에 해야 할 최소한의 확인이고, 테스트 설계 전문가의 일을 대신하지 않습니다.
1. 테스트 케이스 표를 그대로 e2e로 옮겼습니다
4편의 테스트 케이스 표에서 "자동화"가 e2e인 항목을 Playwright 스크립트로 옮겼습니다. 시리즈 페이지를 열고, 1편을 열고, 본문 끝까지 내리고, 다시 시리즈 페이지로 돌아오는 흐름입니다.
ok 처음엔 0편 읽음
ok 처음엔 이어 읽기 없음
ok 글을 열기만 하면 기록 안 됨
ok 본문 끝까지 내리면 기록됨
ok 시리즈 페이지에 1 / 4
ok 이어 읽기는 2편
ok 하이드레이션 경고 없음 (0)진행 표시는 role="progressbar"와 aria-valuenow를 달아 두었기 때문에, 검사도 화면 글자 대신 이 접근성 속성을 읽게 했습니다. 스크린 리더가 읽는 값과 테스트가 확인하는 값이 같아지는 셈입니다. 5편에서 가장 신경 쓴 하이드레이션도 콘솔 경고가 0건인지로 확인했습니다.
여기까지는 모두 통과였습니다.
2. 모바일에서는 테스트를 통과하고도 보기 나빴습니다
다음으로 화면 너비를 390px로 줄여 스크린샷을 찍었습니다. 테스트 케이스 표의 기준은 "가로 스크롤 없음"이었고, 실제로 페이지 너비는 390px 그대로라 기준은 통과했습니다. 하지만 화면을 보니 "이어 읽기" 배지가 제목 옆 자리를 차지해서, 제목이 한 줄에 몇 글자밖에 들어가지 않았습니다.

좁은 화면에서는 배지를 제목 아래로 내리게 바꿨습니다.
<span className="flex flex-1 flex-col items-start gap-2 md:flex-row md:items-center md:justify-between">
<span className="font-semibold">{p.title}</span>
<NextBadge slug={p.slug} slugs={slugs} />
</span>
이 문제는 테스트 기준이 틀려서 생긴 게 아닙니다. "보기 좋은가"는 숫자로 적기 어려운 기준이라, 처음부터 표에 들어가지 않았던 겁니다. 스크린샷을 사람이 직접 봐야 찾을 수 있었고, 실제 서비스였다면 디자이너가 더 일찍, 더 정확하게 짚었을 부분입니다.
3. 저장소를 막자 페이지 전체가 깨졌습니다
마지막으로 표에 "미확인"으로 남아 있던 TC-08을 확인했습니다. 사생활 보호 설정 등으로 브라우저 저장소를 쓸 수 없는 경우입니다. Playwright에서 localStorage에 접근하면 에러가 나도록 막고 시리즈 페이지를 열었습니다.
h1: This page couldn't load
pageerror: Cannot read properties of undefined (reading 'rehydrate')진행 표시만 빠지는 게 아니라 페이지 전체가 에러 화면으로 바뀌었습니다. 같은 조건에서 시연 코드를 넣기 전의 블로그 코드는 페이지가 정상으로 열렸습니다. 문제는 이번에 추가한 코드에 있었습니다.
원인은 5편의 복원 코드였습니다. 저장소를 쓸 수 없는 환경에서는 useRead.persist가 undefined였고, 그 상태에서 effect가 rehydrate()를 부르다 에러가 났고, 이 에러를 잡는 곳이 없어 페이지 전체가 에러 화면으로 바뀌었습니다. 요구사항에는 "저장소를 못 쓰면 진행 표시를 숨긴다"라고 분명히 적혀 있었습니다. 하지만 구현에도, 자동 테스트에도 그 경우가 빠져 있었습니다.
useEffect(() => {
if (!useRead.persist) return;
Promise.resolve(useRead.persist.rehydrate()).then(() => setReady(true), () => {});
}, []);persist가 없으면 복원하지 않고, 진행 표시도 끝까지 그리지 않게 고쳤습니다. 다시 확인하니 시리즈 페이지와 글 페이지 모두 정상으로 열렸고, 진행 표시만 빠졌습니다. 기존 e2e 검사 7개도 다시 모두 통과했습니다.
이번 검증에서 가장 크게 남은 장면입니다. 문서에 적힌 예외 상황이, 문서에 적혀 있다는 이유만으로 처리된 것처럼 보였습니다. 표의 "미확인" 한 칸을 그냥 넘겼다면 이 버그는 그대로 남았을 겁니다.
4. 이번에 확인하지 못한 것도 적어 둡니다
시연이라 확인하지 못한 것도 있습니다.
- 실제 스크린 리더로 읽어 보는 확인. 이번에는 접근성 속성 값만 검사했습니다.
- 탭 여러 개를 동시에 열었을 때 기록이 어긋나지 않는지
- 시리즈에서 글이 삭제되거나 순서가 바뀌었을 때
- Vercel 미리보기 배포에서의 동작. 블로그에 반영하지 않았기 때문에 배포하지 않았습니다.
4편에서 적었듯이, 이런 빠진 경우를 체계적으로 찾아내는 게 테스트 설계 전문가의 일입니다. AI가 만든 테스트 케이스는 요구사항 범위 안에서는 꼼꼼했지만, 범위 밖을 의심하지는 않았습니다.
마치며
여섯 편 동안 기능 하나를 기획부터 검증까지 끌고 와 보니, 단계마다 AI가 만든 건 늘 그럴듯한 초안이었습니다. 스토리보드도, 시안도, 테스트 케이스 표도, 코드도 그랬습니다. 그리고 단계마다 그 초안을 의심한 순간에 문제가 보였습니다. 이어 읽기 문구가 어색하다는 것, 모바일에서 제목이 눌린다는 것, 저장소가 없으면 페이지가 깨진다는 것이 그랬습니다.
기획, 디자인, 문서, 검증까지 손댈 수 있는 범위는 분명 넓어졌습니다. 하지만 넓어진 만큼 각 분야 전문가가 무엇을 보는지 더 잘 알게 됐습니다. 이번 시연 코드는 블로그에 넣지 않았고, 실제로 넣는다면 확인하지 못한 네 가지부터 마저 볼 생각입니다.
Comments (0)