← 목록 · 06-4 · 테스트 — 틀렸다는 걸 빨리 아는 법 · 원문 script.md

06-4: 테스트 — 틀렸다는 걸 빨리 아는 법

rev1. 공통 조항 assets/contracts/COMMON.md(SPEC.lock v4, 해시 e80afdf8956320eb). 계약 assets/contracts/06-4.md(contract.py 생성본, 06 과목 마지막 편) · 「이 편 특기」는 assets/contracts/_SPECIAL.md 정본과 동일(N4·G1·K1·L2·과목분류·머리말 다섯 자리·A7 하한 확정 포함). 소재 assets/market.md. 데이터 06-2·06-3·04-4 결과(assets/data/daejeon/README.md 「04-4 코호트 실측」 절, 새 분석 없음). 틀은 author-e/ep-06-3/(현행 규격, 읽기만) — 06-3의 프로토타입·버린 후보 목록을 이어받는다. 과목 분류: 소재 과목(COMMON §0.2 표 — 06). 디자인씽킹은 사업단 것 — AI를 얹는 절차만(§0.12-3).

기본 정보

학습 목표

• 테스트는 맞다는 증거를 모으는 것이 아니라, 틀렸다고 판정할 조건을 먼저 적고 그 조건에 걸리는지 보는 것이라는 것을 설명할 수 있다
• 틀림 조건을 먼저 적지 않으면 어떤 반응도 확증으로 읽히는 이유를 설명할 수 있다
• AI가 사람 대신 반응을 지어내는 함정을 가려낼 수 있다

구성

합계 25분(COMMON §0.1 — 도입2·이론6·시연15·정리2). 시연 구간의 무발화 조작 시간은 화면 지시에 단가표 유형(파일열기20·열고르기30·검사실행30·AI응답대기30·표작성20·없음0, 초)으로 표기한다. 전환 비용 8초는 전환 칸에서만 센다(§0.4-a). 재구성 AI 출력은 코드펜스 없이 화면 지시·발화로만 적는다(K1).

연결

• 이전: 06-3 「발상과 프로토타입 — 30분 만에 만들어 본다」 — 「새로 연 가게가 첫 2년에 확인할 것」 체크리스트 한 장을 만들었다
• 다음: 7-1 「AI에게 시킨 것을 남에게 설명하는 법」(06 과목은 여기서 끝난다)

상세 전개

도입 (2분)

[화면: 오늘 만들 「테스트 기록」 한 장 목업 — 무엇이 나오면 틀린 것인가 · 누구에게 · 결과 · 고칠 것/버릴 것(재구성 — 촬영 시 실제 완성본 화면으로 교체). · 조작: 없음 · 전환: 예]

(축자)

"오늘 정하는 것은 무엇이 나오면 틀린 것인지, 그 조건을 먼저 적는 것입니다."

(요점) 프로토타입을 만드는 것과 그것을 시험하는 것은 다른 일이다. 오늘은 만든 것을 실제로 시험하는 자리다.

(요점, 앞 편 결과 30초) 지난 편에서 프로토타입 한 장을 만들었다. 맞히기 위해서가 아니라 빨리 틀리기 위해 만든 것이라고 했다. 오늘은 그 프로토타입을 실제로 틀려 본다. 지난 편이 만드는 걸음이었다면, 오늘은 그 결과를 실제로 시험하는 걸음이다.

(축자)

"프로토타입은 빨리 틀리기 위해 만들었습니다. 오늘 그 틀림을 확인합니다."

(요점) 오늘 만들 결과물은 테스트 기록 한 장이다. 무엇이 나오면 틀린 것인지, 누구에게 보였는지, 결과가 어땠는지, 그래서 무엇을 고치고 무엇을 버릴지를 적는다. 이 넷이 오늘 시연이 채울 칸이다. 넷 중 첫 칸을 가장 먼저 채운다 — 틀림 조건을 정하지 않으면 나머지 세 칸도 의미가 없다.

(요점) 넷 중 어느 한 칸이라도 비어 있으면 테스트 기록이라고 부를 수 없다. 결과만 적고 무엇을 고칠지 안 적으면 다음 걸음으로 못 넘어가고, 틀림 조건 없이 결과만 적으면 그 결과가 좋은 건지 나쁜 건지조차 판단할 수 없다.

이론 (6분)

(요점, 도입) 디자인씽킹 네 걸음 중 오늘은 마지막, 테스트다. 프로토타입을 만들었으면 이제 그것이 맞는지 틀리는지 확인할 차례다. 앞선 세 걸음이 좁히고 넓히고 다시 좁히는 과정이었다면, 오늘은 그렇게 나온 것을 실제로 시험해 보는 자리다.

(축자, 핵심 정의)

"테스트는 맞다는 증거를 모으는 것이 아닙니다. 틀렸다고 판정할 조건에 걸리는지 보는 것입니다."

(요점) 맞다는 증거를 모으는 방식은 언제나 성공한다 — 좋은 말만 골라 들으면 어떤 프로토타입도 좋아 보이게 만들 수 있다. 틀렸다고 판정할 조건은 그 반대로, 실패할 수 있는 자리를 미리 열어 둔다.

(요점) 이 정의는 04 과목에서 이미 배운 것과 같은 뿌리다. 그때는 질문에 어떤 숫자가 나오면 틀린 것인지 먼저 적었다. 오늘은 프로토타입에 어떤 반응이 나오면 틀린 것인지 먼저 적는다. 대상이 다를 뿐 순서는 같다 — 틀릴 수 있는 조건을 먼저 정하고, 그 조건에 걸리는지만 본다. 틀릴 수 없게 만든 질문이 질문이 아니듯, 틀릴 수 없게 만든 테스트도 테스트가 아니다.

(축자)

"틀림 조건을 먼저 적지 않으면, 어떤 반응이 나와도 좋다는 뜻으로 읽힙니다."

(요점) 틀림 조건이 없으면 확증만 남는다. 프로토타입을 보여 주고 "어때요?"라고만 물으면, 웃으며 고개를 끄덕이는 반응도 "괜찮아 보인다"는 반응도 전부 좋다는 증거로 쌓인다. 정작 이 프로토타입이 정말 쓸모 있는지는 그 반응들만으로는 알 수 없다. 좋게 들리는 말을 모을수록 오히려 틀린 곳을 못 보게 된다.

(축자, 핵심 정의)

"테스트 대상은 프로토타입입니다. 사람이 아닙니다."

(요점) 이 구분을 놓치면 프로토타입을 만든 사람의 기분을 상하지 않게 하는 자리로 흘러가기 쉽다. 사람을 테스트한다고 착각하기 쉽지만, 확인하는 것은 프로토타입이 실제로 쓸모 있는지다. AI는 테스트 질문을 다듬고, 모인 답을 종류별로 나누는 데는 쓸 수 있다. 사람 대신 반응을 답하게 하는 것은 다른 일이다 — 공감 단계에서 만난 페르소나 함정과 같은 자리다. 그때는 데이터 뒤의 사람을 AI가 대신 느낀 척했고, 오늘은 아직 만나지 않은 사람의 반응을 AI가 대신 지어낸다.

(요점, 다른 예) 레시피를 시식하는 자리를 생각해 본다. "짜다고 하면 틀린 것"이라는 조건을 먼저 정하고 맛보게 한다. "어때요?"라고 넓게 묻지 않는다. 넓게 물으면 대부분 예의상 괜찮다고 답하고, 그 대답만으로는 짠지 안 짠지 알 수 없다. 짜다는 말이 한 번이라도 나오면 그 레시피는 그 자리에서 틀린 것으로 확인된다.

(축자)

"짜다고 하면 틀린 것이라고 먼저 정합니다. 어때요, 라고 묻지 않습니다."

(요점) 조건을 먼저 정해 두면, 시식하는 사람이 무슨 말을 하든 그 조건에 걸리는지만 보면 된다. 오늘 시연에서도 이 순서 그대로 한다 — 조건을 먼저 적고, 반응이 그 조건에 걸리는지만 확인한다. 이론은 여기까지다 — 틀림 조건·테스트 대상·사람 대신 답하지 않기, 이 셋만 들고 시연으로 넘어간다.

시연 (15분 + 조작)

[화면: 06-3의 체크리스트와 04-4 숫자를 나란히 연다 — "새로 연 가게가 첫 2년에 확인할 것", 2년 내 폐업 24.34%(동구 28.4%·대덕구 18.2%)(재구성 — 촬영 시 실제 실행 화면으로 교체). · 조작: 표작성 · 전환: 예]

(축자)

"지난 편에서 만든 체크리스트를 오늘 실제로 틀려 봅니다."

(요점) 만든 사람이 직접 틀려 보는 것은 쉽지 않다. 자기가 만든 것이 쓸모없다는 말을 듣고 싶은 사람은 없기 때문이다. 그래서 틀림 조건을 미리 정해 두는 것이 더 중요하다. 조건이 미리 정해져 있으면, 만든 사람의 기분과 상관없이 판정은 조건이 대신 내려 준다.

(요점, 이론과 연결) 이론에서 「테스트는 틀림 조건에 걸리는지 보는 것」이라고 했다. 이 말을 실제로 확인하려면, 먼저 무엇을 테스트할지부터 다시 열어야 한다. 06-3에서 만든 체크리스트를 다시 연다. 2019년 인허가 코호트 2년 내 폐업 24.34퍼센트, 동구 28.4퍼센트, 대덕구 18.2퍼센트 — 이 숫자에서 나온 체크리스트다. 오늘은 이 체크리스트가 정말 쓸 만한지 확인한다. 06-3에서 이 체크리스트를 만들 때 이미 규칙 둘로 걸렀지만, 규칙을 통과했다고 실제로 쓸모 있다는 뜻은 아니다.

[화면: 「새로 연 가게 주인 셋에게 보였을 때, 셋 중 둘이 '이건 이미 안다'고 하면 틀린 것」이라는 틀림 조건을 적는다(재구성 — 촬영 시 실제 실행 화면으로 교체). · 조작: 표작성 · 전환: 예]

(요점) 보여 주기 전에 틀림 조건을 먼저 적는다. "새로 연 가게 주인 셋에게 보였을 때, 셋 중 둘이 '이건 이미 안다'고 하면 틀린 것"이라고 정한다. 이 조건을 정하고 나면, 보여 준 뒤에 나오는 반응은 무엇이든 이 조건에 걸리는지만 보면 된다. 왜 셋 중 둘인지도 미리 정해 둔다 — 한 명만 안다고 하면 그 사람만 예외일 수 있지만, 둘이 같은 말을 하면 우연이라고 보기 어렵다.

(축자)

"셋 중 둘이 '이미 안다'고 하면 틀린 것입니다. 이 기준을 먼저 정합니다."

(요점) 이 기준을 정하는 데 특별한 계산은 필요 없다. 몇 명 중 몇 명이면 걸리는지를 미리 숫자로 적어 두기만 하면 된다. 숫자로 적어 두지 않으면, 나중에 "그 정도면 괜찮은 것 같다"는 식으로 판정이 흔들린다. 조건을 적은 뒤에는 그 조건을 바꾸지 않는다 — 반응을 보고 나서 조건을 슬쩍 느슨하게 고치면, 처음부터 조건이 없었던 것과 같아진다.

[화면: AI 채팅창 — "이 체크리스트 테스트해 줘"라고 입력하자, 가상의 사용자 반응을 지어내 "긍정적"이라 답한다(재구성 — 촬영 시 실제 실행 화면으로 교체). · 조작: AI응답대기 · 전환: 예]

(요점, 함정) 에이전트에게 "이 체크리스트 테스트해 줘"라고 시켜 본다. 에이전트는 실제로 아무도 만나지 않았는데도, 가상의 사용자 반응을 지어내 "반응이 긍정적입니다"라고 답한다. 06-1에서 만난 페르소나 함정과 같은 뿌리다 — 사람 대신 답한 것은 테스트가 아니다. 틀림 조건을 먼저 적어 두지 않았다면, 이 "긍정적"이라는 한마디를 그대로 믿었을 수도 있다.

(축자)

"아무도 만나지 않고 낸 '긍정적'이라는 답은, 테스트가 아니라 지어낸 것입니다."

(요점) "테스트해 줘"라는 말만으로는 에이전트가 무엇을 확인해야 하는지 알 수 없다. 틀림 조건을 함께 알려 주지 않으면, 에이전트는 그럴듯한 답을 만들어 내는 것 말고는 할 수 있는 일이 없다.

(요점) 이 함정이 위험한 이유는 결과가 그럴듯하게 들리기 때문이다. "긍정적"이라는 한마디만 들으면 테스트를 실제로 한 것처럼 느껴진다. 하지만 틀림 조건에 누구도 걸어 보지 않았으니, 이 프로토타입이 정말 쓸 만한지는 아직 아무것도 확인된 것이 없다. 에이전트가 지어낸 답을 그대로 적었다면, 테스트 기록 한 장이 처음부터 거짓으로 채워질 뻔했다.

(요점) 이 함정을 피하는 방법은 간단하다 — 에이전트에게 넘길 때 틀림 조건과 실제로 보인 사람의 말을 함께 준다. 에이전트가 할 일은 그 말이 조건에 걸리는지 분류하는 것이지, 말을 지어내는 것이 아니다. 순서를 바꾸면 안 된다 — 사람을 먼저 만나고, 그다음에 AI에게 분류를 맡긴다.

[화면: 실제 테스트(재구성) — 가게 주인 셋(가상, 실명·상호 없음)에게 체크리스트를 보인 반응을 기록표에 적고 틀림 조건에 걸리는지 판정한다(재구성 — 촬영 시 실제 실행 화면으로 교체). · 조작: 표작성 · 전환: 예]

(요점) 실제로 가게 주인 셋에게 체크리스트를 보인 상황을 재구성한다. 이름과 상호는 적지 않는다. 첫째는 "위생 점검 항목은 나도 아는 얘기다"라고 했고, 둘째는 "인허가 날짜부터 세는 건 몰랐다"고 했고, 셋째도 "위생 항목은 이미 안다"고 했다. 틀림 조건("셋 중 둘이 이미 안다고 하면 틀린 것")에 걸린다 — 위생 항목에서 둘이 이미 안다고 답했다. 세 사람의 말을 하나하나 조건과 대 보는 것이 오늘 시연에서 가장 중요한 자리다. 셋 다 만나기 전에는 결과를 짐작하지 않는다 — 셋 중 몇이 걸리는지는 다 만난 뒤에만 안다.

(축자)

"셋 중 둘이 위생 항목을 이미 안다고 했습니다. 틀림 조건에 걸렸습니다."

(요점) 세 사람의 말을 그대로 옮기지 않고, 조건에 걸리는지 아닌지로만 정리한다. "이미 안다"는 말이 정확히 몇 번 나왔는지가 판정의 전부다 — 말투가 좋았는지 나빴는지는 이 판정에 들어가지 않는다.

(요점) 여기서 AI를 다시 쓸 수 있는 자리가 있다 — 세 사람의 말을 조건에 걸리는지 아닌지로 나누는 일이다. 다만 이번에는 반응을 지어내라고 시키지 않는다. 이미 나온 세 사람의 말을 넣고, 그 말이 조건에 걸리는지만 분류하라고 시킨다. 앞의 함정과 다른 점은 순서다 — 사람의 말이 먼저 있고 AI는 그 뒤에 온다.

(요점) 위생 항목은 버린다. 인허가 날짜 항목은 셋 중 하나만 몰랐다고 했으니 조건에 걸리지 않았지만, 표현이 어렵다는 말이 나와 문구만 고친다. 나머지 항목은 그대로 남긴다. 조건에 걸리지 않은 항목까지 손대지 않는 것도 오늘의 원칙이다 — 걸리지 않은 것을 자꾸 고치면, 무엇을 왜 고쳤는지 나중에 설명할 수 없게 된다.

(요점) 셋 중 하나가 말한 표현 문제도 판정과는 구분해서 적는다. 틀림 조건에는 걸리지 않았지만 실제로 나온 말이니 기록에는 남긴다. 조건에 걸린 것과 걸리지 않았지만 참고할 것을 한 칸에 섞어 적지 않는다 — 나중에 다시 볼 때 무엇이 버릴 이유였는지 헷갈리기 때문이다.

[화면: 테스트 기록 한 장을 저장한다 — 무엇이 나오면 틀린 것인가·누구에게·결과·고칠 것/버릴 것(재구성 — 촬영 시 실제 완성본 화면으로 교체). · 조작: 표작성 · 전환: 아니오]

(요점) 틀림 조건, 보인 대상, 나온 결과, 그래서 버린 것과 고친 것을 한 장에 정리해 저장한다. 06 과목 네 편이 만든 결과물이 이 한 장에서 끝난다 — 공감에서 질문을 나누고, 정의에서 문제를 좁히고, 발상에서 프로토타입을 만들고, 오늘 그것을 실제로 틀려 봤다. 네 편 중 어느 하나라도 건너뛰었다면 오늘의 틀림 조건도, 그 조건에 걸린 이유도 설명할 수 없었을 것이다.

(축자)

"공감, 정의, 발상, 테스트 — 네 걸음이 오늘 이 한 장에서 끝납니다."

[화면: 체크리스트의 위생 항목이 틀림 조건에 걸린 이유를 인물이 해석한다(재구성 — 촬영 시 실제 실행 화면으로 교체). · 조작: 표작성 · 전환: 예]

(요점, 전공이 드러나는 곳) 위생 점검 항목이 왜 "이미 안다"로 걸렸는지 인물이 해석한다.

(요점) 인물은 자신이 잘 아는 분야일수록 다른 사람도 모를 거라고 짐작하기 쉽다는 것을 이번에 직접 확인했다.

(축자, 전공)

"위생 점검은 영업하는 사람이면 다들 한 번쯤 듣는 얘기라고 봅니다. 저한테는 당연해 보였지만, 이미 아는 사람에게는 새로운 정보가 아니었다고 봅니다. 다음에는 이 항목 대신 원가 계산법을 넣어야 한다고 봅니다."

정리 (2분)

[화면: 도입에서 본 테스트 기록 목업이 다시 뜬다(재구성 — 촬영 시 실제 완성본 화면으로 교체). · 조작: 없음 · 전환: 예]

(축자, 지정)

"테스트는 맞았다는 증거를 모으는 것이 아니라, 무엇이 나오면 틀린 것인지 먼저 적는 것입니다."

(요점) 오늘 틀림 조건을 먼저 적고, AI가 지어낸 "긍정적"이라는 답을 걸러 낸 뒤, 실제 반응을 그 조건에 대 봤다. 셋 중 둘이 걸려 위생 항목을 버렸다. 맞았다는 증거를 모으려 했다면 이 함정을 못 봤을 것이다. 틀림 조건 하나가 그 함정을 걸러 냈고, 실제 반응 하나가 프로토타입의 약한 자리를 보여 줬다.

(축자)

"다음은 7-1 「AI에게 시킨 것을 남에게 설명하는 법」입니다."

(요점) 06 과목은 오늘로 끝난다. 공감에서 물은 질문, 정의에서 좁힌 문장, 발상에서 만든 프로토타입, 오늘 틀려 본 결과가 전부 이어져 있었다. 한 걸음이라도 건너뛰었다면 오늘 이 한 장까지 오지 못했을 것이다. 오늘 배운 것을 한 문장으로 남긴다면, 틀림 조건을 먼저 적어야 반응 하나하나가 의미를 갖는다는 것이다.

[자막: 여러분의 프로토타입은 무엇이 나오면 틀린 것입니까?]

근거

2019 코호트 2년 내 폐업률(06-2·06-3·04-4 재인용, 재확인): author-c/probe-dj/3b/data/license.csv(260,856행 × 17열, CP949)를 집필자가 python csv(quote-aware)로 다시 확인 — 인허가일자 연도 2019인 행 13,665건(대전광역시 109건 포함), 그중 폐업일자가 (인허가일자 ≤ 폐업일자 ≤ 인허가일자+2년) 범위에 있는 행 3,326건 → 24.34%. 폐업일자가 인허가일자보다 앞선 행 8건은 정의상 제외. 구별(대전광역시 109행 제외, 5개 구 13,556건 기준): 동구 2,023건 중 575건(28.4%) · 대덕구 1,237건 중 225건(18.2%) — 계약 「숫자 출처」 표·06-2·06-3·04-4·README와 일치.

04-1 참조: 이론에서 "04 과목에서 이미 배운 것과 같은 뿌리"라고 짚은 부분은 author-a/ep-04-1/script.md의 "답이 틀릴 수 없는 질문은 질문이 아닙니다. 어떤 숫자가 나오면 틀린 것인지 먼저 적습니다."(해당 대본 확인) 원칙을 가리킨다 — 문장을 그대로 인용하지 않고, 같은 원칙임을 서술로만 짚었다.

가게 주인 셋 반응(재구성): 실명·상호 없이 재구성한 가상 반응이다. 실제 설문 주관식 인용이 아니므로 §0.11 대상이 아니다.

대장 밖 사실: 0건. 이론의 레시피 시식 예는 실제 통계·사례가 아니라 틀림 조건의 개념을 설명하는 예시 상황이라 외부 사실 인용이 아니다(§0.17-b 대상 아님). 특정 회사의 채용 상황(사명·채용 건수)은 이 편에 인용하지 않았다.

K1(코드펜스): 시연 ③ 화면의 AI 응답은 코드펜스 없이 화면 지시·발화에만 적었다(SPEC v4 K1, 06-3 이후 계약 정정 반영).

새 데이터 분석 없음: 계약 지시대로 이 편은 04-4·06-2·06-3의 기존 숫자만 다시 쓰고, 새 검사·집계를 하지 않았다.