← 목록 · 04-5 · 고르고, 틀릴 수 있는 곳을 적는다 · 원문 script.md

04-5: 고르고, 틀릴 수 있는 곳을 적는다

rev3(건 2 FAIL 3 대응, 2026-09-06). 공통 조항 assets/contracts/COMMON.md(SPEC.lock v2). 계약 assets/contracts/04-5.md(rev3, 2026-09-06 05:48 정정 — 평가 행 다섯 슬롯 고정·시연 ③ 고지 문장), assets/contracts/04-5-rev2.md(GE1~GE3) · assets/contracts/04-5-rev3.md(GE4~GE6). 숫자는 facts.json에서 옮기고 끝의 「숫자 출처」 표를 근거로 삼는다, 손으로 고치지 않는다. 소재 assets/market.md. 데이터 author-c/probe-dj/3b/data/license.csv · assets/data/daejeon/shops_2026-06_clean_gu_category.csv · assets/data/daejeon/population_2026-07.csv(정본은 04-3·04-4 근거 절, 이 편은 그 결과를 다시 쓴다). 틀은 author-a/ep-04-4/(PASS). 04-4 승인 뒤 시작.

기본 정보

학습 목표

• 결론의 세 의무(민감도·한계·재현)를 설명하고, 자기 결론에 적용할 수 있다
• 04-3·04-4에서 나온 밀도·폐업률을 동시에 적용해 후보 구를 좁힐 수 있다
• 결론을 흔드는 가정을 실제로 하나 바꿔 보고, 그 결과가 얼마나 움직이는지 확인할 수 있다

구성

합계 25~30분(COMMON §0.1 — 4박자 선언 2·6·15·2=25, 시연 상한 총량에서 역산). 시연 구간의 무발화 조작 시간은 화면 지시에 단가표 유형(파일열기20·열고르기30·검사실행30·AI응답대기30·표작성20·없음0, 초)으로 표기한다 — 화면만 바뀌고 실제 조작이 없는 지시는 「없음」, 전환 비용 8초는 전환 칸에서만 센다.

연결

• 이전: 04-4 「상식과 반대로 나올 때」 — 밀도가 중간쯤인 동구가 잔차 +5.3으로 가장 크게 벗어났다
• 다음: 2-1 「AI는 왜 "모른다"고 하지 않나」

상세 전개

도입 (2분)

[화면: 리포트 「어느 구를 고른 이유」 마지막 절 — 한계 셋이 번호로 적힌 화면(재구성 — 촬영 시 실제 완성본 화면으로 교체). · 조작: 없음 · 전환: 예]

(축자)

"오늘은 이 결론이 어디서 흔들리는지를 봅니다."

(요점) 지난 두 차시에서 밀도 순위와 코호트 2년 내 폐업률을 각각 구했다. 오늘은 그 둘을 합쳐 하나의 구를 고르고, 그 선택이 어디까지 믿을 만한지를 적는다. 화면에 먼저 뜨는 것은 완성된 결론이 아니라, 그 결론 뒤에 붙는 한계 세 줄이다 — 오늘은 숫자를 하나 더 내는 것이 아니라, 이미 낸 숫자에 한계를 붙이는 법을 배운다.

(요점, 앞 편 되짚기) 04-3의 인구 만 명당 밀도는 중구·서구가 위쪽 묶음, 동구가 그 사이쯤, 유성·대덕구가 아래쪽 묶음이었다. 04-4의 2019 코호트 2년 내 폐업률은 동구가 앞서는 편이었고, 잔차로 보면 밀도가 중간쯤인 동구가 추세선에서 가장 크게 벗어나 있었다. 오늘은 이 두 결과를 한 화면에 놓고 시작한다.

(축자)

"이번 차시에서 정하는 것은 이 결론을 얼마나 믿어도 되는가입니다."

(요점) 어느 구를 고르든, 그 선택에는 반드시 흔들리는 지점이 있다. 오늘은 그 지점을 찾아서 미리 적어 두는 법을 배운다. 04 과목 다섯 편 내내 질문을 고르고, 데이터를 걸러내고, 분모를 정하고, 두 표를 겹쳐 봤다 — 오늘은 그 모든 과정 끝에 나온 결론 하나를 마주 세우는 마지막 걸음이다.

이론 (6분)

(요점, 도입) 지금까지는 숫자를 정확히 내는 법을 배웠다. 오늘은 그 숫자를 낸 뒤에 해야 하는 일을 배운다. 결론 하나를 내고 끝내는 사람과, 그 결론에 세 가지를 더 적는 사람이 있다.

(축자, 핵심 정의)

"숫자 하나를 내고 끝나는 것이 아니라, 그 숫자가 흔들리는 지점까지 함께 적는 것을 결론의 세 의무라고 부릅니다."

(축자)

"이 결론이 어느 가정에 매달려 있는지를 묻는 것이 민감도입니다."

(요점) 결론을 낼 때는 반드시 어딘가에서 가정을 하나 세운다 — 어떤 값을 쓸지, 어느 기간을 볼지. 그 가정을 하나 바꿔 봤을 때 결론이 크게 움직이면 민감도가 높은 결론이고, 거의 안 움직이면 민감도가 낮은 결론이다. 가정을 바꿔 보지 않으면 내가 낸 결론이 튼튼한지 약한지조차 알 수 없다. 가정을 하나만 바꿔서는 안 되는 것도 아니다 — 여러 가정 중 결론이 가장 크게 흔들리는 가정 하나를 찾아 그것부터 밝히는 것이 순서다.

(축자)

"이 결론이 무엇을 못 봤는지를 묻는 것이 한계입니다."

(요점) 어떤 데이터도 전부를 담지 않는다. 무엇을 세지 못했는지, 어느 단위까지만 볼 수 있는지, 어떤 사건은 애초에 기록에 안 잡히는지를 먼저 적어야 한다. 한계를 감추는 것이 아니라 먼저 꺼내 놓는 것이, 결론을 더 못 미덥게 만드는 게 아니라 더 믿을 만하게 만든다. 한계를 안 적은 결론을 나중에 남이 찾아내면 그때는 결론 전체가 의심받는다 — 먼저 적으면 「여기까지는 확인했다」는 경계선이 되지만, 나중에 들키면 「이것 말고 또 뭘 숨겼나」가 된다.

(축자)

"남이 같은 숫자를 낼 수 있는지를 묻는 것이 재현입니다."

(요점) 내가 어떤 규칙으로 행을 버렸는지, 분모를 어디서 가져왔는지, 기간을 어떻게 정했는지를 남겨야 남이 같은 절차를 밟아 같은 숫자를 낼 수 있다. 재현되지 않는 숫자는 우연히 맞은 숫자와 구분이 안 된다.

(축자, 다른 예)

"응답자 200명 중 78퍼센트가 만족했다는 결과에서, 그 200명을 어떻게 모았는지가 빠지면 78퍼센트는 당연한 숫자가 됩니다."

(요점) 이 문장을 풀어 설명한다. 200명이 무작위로 뽑혔는지, 이미 만족한 사람만 설문에 응했는지에 따라 78퍼센트의 무게가 완전히 달라진다. 어떻게 모았는지를 적지 않으면 이 숫자는 재현도, 민감도 점검도 할 수 없는 숫자로 남는다. 결론의 세 의무는 숫자를 낸 뒤에 덧붙이는 절차가 아니라, 그 숫자를 믿어도 되는지를 가르는 절차다.

(요점) 세 가지는 따로 놀지 않는다. 표본을 200명에서 400명으로 늘려도 78퍼센트가 그대로면 민감도는 낮은 쪽이고, 표본을 어떻게 모았는지 적어 두면 남이 같은 방식으로 400명을 다시 모아 재현할 수 있고, 애초에 온라인 설문이라 오프라인 고객은 못 봤다는 것을 적으면 한계가 채워진다. 결론 하나에 이 세 가지를 다 붙이는 습관이 오늘 시연에서 실제로 어떻게 되는지 본다.

시연 (15분 + 조작)

[화면: 04-3 밀도 표와 04-4 폐업률 표를 좌우로 나란히 놓는다(재구성 — 촬영 시 실제 실행 화면으로 교체). · 조작: 표작성 · 전환: 예]

(요점) 04-3에서 낸 인구 만 명당 밀도 — 중구 596.9, 서구 592.3, 동구 537.8, 대덕구 512.7, 유성구 509.6이다. 04-4에서 낸 2019 코호트 2년 내 폐업률 — 동구 28.4퍼센트, 서구 26.7퍼센트, 중구 23.5퍼센트, 유성구 21.7퍼센트, 대덕구 18.2퍼센트다. 두 표를 한 화면에 놓고 오늘은 이 둘을 동시에 본다.

(축자)

"동구와 서구는 표시값으로 6퍼센트에 못 미쳐, 동구가 앞서는 편이라고만 말합니다."

(요점) 04-4에서 이미 정한 헤지다 — 동구-서구 폐업률 마진은 5.99퍼센트로 4~6퍼센트 대역이라 1위를 단정하지 않는다. 밀도 쪽도 중구-서구가 마진 0.77퍼센트로 한 묶음이라 어느 쪽이 1위인지 오늘도 단정하지 않는다. 두 표를 나란히 놓는 이유는 어느 한쪽만 봐서는 놓치는 것을 보기 위해서다 — 밀도만 보면 중구·서구가 좋아 보이고, 폐업률만 보면 대덕구가 좋아 보인다. 둘을 같이 봐야 어느 구가 두 조건을 함께 만족하는지 알 수 있다.

[화면: 다섯 구 평균 밀도·평균 폐업률을 계산하고, 두 조건을 동시에 만족하는 구 하나만 남긴다(재구성 — 촬영 시 실제 실행 화면으로 교체). · 조작: 검사실행 · 전환: 아니오]

(요점) 다섯 구 평균 밀도는 549.9, 평균 폐업률은 23.7퍼센트다. 평균보다 밀도가 낮지 않은 구는 중구와 서구 둘, 평균보다 폐업률이 낮은 구는 중구·유성구·대덕구 셋이다. 한 조건만 봤다면 다섯 구 중 최대 두세 구가 후보로 남았을 것이다 — 두 조건을 동시에 요구하니 후보가 훨씬 좁아진다.

(축자)

"중구가 두 조건에 가장 가깝습니다. 그런데 폐업률 쪽은 평균과 1퍼센트도 차이가 안 납니다."

(요점) 중구는 밀도가 평균보다 낮지 않으면서 폐업률도 평균보다 낮은 유일한 구다. 그런데 중구의 폐업률 23.5퍼센트는 평균 23.7퍼센트보다 0.84퍼센트 낮을 뿐이다 — 표시값 기준으로 1퍼센트도 안 되는 차이다. 문을 닫은 가게가 6행만 더 있었어도(중구 코호트의 0.26퍼센트) 중구의 폐업률은 평균을 넘어서고, 오늘의 답은 사라진다. 서구는 밀도는 높지만 폐업률도 평균보다 높아서 걸러지고, 유성·대덕구는 폐업률은 낮지만 밀도가 평균에 못 미쳐 걸러진다. 동구는 밀도가 평균과 겨우 2.19퍼센트 떨어진 경계에 걸려 있고, 폐업률은 다섯 구 중 앞서는 편이라 그쪽에서 확실히 걸러진다 — 04-4에서 잔차가 가장 컸던 바로 그 구다. 오늘 리포트가 고르는 구는 중구다 — 이 결과는 계약이 지정한 것이 아니라 이 두 조건을 직접 적용해서 나온 것이지만, 그 답 자체가 이미 이 편이 말하는 「틀릴 수 있는 곳」의 첫 사례다.

[화면: 04-3 밀도 분모를 근사값에서 인구 원표로 바꾼 옛 화면과 지금 화면을 나란히 놓는다(재구성 — 촬영 시 실제 실행 화면으로 교체). · 조작: 검사실행 · 전환: 예]

(요점, 민감도 실물 첫째) 04-3에서 실제로 겪은 일이다. 인구 분모를 근사값에서 원표로 바꿨더니 중구-서구 밀도 차이가 절반 수준에서 지금의 4.6으로 움직였다 — 마진으로는 0.77퍼센트, 여전히 한 묶음이라는 판정 자체는 바뀌지 않았지만, 분모를 어디서 가져오느냐에 따라 차이 값 자체는 크게 움직인다는 것을 그때 배웠다. 판정은 안 흔들렸지만 차이 값은 흔들렸다는 것 — 이 둘을 구분해서 말하는 것이 민감도를 정직하게 적는 법이다.

(축자)

"분모 하나를 근사값에서 원표로 바꾸는 것만으로 차이 값이 두 배 넘게 움직였습니다."

[화면: 코호트 연도를 2018년에서 2019년으로 바꾼 폐업률 표(재구성 — 촬영 시 실제 실행 화면으로 교체). · 조작: 검사실행 · 전환: 아니오]

(요점, 민감도 실물 둘째) 코호트 연도를 하나 바꿔 본다. 2018년 코호트의 2년 내 폐업률은 24.9퍼센트, 2019년 코호트는 24.34퍼센트다. 이 두 값은 대전광역시로만 찍힌 행을 포함한 전체 코호트 기준이다(2018년 149건·2019년 109건) — 앞서 본 구별 표는 그 행을 뺀 5구 기준(13,556건 중 3,315건, 24.45%)이다. 두 값의 차이는 크지 않다 — 어느 연도를 기준으로 잡아도 결론이 크게 흔들리지 않는다는 뜻이다. 2020년 코호트는 2년 관측 창이 아직 다 차지 않아 이 비교에 넣지 않는다 — 비교할 수 없는 것을 억지로 끼워 넣지 않는 것도 민감도 점검의 일부다.

(축자)

"가정을 하나 바꿨을 때 결론이 크게 안 흔들리면, 그 결론은 튼튼한 쪽입니다."

[화면: 한계 셋이 번호로 정리된 표(재구성 — 촬영 시 실제 실행 화면으로 교체). · 조작: 표작성 · 전환: 예]

(요점, 한계 첫째) 첫째, 폐업 미신고다. 영업상태명은 폐업 132,830건, 취소·말소·만료·정지·중지가 8,570건, 모두 여섯 갈래다. 폐업 신고 없이 그냥 문을 닫은 가게는 이 데이터 어디에도 안 잡힌다 — 신고 안 된 폐업은 안 보인다. 오늘 낸 폐업률은 「신고된 폐업만의 비율」이지 「실제로 문을 닫은 비율」이 아니다.

(요점, 한계 둘째) 둘째, 구 단위가 너무 크다. 오늘 고른 구는 중구 전체이지, 중구 안의 어느 동인지는 오늘 데이터로 알 수 없다. 구 하나 안에도 붐비는 동과 한산한 동이 섞여 있을 수 있다 — 행정동 단위로 더 잘게 보는 것은 다음 과제로 남긴다.

(요점, 한계 셋째) 셋째, 인허가 업종과 상가업소 소분류가 서로 다른 체계라는 것이다. 두 파일은 같은 가게를 서로 다른 이름으로 분류한다 — 이 자리는 잠시 뒤에 인물이 직접 짚는다.

(축자)

"한계를 감추는 게 아니라, 먼저 꺼내 놓는 것입니다."

[화면: 버린 행 기록·분모 출처·코호트 정의가 한 장에 정리된 재현 카드(재구성 — 촬영 시 실제 실행 화면으로 교체). · 조작: 표작성 · 전환: 예]

(요점, 재현) 남이 같은 숫자를 다시 낼 수 있게, 세 가지를 한 장에 남긴다. 04-2에서 정한 버린 행 규칙과 747행이라는 숫자, 04-3에서 쓴 분모의 출처(정제 후 79,957행을 인구 원표로 나눈 것), 04-4에서 정한 코호트 정의(인허가일자부터 2년 안에 폐업일자가 찍혔는가, 관측은 2021년 12월까지)다. 이 세 가지만 있으면 남이 같은 절차로 같은 숫자를 낼 수 있다. 다섯 편에 걸쳐 만든 규칙을 한 장에 모으는 것이 오늘의 재현 카드다 — 어느 편의 규칙 하나라도 빠지면 남은 숫자를 다시 낼 수 없다.

[화면: AI 채팅창 — "이 결론의 한계를 써 줘"라고만 입력, 뻔한 문장으로 답하는 장면(재구성 — 촬영 시 실제 실행 화면으로 교체). · 조작: AI응답대기 · 전환: 예]

(요점, 함정) 에이전트에게 "이 결론의 한계를 써 줘"라고만 시켜 본다.

(재구성 — AI 출력 예시)
이 데이터의 한계로 해석에 주의가 필요합니다.

(축자)

"이 한계는 아무것도 말하지 않은 것과 같습니다."

(요점) 폐업 미신고도, 구 단위의 크기도, 업종 체계가 다르다는 것도 이 문장 안에는 없다. 구체적인 한계는 데이터를 직접 만진 사람만 안다 — 에이전트는 데이터를 실제로 열어 보지 않았으니 무엇을 못 봤는지도 모른다. "한계를 써 줘"라는 지시만으로는 에이전트가 방금 만든 표 안으로 다시 들어가 무엇이 빠졌는지 확인하지 않는다 — 사람이 먼저 세 가지를 구체적으로 짚어 줘야 한다.

[화면: 인허가업소 정보의 개방서비스명과 상가업소 소분류를 나란히 놓는다(재구성 — 촬영 시 실제 실행 화면으로 교체). · 조작: 표작성 · 전환: 예]

(요점, 전공이 드러나는 곳) 세 번째 한계가 여기서 실물로 나온다. 인허가 파일은 일반음식점·휴게음식점·제과점영업으로 업종을 나누고, 상가업소 파일은 카페·빵과 도넛처럼 다른 이름으로 나눈다. 인물은 이 둘이 왜 어긋나는지 식품위생 인허가 지식으로 짚는다.

(축자)

"카페로 보이는 가게가 인허가로는 휴게음식점이고, 빵집이 제과점으로 잡히지 않는 경우도 있다고 봅니다."

(요점) 두 파일의 업종 체계가 다르다는 것은 04-2에서 카페와 빵집의 인허가가 다르다고 짚었던 자리의 뒷면이다 — 그때는 같은 소분류 안에서 인허가가 갈린다는 것을 봤고, 오늘은 반대로 같은 인허가 업종이 소분류 여러 곳에 흩어질 수 있다는 것을 본다. 인허가 파일만 보고 「일반음식점이 몇 곳이다」라고 세면, 소분류로는 서로 다른 가게들이 한 줄로 묶여 버린다 — 어느 파일을 기준으로 세느냐에 따라 같은 동네도 다르게 보인다.

정리 (2분)

[화면: 도입에서 본 한계 셋 화면이 완성된 채로 다시 뜬다(재구성 — 촬영 시 실제 완성본 화면으로 교체). · 조작: 없음 · 전환: 예]

(축자, 지정)

"결론보다 먼저, 틀릴 수 있는 곳을 적습니다."

(요점) 오늘 고른 구는 중구다. 그런데 이 결론에는 가정을 하나 바꿔도 크게 안 흔들리는 부분과, 데이터 자체가 못 보는 부분이 함께 붙어 있다. 민감도로 흔들리는 지점을 확인하고, 한계로 못 본 곳을 밝히고, 재현으로 남이 같은 숫자를 낼 수 있게 남기는 것 — 이 세 가지가 오늘 배운 결론의 세 의무다. 04-1의 질문 고르기부터 오늘까지, 다섯 편은 전부 같은 리포트 한 편으로 이어졌다 — 그 리포트의 마지막 절이 오늘 만든 한계 셋이다.

(축자, 갈고리)

"이 리포트를 AI가 통째로 썼다면 어땠을까요."

(요점) 다음은 2-1 「AI는 왜 "모른다"고 하지 않나」다. 오늘 본 것처럼 에이전트는 한계를 구체적으로 쓰지 못했다 — 왜 그런지는 다음 과목에서 다룬다. 04 과목에서 배운 것은 숫자를 정확히 내는 법이었고, 그 숫자에 무엇을 더 적어야 하는지는 오늘로 끝났다 — 이제 그 질문을 에이전트 쪽으로 돌려 본다.

[자막: 이 결론이 틀릴 수 있는 이유 세 개를 대 보세요]

근거

영업상태명(license.csv, CP949, gawk FPAT 재확인, 2026-09-06): 폐업 132,830건, 취소/말소/만료/정지/중지 8,570건, 6종 전부(영업/정상 118,682·휴업 449·제외/삭제/전출 324·기타 1, 합 260,856) — 계약 「숫자 출처」 표·04-4 근거 절과 일치.

04-3 밀도(재확인): assets/data/daejeon/shops_2026-06_clean_gu_category.csv(정제 후 79,957행) ÷ population_2026-07.csv. 중구 596.9·서구 592.3·동구 537.8·대덕구 512.7·유성구 509.6(만 명당). 중구-서구 절대 차이 4.6, 마진 0.77퍼센트(묶음) — 계약·04-4 근거 절과 일치.

04-4 2019 코호트 2년 내 폐업률(재확인): author-c/probe-dj/3b/data/license.csv를 gawk(FPAT, quote-aware)로 재파싱, 인허가일자 ≤ 폐업일자 ≤ 인허가일자+2년(같은 월일 기준), 「대전광역시」로만 찍힌 행은 분자·분모 모두 제외. 동구 575/2,023(28.4%)·서구 1,269/4,746(26.7%)·중구 537/2,284(23.5%)·유성구 709/3,266(21.7%)·대덕구 225/1,237(18.2%) — 표시값 기준 동구-서구 마진 5.99%(헤지), 나머지 세 경계는 전부 6% 이상(안전). 계약·04-4 근거 절과 일치.

코호트 연도 민감도 — 두 모집단(전체 코호트 vs 5구 기준, GE1): 2018년 코호트(전체, 대전광역시 포함) 3,061/12,295(24.90%→24.9%), 2019년 코호트(전체, 대전광역시 109건 포함) 3,326/13,665(24.34%) — 계약 값과 일치. 앞서 구별 표에 쓴 2019 코호트는 대전광역시 행을 뺀 5구 기준 3,315/13,556(24.454%→24.45%, 동구575+서구1,269+중구537+유성709+대덕225=3,315 ÷ 2,023+4,746+2,284+3,266+1,237=13,556 — 계약 04-5.코호트2019.5구.폐업률 값과 일치) — 전체(13,665)와 5구(13,556)는 서로 다른 분모다. 2020년 코호트는 관측 종료(2021-12-30)까지 2년 창이 다 차지 않아 비교하지 않는다.

두 조건 동시 적용(집필자 계산, 계약은 결과를 지정하지 않음): 다섯 구 밀도 평균 549.86(→549.9), 폐업률 평균 23.7. 평균 이상 밀도 {중구, 서구}, 평균 이하 폐업률 {중구, 유성구, 대덕구} — 교집합은 중구 하나. 이 계산은 계약 「숫자 출처」 표의 값(밀도 5값·폐업률 5값)만 사용했고, 새 원자료 조회는 하지 않았다.

평균 경계 판정표(GE2, §0.18-a — 표시값·큰 값 기준, 문턱 4%): 두 조건은 「평균 위/아래」 판정이라, 구마다 평균에서 몇 퍼센트 떨어졌는지를 표로 남긴다. 마진 % = |값 − 평균| ÷ max(값, 평균) × 100.

문턱(4%) 아래는 둘뿐이다 — 중구 폐업률 0.84%와 동구 밀도 2.19%. 동구는 폐업률에서 이미 걸러지므로 최종 답(중구)에는 영향이 없지만, 중구의 「폐업률이 평균보다 낮다」는 판정 자체가 이 얇은 경계 위에 서 있다. 중구 2019 코호트(2,284건) 중 폐업이 6행만 더 있었어도(2,284건의 0.26%) 폐업률은 (537+6)/2,284=23.77%로 평균(23.7%)을 넘어 판정이 뒤집힌다 — 6/2,284=0.263%→0.26%.

재현 카드 세 항목의 출처: 버린 행 747행·0.93퍼센트는 author-a/ep-04-2/script.md 근거 절(표준산업분류명 결측 22행 + 중복 725행). 분모(정제 후 79,957행 ÷ 인구 원표)는 위 04-3 밀도 절. 코호트 정의(인허가일자 ≤ 폐업일자 ≤ 인허가일자+2년, 관측 종료 2021-12-30)는 위 04-4 코호트 절. 세 값 모두 이 편에서 새로 낸 숫자가 아니라 앞 세 차시의 근거를 다시 인용한 것이다.

대장 밖 사실: 0건(이번 rev에서 웹으로 새로 가져온 외부 사실 없음).

자가측정(§0.4-a, 정본은 notes.md 검사 로그): 이 절에는 값을 다시 적지 않는다 — count_script.py 실행 결과와 화면 지시 태그 표(notes.md)가 유일한 근거다.