← 목록 · 02-1 · AI는 왜 "모른다"고 하지 않나 · 원문 notes.md
계약 assets/contracts/02-1.md · 공통 assets/contracts/COMMON.md(2026-09-04 개정본). 파일럿 author-a/ep-04-2/(rev23·PASS) 형식을 따랐다. 방법 과목(대전 데이터 안 씀) + 과목 1차시(도입 4·시연 13, Antigravity 소개·원칙 문장·대안·대처 경로·막히는 장면).
검증 verify/results/02-1.md FAIL 1~6 · ④ 노트 시간. FAIL 2(계약 예시 질문에 「대전 소재」)는 계약 결함 — 오케스트레이터가 02-1.md 개정. 반려 지시 assets/contracts/02-1-rev1.md BA1~BA7 반영.
- BA1(FAIL 1) script(rev1 당시), slides(rev1 당시)의 "대전 소재" 삭제. 정답(잡알리오)이 전국 시스템이라 지역어가 답에 기여하는 바가 0 — §0.2 억지 삽입.
- BA2(FAIL 3) 재현성 기록표 판정 수치를 대본 서술(rev1 당시)로 통일. script(rev1 당시) 화면 지시("완전 3·부분 4·지어냄 1·컷오프 1" → "완전 4·부분 2·지어냄 1·컷오프 2")·(rev1 당시) 서술 정정. slides(rev1 당시) 판정표 행은 원래부터 4·2·(지어냄+컷오프 3)로 일치했다(재확인, 수정 없음).
- BA3(FAIL 4) (rev1 당시) "필기 시험 시간 두 시간"이 근거 절 어디에도 없었다(무근거 수치). 웹에서 필기 시간을 찾아보니 식품안전기사 필기·실기 모두 2시간30분대라 실재하는 다른 혼동이 없어, 계약 지시대로 함정 장면을 근거 3에 실재하는 다른 혼동으로 교체: 이름이 비슷한 다른 자격증 식품산업기사(실기 작업형·약 4시간, q-net jmCd=2450)와 식품안전기사(실기 필답형·2시간30분)를 검색 결과에서 혼동하는 장면으로 재구성(script rev1 당시 , slides rev1 당시 , quiz mc4·why 전부 동기화). 근거 절에 5번 항목 신설, 새 URL 확인.
- BA4(FAIL 5) "기획재정부"는 §0.12-4 개정으로 근거 절 허용 — 그대로 두고 위치만 URL 옆 괄호로 재배치(발화·슬라이드 본문에는 부처명 0회, 재확인).
- BA5(FAIL 6) 계약이 지정한 출처 종류(보도 자료)와 다르게 위키백과를 썼다 — CBS 뉴스 두 건(2023-05-29 "It went horribly awry." · 2023-06-22 제재 보도)으로 교체. 사건명·법원·연도·제재액 전부 이 두 기사로 재확인(이 URL은 rev5에서 대장 URL로 다시 교체).
- BA6(④) 슬라이드 강사 노트 시간 합이 실측(도입5.47·이론7.21·정리1.71분, §0.16-a)의 52.7%·76.3%·88.0%로 이탈 — 도입(goal 60→90초·result 45→70초·two 60→160초)·이론(big 120→150초·two 120→150초·steps 80→110초)·정리(wrap 80→92초) 노트 시간 상향. 시연은 원래 98.2%로 통과라 손대지 않음.
- BA1·BA2·BA3 편집으로 시연 발화가 늘었다(주로 BA3의 재구성 장면 확장) — 총량은 25~30분 이내 유지, 정확한 값은 아래 「자가측정」 블록 참조(그 뒤 rev도 계속 이 블록만 갱신한다). slides.md 앞머리 minutes: 26→27로 반올림 갱신.
rev2: slides.md goal·result 본문의 "25분" 2곳을 §0.5 개정(본문·발화에 분 수를 박지 않는다)에 맞춰 "이 편이 끝나면"으로 교체. script.md에는 같은 표현 없음(해당 없음).
rev3: assets/contracts/02-1-rev3.md BB1~BB3. BB1 quiz mc1·mc2 해설 인용 행을 현재 script와 재대조해 (rev1 당시)→(rev3 당시), (rev1 당시)→(rev3 당시)으로 정정(mc3·4·5는 이미 일치, 5/5 재확인). BB2 script(rev3 당시) "표의 다른 줄을 읽은 자리"가 시연에 없는 장면(재현성 기록표는 화면 지시 문구고, 실제 시연 함정은 비슷한 이름의 다른 자격증 혼동)을 가리켜 "비슷한 자격증을 혼동한 자리"로 교체(발화 순증 1자, 늘리지 않음). BB3 notes.md "경고 0건" 단정(빌드는 오케스트레이터 몫)을 "구조만 적는다, 경고는 검증 결과 참조"로 정정.
COMMON 개정 둘. (1) §0.14 숫자가 실린 슬라이드는 table뿐 아니라 demo·result에도 src(출처·확인일) 필수 — build_slides.py가 이제 demo·result 둘 다 src 필드를 렌더하는 것을 소스에서 확인. slides.md에 src 3곳 추가: result(이 편 시연 설계 — 집필자 구성, 확인일), demo1(국시원·큐넷 jmCd=1530), demo2(잡알리오·큐넷 jmCd=1530·2450). table의 기존 src는 손대지 않음. (2) §0.18-a 순위표 인접 마진 규칙 — 이 편은 순위표가 없다(table은 판정 개수 집계표이지 순위표가 아니다) — 해당 없음. src 추가로 slides.md 줄 번호가 전부 뒤로 밀려 notes.md의 챕터 전환 줄 참조를 새 줄 번호로 재확인·갱신(check_notes.py stale 0 재확인). script.md는 손대지 않아 총량·판정 수치·인용 행 전부 rev3 그대로.
assets/contracts/02-1-rev4.md BC1~BC7. BC1 근거 절 영양사 응시자격 기준일 정정(18과목 52학점=2010-05-23 이후 입학자, 2016-03-01=현장실습 조건, 별도) — 오케스트레이터 대장(assets/sources.md) 등재값 그대로. 같은 절의 Mata 판례 예시 중 대장에 없던 이름("Zicherman v. Korean Air Lines")도 대장 6건 목록으로 교체. BC2 slides table 제목에 「(재구성)」, 노트에 「촬영 시 실제 판정으로 교체」, src를 「집필자 구성(정답 대조 근거: 국시원·큐넷·잡알리오)」로 — 재구성 숫자에 공식 기관을 출처로 달지 않는다. BC3 시연 도입부에 판정 네 라벨(완전히 맞음/부분/지어냄/컷오프로 틀림)의 경계를 정의하는 축자 한 줄 추가, 「절반이 안 된다」→「넷뿐이었다」로 숫자 표현 정정. BC4 slides chapter clock을 배정값(6·13·2)에서 구간 실측 반올림(7·13·2, 이 시점 실측 7.21/12.32/1.70 기준)으로. BC5 인물 30초 블록(rev4 당시) 176자→106자로 압축. BC6 notes 자가측정 블록을 그 시점 count_script.py 실측으로 갱신(수치는 rev5에서 다시 갱신, 아래 자가측정 블록 참조). BC7 quiz mc4 오답 길이를 늘려 정답/오답평균 1.292→1.192로. 이 편집들로 시연 발화가 늘어 clock 재조정(시연 12→13분)까지 다시 필요했다 — 빌더 「clock 합 불일치」 경고로 확인.
assets/contracts/02-1-rev5.md BD1~BD6. BD1 근거 절 URL 6개가 전부 대장 밖이었다 — Mata(Justia·Hinshaw)·영양사(동의대·세명대)·식품안전기사(모아바·건국대)·식품산업기사(나무위키·gunsys)로 전부 대장 URL 교체, 국시원·큐넷 동적 페이지는 「참고(정적 확인 불가)」로 분리, CBS 뉴스 2건도 참고로 강등. BD2 대장이 「발화는 약 2시간 30분으로」라고 지시한 헤지가 식품안전기사 쪽에 빠져 있었다 — script(rev5 당시)·근거3, slides(rev5 당시) 노트 「약」 3(+기존 표기 포함 총 4곳) 추가. BD3 slides chapter label의 「사실 질문 3개 · 답 9개」(숫자 2개, chapter엔 src 슬롯이 없어 출처를 못 붙인다)를 숫자 없는 「같은 질문을 반복해 답을 대조한다」로. BD4 check_notes.py가 quiz 인용 조각 전체를 대조하도록 개정돼 mc2(rev4 당시)·mc4(rev4 당시)의 실제 위치 불일치와 mc1의 중첩 인용부호(''↔"") 불일치가 드러남 — 전부 대본 원문과 글자까지 맞춤. BD5 §0.14 개정으로 출처를 화면에서 가리키는 발화의 기관명(「국시원」 등)은 허용됐다 — script는 그대로, slides(rev5 당시) demo1 frame의 「(정답 18과목 52학점, 국시원)」만 「(정답 18과목 52학점 — 출처는 아래)」로(슬라이드 본문은 여전히 금지). BD6 notes 자가측정 총량을 한 곳(바로 아래 블록)에만 적고 다른 절은 그 블록을 가리키게, quiz mc4 정답/오답평균 오기(1.292)를 실측값(1.192)으로. BD2로 시연 발화가 +4자 늘어 자가측정 재실행(정리 391·시연 2206·합계 5548, 총량은 자가측정 표 참조) — clock 7·13·2는 그대로 유효(27−22=5, 경계값 그대로 통과).
assets/contracts/02-1-rev6.md BE1~BE5. BE1(무거움) §0.4 개정 「전환+조작 겹침」 — 조작: 없음이 아닌 화면 지시는 화면도 바뀐 것이므로 전환 8초를 조작 단가 위에 더한다. 화면 지시 9개(파일열기1·표작성4·AI응답대기4)가 여기 걸려 조작 총합 284→356초. 파생 3곳 갱신: slides clock(시연 13→14분) · minutes(27→28) · 시연 슬라이드 노트 합(700→800초, demo1 5분→5분30초·demo2 4분30초→5분10초·table 2분→2분30초, 실측 13.89분의 96.0%로 ±10% 안). 아래 자가측정 블록 전체 재작성. BE2 「약」 헤지 2곳 누락분 보완 — script(rev6 당시)(함정 장면 서술, "네 시간"→"약 네 시간") · slides demo2 frame("작업형·네 시간"→"작업형·약 네 시간"), 노트(rev6 당시)는 이미 「약」이 있어 화면·노트 숫자가 이제 일치. BE3 slides demo2 frame 본문의 "잡알리오"를 빼고 "표준 경로를 말한 답은"으로, src는 "공공기관 채용 공고 페이지(잡알리오)"로만 — 슬라이드 본문 기관명은 0회, src는 허용. BE4 notes(당시 자기 파일) 인용문에 「약」 반영, (rev5 당시) 줄 참조 ""(표 블록 시작, 판정 수치 없음) → (rev6 당시 slides) ""으로 정정. BE5 총량 소수(26.93분)가 rev5 대응 절과 자가측정 블록 두 곳에 있던 것을 자가측정 블록 한 곳으로 정리, 앞 절은 "자가측정 표 참조"로.
assets/contracts/02-1-rev7.md BF1~BF4. BF1 계약이 지정한 「AI 출력은 코드블록」이 0건이었다 — 아홉 개 답(질문1·2·3 각 3회) + 함정 재질문 1개, 총 코드펜스 4개를 대본에 추가(파일럿 04-2 형식, (재구성 — AI 출력 예시) 헤더 + 「촬영 시 실제 출력으로 교체」는 각 블록 바로 앞 화면 지시가 이미 담당). fence는 count_script가 발화로 안 세 총량 불변(계약 요구). BF2 slides demo1·2의 src가 대장이 「정적 확인 불가」로 강등한 국시원·큐넷 페이지를 확인일과 함께 달고 있었다 — 대장이 실제로 확인한 출처(동의대·세명대/영양사, 모아바·건국대/식품안전기사, 나무위키·gunsys/식품산업기사, 잡알리오)로 src를 바꾸고 국시원·큐넷은 "화면에서 연 페이지(정적 확인 불가)"로만 남김. script (rev6 당시)의 "국시원 어디에도 없는 숫자입니다"도 한 페이지만 본 것이므로 "이 페이지에는 없는 숫자입니다"로 완화. BF3 시연 마지막 두 장면 순서가 대본(판정 뒤 함정이 마지막)과 슬라이드(함정 포함 demo2 뒤 table)에서 뒤집혀 있었다 — 대본 구조를 다시 보니 질문3도 원래 aggregate 판정보다 앞에 있어야 해서, demo1을 "질문 1·2·3"으로 합치고 table(판정)을 그 다음, demo2는 "검색 함정"만 남겨 맨 뒤로 재배열(대본 순서와 완전 일치). 노트 시간도 각 장의 실제 대본 구간을 다시 재서 100%로 맞춤(위 「시연 슬라이드 노트」 절). BF4 quiz mc4 해설의 "(작업형·네 시간)"에 「약」이 빠져 있었다 — script·slides는 이미 9/9 헤지였는데 quiz만 놓쳤던 것, "(작업형·약 네 시간)"으로 정정.
⚠️ 이번 rev부터 check_notes.py가 SyntaxError로 실행되지 않는다(오케스트레이터 도구, 집필자가 손대지 않는 파일) — 이 rev의 줄 참조·인용 재대조는 grep으로 수동 수행했다.
assets/contracts/02-1-rev8.md BG1~BG3. BG1 이력 절 줄참조가 rev7의 코드블록 삽입(+38줄)으로 밀려 있었다 — 당시에는 각 이력 문단에 "당시"를 한 번씩만 달아 문단 전체를 면제 처리했다(이후 rev9에서 재발, 아래 참조). BG2 script 구성표의 함정 설명 "표를 잘못 읽는 오류"가 시연에 없는 장면(재현성 기록표는 표이지만 AI가 읽는 대상이 아니다) — "이름이 비슷한 다른 자격증을 혼동"으로 정정(rev3 BB2가 본문에서 이미 고친 문구가 설계표에만 남아 있던 것, 설계표는 발화가 아니라 총량 불변). BG3 근거 절 세부 3건(Kevin Castel 판사 전체 이름·로펌 연대 5,000달러·필답형(논술형))이 등재 전에는 대장 밖이었다 — 오케스트레이터가 sources.md에 확인·등재, notes "미확인 0"을 "대장 밖 사실 3건 → 등재 확인(2026-09-04)"로 정정.
assets/contracts/02-1-rev9.md BH1~BH2. BH1 §0.16-a 개정으로 이력 절 규칙이 바뀌었다 — 이력 절 줄참조는 반드시 「(rev n 당시 L###)」로 개별 표기하고, 무표기는 현재 줄로 검사한다. rev8의 "문단 전체에 당시 한 번" 방식이 실제로는 문단 안 다른(현재도 유효한) 참조까지 통째로 면제시켜, 손으로 짚은 13개 어긋남을 도구가 하나도 못 잡았다(건 9). 이번에 이력 절 8개 문단의 L-참조 전부를 개별적으로 「(revN 당시 L###)」로 다시 달았고, 여전히 현재 파일과 맞는 참조(rev7 문단의 등)는 그대로 현재 줄로 남겼다(수동 대조 완료). BH2 rev7이 넣은 질문2 재구성 코드블록의 [3회]에 시험 시간이 빠져 있어 발화(시험 시간이 두 시간대라는 서술·"시간대는 셋 다 맞음" 판정)가 화면에서 검산되지 않았다 — [3회]에 "시험 시간은 두 시간 삼십 분"을 추가하고, 같은 문장의 "됐고"(단정)를 "바뀌었을 수 있고"(헤지)로 정정해의 "바뀌었을 수 있다고 덧붙인다" 서술과도 맞춤. 나머지 코드블록 셋(질문1·질문3·함정)은 대조 결과 이미 발화 판정 요소를 담고 있어 손대지 않음.
assets/contracts/02-1-rev10.md BI1~BI2. BI1 notes (당시 위치) 이력 인용에서 script 인용 조각이 정확히 일치하지 않아 인용부호를 빼고 서술형으로 정정(check_notes stale 0 확인). BI2 이력 절의 범위 참조("" 등)는 도구가 시작 줄만 보므로 그대로 두되 시작 줄이 현재도 맞는지 재확인 — 전부 일치.
assets/contracts/02-1-rev11.md BJ1~BJ4. BJ1 rev1 반려 대응 절의 판정 수치 문단에서, "당시" 표기와 세 번째 줄 번호 클러스터 사이 거리가 도구의 30자 창을 넘어 그 클러스터가 무표기로(=현재 줄로) 검사됐다 — 코드펜스에 착지해 stale이었다. 세 클러스터 각각의 바로 앞에 "rev1 당시"를 따로따로 붙여 셋 다 창 안에 들게 정정. 같은 rev8 로그 문단에서 구성표 문장을 가리키는 줄 번호에 잘못 "rev9 당시"가 붙어 있던 것도 발견 — 그 줄은 지금도 구성표의 그 문장이 맞는 현재 줄이라 오표기를 빼고 무표기로 되돌림. BJ2 quiz 정답 길이 순위가 mc1·2·4·5 넷 다 "2위"에 몰려 있었다(§0.14 신설: 순위 분포 ≤2/5) — mc2 오답1·mc5 오답2·3을 늘려 순위를 mc1=2위·mc2=3위·mc3=1위(동률)·mc4=2위·mc5=3위(동률)로 재배치, 정답은 손대지 않고 오답만 늘림(3지표 전부 유지, 정답 유일 최장 여전히 0/5). BJ3 계약이 이론의 이름으로 준 4개념(다음 토큰 예측·학습 컷오프·확률적 생성·자기 확신도) 중 "확률적 생성"이 발화에 0회였다(슬라이드·quiz·설계표에만) — script 요점 앞에 "이렇게 확률로 다음 글자를 골라 이어 붙이는 방식을 확률적 생성이라 부른다."를 추가(+23자, 총량 여유 안). 이론 1803→1826자, 총량 28.13→28.22분, clock·minutes 불변(7·14·2, 28). BJ4 판정 라벨 경계 마진 1/9(질문2 판정 1건이 완전/부분 경계에 있음) — 4개 진술처(script, slides table)를 재대조한 결과 전부 "완전4·부분2·지어냄1·컷오프2"로 정확히 일치, 「절반쯤」류 모호한 표현은 어디에도 없이 일관되게 정확한 수치로만 쓰여 있음을 확인. 변경 없음(경계 정의 문장 도 그대로).
건 12 PASS 뒤 발견된 새 위험 — 오답 8/15가 절대어(항상·언제나·반드시·전부·자동으로·저절로·정해져 있·원래부터·미리)를 품고 정답 0/5는 없어, 절대어를 지우고 찍으면 52% 적중. §0.14 「절대어 분리 금지」 반영해 mc1(오답2·4)·mc3(오답3·4)·mc4(오답2)·mc5(오답2·3·4) 총 8개 오답에서 절대어를 전부 빼고(뜻은 유지, "설계되어 있다"류 서술은 남김) 정답과 같은 밀도(0/5·0/15)로 맞춤. why 설명문의 "미리 정해 둔다"·"자동 차단한다" 같은 서술은 오답을 왜 배제하는지 풀어 쓴 것이라 그대로 둠(옵션 문장을 그대로 인용한 게 아니라 개념 설명). 길이 변화로 rank·ratio 재확인(rev12 당시, 이후 rev13·15·16의 길이 재조정으로 지금은 다른 값 — 현재값은 「quiz 보기 길이·관문」 절 참조): 정답/오답평균 최악 mc1 1.271(≤1.3)·최장÷최단 최악 mc1 1.667(≤2.0)·정답 유일 최장 1/5(mc5, ≤1/5)·정답 길이 순위 분포 1·2·2(rank1·2·3, ≤2/5) — 4지표 전부 그대로 유지. script·slides·총량 불변(28.22분).
rev12b(2026-09-05): §0.14 절대어 경고 문턱을 1건으로 내리자 mc5 오답2에 새로 넣은 "예외 없이"가 걸렸다(원래 목록엔 없던 낱말이지만 뜻이 같은 절대어) — "그때마다"로 교체해 뜻은 유지하고 절대어는 뺐다. 재확인(rev12b 당시): 정답 0/5·오답 0/15, 4지표(1.271·1.667·1/5·1·2·2) 불변(지금은 이후 rev의 길이 조정으로 이 네 값 자체가 달라져 있다 — 최신값은 rev16 절 참조).
낱말 열거를 다 지웠는데도 「설계/짜여/마련되어 있(구조단정)·~로만/뿐이/때만(배타)·아예/전혀/통째로(전면부정)·매번/그때그때/계속해서(빈도)」 네 서술 유형의 합집합으로 재면 오답 11/15·정답 0/5 = 73%(판정 근거로는 「정해져 있」 동의어군만 좁혀 잰 48.3%) — Q1은 오답 셋 전부, Q5는 정답이 확정되는 수준으로 형태 자체가 정답을 가리켰다. BK1 5문항 전부 오답 일부를 조건형("~경우가 있다"/"~모습을 보였다")으로 바꾸고, 대신 정답 하나(Q5)에는 구조단정형("~못 내도록 되어 있다")을 넣어 형태와 정답 여부의 상관을 없앴다 — rev14(2026-09-05)로 재확인: build_quiz.py의 실제 FAMILIES 정규식(구조단정·배타·전면부정·빈도강도)을 그대로 복사해 별도 실행 — 배타 정규식이 "까지만"류를 잡도록 고쳐진 뒤 값이 rev13 작성 시점의 자가추정(1/5·2/15)과 달라져 있었다. rev14(2026-09-05) 당시 실측 정답 3/5 · 오답 5/15(rev15의 Q3 오답1 "못하거나" 추가로 지금은 오답 6/15 — 아래 rev15 절 참조): 정답 쪽은 Q2("특정 시점까지만" — 배타)·Q3("알 수 없어서"의 "없어" — 전면부정)·Q5("스스로 못 내도록 되어 있다" — 구조단정) 3개, 오답 쪽은 Q1 오답2("이해하지 못하면" — 전면부정)·오답3("마련되어 있어서"·"확신이 없을 때만" — 구조단정+배타)·Q2 오답2("판단하지 않고" — 전면부정)·Q5 오답2("감추지 않고" — 전면부정)·오답3("못 볼 뿐이다" — 배타) 5개. (rev15에서 Q2 오답2 표지 항목이 이 열거에서 누락돼 있던 것을 발견·보완 — fam_wrong=5 집계 자체는 rev14 때도 이미 이 항목을 포함해 맞게 셌었다.) build_quiz.py의 실제 경고 조건(fam_wrong>=3 and fam_ans==0 또는 반대 방향)은 정답 쪽이 0이 아니므로 어느 방향으로도 안 걸림 — 경고 0건. 건 13이 쓴 식(표지 있으면 0, 없으면 1÷(4−표지 붙은 오답 수), 5문항 평균)으로 다시 계산: 정답에 표지가 있는 Q2·Q3·Q5는 0. 표지 없는 Q1(표지 오답 2개)은 1÷(4−2)=0.5, Q4(표지 오답 0개)는 1÷(4−0)=0.25. 평균 (0.5+0+0+0.25+0)/5=15.0% — 기준 35%보다 더 낮아졌다. BK2 Q1 정답/오답평균이 1.27(상한 1.30)로 여유가 2.3%뿐이었고 정답 유일 최장이 1/5(상한 1/5, 여유 0)였다 — 형태를 바꾸며 길이가 크게 흔들려 5문항 전부 재조정, rev13 당시 실측: Q1 1.135·Q2 1.013·Q3 1.104·Q4 1.081·Q5 1.269(전부 ≤1.3, 최악값도 3%p 이상 여유) · 최장÷최단 전부 ≤1.585(≤2.0) · 정답 유일 최장 1/5(Q5, 그 외 0) · 정답 길이 순위 분포 rank1:1·rank2:2·rank3:2(≤2/5) — 이후 rev15·16의 길이 재조정으로 이 다섯 값 전부 지금은 다르다(최신값은 rev16 절 참조). BK3 해설 인용행(대본)은 손대지 않아 5/5 그대로, 엑셀은 오케스트레이터가 build_quiz.py로 재생성. script.md·slides.md는 이번 rev에서 아예 열지 않았다(git diff 두 파일 모두 출력 없음).
검증자가 4계열(rev13·14) 대신 9전략 기대 정답률의 최댓값을 하나로 묶은 새 관문(§0.14, ≤35%)을 찍었다 — 역방향인 "단정형 고르기"가 41.7%로 걸렸다. build_quiz.py의 실제 9전략 계산(최장·최단·길이1~4위·단정형 지우기·단정형 고르기·절대어 지우기, _p(cands)=1/len(cands) if 정답∈cands else 0, 5문항 평균)을 그대로 복사해 재실행 — 원인은 Q3: 표지(가족) 붙은 보기가 오답3("한 번의 답만으로는... 알 수 없어서") 하나뿐인데 그게 정답이라 그 문항의 "단정형 고르기" 기대값이 1.0(=최댓값)이었다. BM1 Q3 오답1("세 번을 넘겨 물어야 서버 쪽 응답 오류나 지연 문제를 줄일 수 있기 때문이다")에 "응답하지 못하거나 지연되는"로 전면부정 표지를 추가 — Q3의 표지 보기가 [정답1개+오답1개] 2개로 늘어 그 문항의 "단정형 고르기" 기대값이 1.0→0.5로 내려갔다. 재실측(BM1 당시 — 이 값들은 뒤이은 BM3에서 다시 바뀐다): 단정형 고르기 41.7%→31.7%(≤35% 통과) · 절대어 지우기 25.0% · 최장 30.0% · 길이1위 30.0% · 단정형 지우기 15.0% · 최단 10% · 길이4위 10%. BM2(발견 당시엔 미해결): 이 시점에서 "길이2위"·"길이3위"가 둘 다 40.0%(2/5)로 남아 전체 최댓값(관문값)이 41.7%→40.0%로만 내려가 여전히 35% 초과였다 — 결정론적 순위 배정(sorted(range(4), key=lambda i:-len), 동률이어도 자리가 안 나뉘던 구식 계산)에서는 5문항·4순위 칸의 비둘기집 원리로 어느 칸이든 정답을 최소 ⌈5/4⌉=2회 받는 40% 미만이 산술적으로 불가능해 보였다. BM3(해결): 다시 보니 assets/tools/build_quiz.py 자체가 이미 이 rev 진행 중 오케스트레이터 쪽에서 동률 처리로 고쳐져 있었다(커밋 fb1ef7a, "동률이면 그 길이의 보기 전부에서 무작위" — 동률이 걸리면 _p가 그 동률 묶음 전체를 후보로 봐서 값이 여러 순위 칸에 나뉘어 더해진다). 이 바뀐 계산을 그대로 복사해 재확인하니 동률을 만들면 실제로 분산된다 — Q1 오답3("모델 안에는 사실 여부를 확인해 주는 검증 절차가 마련되어 있어서, 확신이 없을 때만 일부러 지어낸다", 65→56자로 줄여 정답1(56자)과 동률·표지 유지)로 Q1이 1위/2위에 0.5씩, Q2 오답4("자기 확신도를 모름 — 자기 확신이 얼마나 낮은지를 알리는 신호조차 스스로 내보내지 못한다는 것", 40→53자로 늘려 정답3(53자)과 동률)으로 Q2가 3위/4위에 0.5씩 나뉘었다. 재실측: rank1=1.5·rank2=1.5·rank3=1.5·rank4=0.5(합5) → 최댓값 30.0%, 단정형 고르기 31.7%가 다시 최댓값이 돼 관문값 31.7%(≤35% 통과). (부수 지표는 이 문단에 다시 옮기지 않는다 — rev18부터 「quiz 보기 길이·관문」 절의 도구 출력 코드블록이 유일한 현재값 출처다.) BM4 "35% 아래로"는 이번에 최댓값(관문) 기준으로 완전히 충족(41.7%→31.7%). notes.md rev14 절의 "Q2 오답2" 열거 누락도 보완(위 rev14 문단 참조). script.md·slides.md는 이번 rev에서 열지 않았다(git diff 두 파일 diff 없음).
건 16 FAIL. 두 갈래: (1) notes rev15 절 BM1의 네 수치(최장·길이1위·최단·길이4위)가 「당시」 표기 없이 남아 지금 빌더 출력(30·30·10·10%)과 달랐다 — 위 rev15 문단에 "(BM1 당시 — 이 값들은 뒤이은 BM3에서 다시 바뀐다)"를 붙이고 네 값을 현재 출력으로 교체, rev14 절의 "오답 5/15"도 "rev14 당시" 표기를 붙이고 지금은 6/15임을 병기했다. (2) 검증자가 빌더 16종 밖의 두 기계적 단서를 찾았다 — 쉼표 있는 보기 고르기 70.0%, 조건형(경우·수 있·때로·보였다·수도) 지우고 찍기 53.3%. §0.14 관문을 build_quiz.py가 「표면 특징 일반화」(쉼표·따옴표·괄호·조건형·단정 어미·명사형 종결·글자 수·어절 수 8종 × 있는/없는·최다/최소)로 확장했다. BN1 원인은 문체 쏠림 그대로였다 — Q3·Q4·Q5의 정답만 쉼표 있는 두 절 인과문이고 나머지는 없는 단문, Q1·Q2·Q3·Q5의 오답만 "경우가 있다"/"모습을 보였다" 헤지형이고 정답은 평서형. 5문항 전부 정답·오답 문체를 섞었다: Q1 오답4에서 헤지 표현을 없애고 정답에 헤지어("어느 정도")를 넣음, Q3 정답의 쉼표를 없애고 끝을 "…드러날 수 있다"(조건형+단정어미 동시 표지)로 바꿈, Q4 정답의 쉼표·괄호를 없애고 끝을 "…보였다"(오답들과 같은 헤지형)로 맞춤, Q5 정답의 쉼표를 없애고 "신호 정도는"으로 헤지어를 넣음. BN2 그 결과 길이 균형이 다시 깨져(정답 4/5가 유일 최장, 최장 80%) 5문항 전부 길이도 재조정 — 오답 쪽을 늘리거나(Q1 오답1·2·3, Q3 오답2, Q4 오답1·2·3, Q5 오답2·4) 정답과 동률을 만들되(Q1 정답↔오답3=62자, Q3 정답↔오답2=57자) Q4·Q5는 동률 위치를 순위 1·2위가 아니라 3·4위로 옮겨(오답 두 개를 정답보다 더 길게) 순위 쏠림을 분산시켰다(정답을 줄이지는 않음, 전부 오답만 늘림). BN3 재실측(도구 FEATS 로직을 그대로 복사한 재현 스크립트 — §0.14 관문에 해당하는 16종+8×4=48여 종 전수): 관문 최댓값 단정형 고르기 31.7%(≤35% 통과, 그다음 최단·길이3위·길이4위·단정어미 최소·글자수 최소 각 30.0%), 쉼표 최다 25.0%(70.0%→25.0%) · 조건형 최소 11.7%(53.3%→11.7%) · 절대어 정답0/오답0 · 4계열 정답3/5·오답6/15(경고 미해당) · 정답 유일 최장·최단 둘 다 0/5 · 값 기준 순위(동률 미분리)도 5문항 전부 동률이라 40% 초과 칸 자체가 없음(동률:5). BN4 check_notes stale 0(재확인), script.md·slides.md는 이번 rev에서도 열지 않았다(git diff diff 없음). uv run build_quiz.py 실행은 이번에도 권한 거부(2회) + 로컬 openpyxl 미설치로 실행 불가 — assets/tools/build_quiz.py 소스를 그대로 복사한 재현 스크립트 결과이며, 실제 엑셀 재생성·최종 판정은 오케스트레이터/검증자 몫이다.
assets/tools/count_script.py 집필자 pane에서 직접 실행, rev7 재측정 — BF1)구간 공백포함 ÷250
도입 1148 4.6분
이론 1826 7.3분
시연 2207 8.8분
정리 391 1.6분
합계 공백포함: 5572 ÷250 = 22.3분
BF1이 넣은 AI 출력 재구성 코드블록 4개(L113·139·161·183)는 fence라 count_script가 발화로 안 센다(drop log fence) — 총량 불변 확인. rev11(BJ3)로 이론에 "확률적 생성이라 부른다" 한 문장(+23자)을 넣어 이론이 1803→1826자로 늘었다.
화면 지시 조작 태그(전체 17개, 유형·개수는 rev4 이후 불변): 파일열기 1(20s) · 표작성 4(80s) · AI응답대기 4(120s) · 화면전환 8(64s) = 기본합 284초. §0.4(BE1) — 전환과 조작이 같은 화면 지시에 겹치면 둘 다 더한다: 조작: 없음이 아닌 화면 지시는 화면이 바뀐 것이므로 전환 8초가 조작 단가 위에 얹힌다. 겹치는 화면 지시 9개(L39·104·111·133·137·155·159·177·181 — 파일열기1·표작성4·AI응답대기4, 화면전환 태그 자체는 겹치지 않는다)에 8초씩 추가 = +72초. 조작 총합 284→356초(5.93분). 구간별 배분 — 도입 3개(겹침 1개, 36→44s) · 시연 13개(겹침 8개, 240→304s) · 정리 1개(겹침 0개, 8s 그대로).
구간별 실측(발화+조작): 도입 4.59+0.73=5.33분(clock 없음, 도입은 chapter 슬롯이 없다) · 이론 7.30분(조작 없음, clock 7분) · 시연 8.83+5.07=13.90분(clock 14분) · 정리 1.56+0.13=1.70분(clock 2분). 총량 = 22.29 + 5.93 = 28.22분(25~30분 이내 — 다른 절에서 이 총량을 다시 적을 때는 숫자를 반복하지 말고 이 줄을 가리킨다). slides.md 앞머리 minutes는 이 총량 반올림값 28, clock은 7·14·2(불변, 이론 실측 7.30분도 반올림 7). 도입·이론·정리 전부 배정(1000·1500·500자)의 0.7배 이상, 시연은 상한 없음 — 총량에서 역산해 이내. 검증자 실측 대상 — 자가추정. 앞으로 rev마다 이 블록을 다시 돌린다(§0.16-a).
시연 슬라이드 노트 — rev7(BF3)로 장 단위 재배분 (R1 위험 반영: 합계 %가 아니라 장별로 실측 대비 맞춘다). 시연 순서를 대본 순서(Q1·Q2·Q3 전부 → 판정 → 함정)에 맞춰 슬라이드도 demo(질문 1·2·3) → table(판정) → demo(검색 함정)으로 재배열, 각 장의 실측(대본 L104-175/177-179/181-196, 자체 스크립트로 재현)에 맞춰 노트 시간도 다시 배분: demo1(질문1·2·3) 1470자+230초=9.71분→노트 9분43초(100%) · table(판정) 186자+28초=1.21분→노트 1분13초(100%) · demo2(함정) 549자+46초=2.96분→노트 2분58초(100%). 챕터 노트 10초 포함 합계 844초=14.07분, 시연 실측 13.90분의 101.3% — 장별로도 합계로도 ±10% 안.
9종 전부 0건. 에 대해 알아보겠습니다·다양한·효과적으로·핵심적인·라고 할 수 있습니다·중요한 역할을 합니다·살펴보도록 하겠습니다·무궁무진한·필수적인 — script.md 전체 grep 결과 0건.
grep -n 대전 script.md 결과 3개 줄뿐(BA1로 시연 세 번째 질문에서 "대전 소재" 삭제): (1) L3 앞머리 메타 설명(계약 인용, 발화 아님) (2) L23 구성표 목적 칸(발화 아님, count_script가 도입~정리 본문만 셈) (3) L51 인물 30초 소개 안 — 계약이 명시적으로 허용한 자리. 시연 질문 문장에는 이제 대전 0회 — grep 결과 매치 없음. 이론 구간(L71~101)에는 대전·자치구·인물 이름 0회 — grep으로 재확인.
author-b/ep-02-1/AX부트캠프_온라인38차시_평가문항.xlsx 1차시 · 6문항
정답 분포 1번 2(40%) 2번 1(20%) 3번 1(20%) 4번 1(20%)
정답이 유일 최장인 문항(길이 순위만) 0/5
어휘 겹침(진단, 관문 제외) 어휘 겹침 최다 15% · 어휘 겹침 최소 25%
번호 찍기(전 차시 합산 검사용) 최대 40%
영상 없이 찍기 기대 정답률(최대 전략) 단정형 고르기 31.7% [단정형 고르기 32% · 최단 30% · 길이3위 30% · 길이4위 30% · 단정 어미(이다·된다·있다) 최소 30% · 글자 수 최소 30% · 조건형(경우·수 있·때로·보였다·수도) 최다 28% · 따옴표 최소 27% · 어절 수 최다 27% · 절대어 지우기 25% · 절대어 고르기 25% · 숫자 지우기 25% · 숫자 고르기 25% · 쉼표 최다 25% · 괄호 최다 25% · 괄호 최소 25% · 한자어 명사형 종결(~것·~함) 최다 25% · 한자어 명사형 종결(~것·~함) 최소 25% · 강조 부사 최다 25% · 강조 부사 최소 25% · 조건형(경우·수 있·때로·보였다·수도) 있는 보기 23% · 쉼표 최소 22% · 최장 20% · 길이1위 20% · 길이2위 20% · 따옴표 최다 20% · 단정 어미(이다·된다·있다) 최다 20% · 글자 수 최다 20% · 어절 수 최소 20% · 단정형 지우기 15% · 조건형(경우·수 있·때로·보였다·수도) 최소 12% · 쉼표 있는 보기 10% · 단정 어미(이다·된다·있다) 없는 보기 10% · 쉼표 없는 보기 7% · 조건형(경우·수 있·때로·보였다·수도) 없는 보기 7% · 따옴표 없는 보기 7% · 단정 어미(이다·된다·있다) 있는 보기 0% · 따옴표 있는 보기 0%]
정답이 유일 최단인 문항 0/5
단정 서술 4계열(구조·배타·전면부정·빈도) 정답 3/5 · 오답 6/15
절대어 보기 정답 0/5 · 오답 0/15
정답 길이 순위 분포(1=최장) 동률 5
정답이 눈에 띄게 긴 보기 0/5 (0%)
exit=0
출력: 오케스트레이터 실행 2026-09-05
assets/sources.md) URL (동적/로그인 페이지는 「참고」로만)대장 밖 사실 3건 → 등재 확인(2026-09-04). 근거 절 L219·L221의 세부(Kevin Castel 판사 · Schwartz·LoDuca와 소속 로펌에 연대 5,000달러 제재 · 필답형(논술형))는 등재 전에는 집필자 웹 조사분이라 대장 밖이었다 — 오케스트레이터가 sources.md에 확인·등재했다(P. Kevin Castel · 로펌 Levidow, Levidow & Oberman 연대 · 논술형은 2차 자료). 근거 절 본문은 그대로 둔다. 세 시연 질문에서 세 번씩 물었을 때 몇 번째 답이 몇 과목이라고 말하는지 같은 구체적인 진행은 AI를 실제로 세 번씩 실행해 얻은 로그가 아니라, 위 근거 URL이 보여주는 공식 사실(옳은 답)과 학습 컷오프·확률적 생성이라는 이론이 예측하는 실패 유형(숫자 오기·구 명칭·표준 경로 누락·비슷한 이름 혼동)을 조합해 집필자가 구성한 장면이다. script.md 전체 화면 지시에 (재구성) + "촬영 시 실제 실행 화면으로 교체" 지시를 붙였다 — 04-2 파일럿의 AI 함정 장면(결측치 처리 코드블록)과 같은 처리 방식.
이 편은 설문 주관식을 인용하지 않는다(방법 과목, market.md §3 재료는 03-1 전용). 대조 대상 없음, 해당 없음.
author-b/ep-02-1/slides.html·slides_notes.html은 오케스트레이터가 빌드한다. 구조만 적는다: 본문 14장(cover 포함, 인트로·아웃트로 2장 제외), chapter 정확히 3장, big 1장(이론), demo 2장(시연), 모든 슬라이드에 강사 노트(14/14), 챕터 노트 3/3 「OBS 녹화 분할」. 이론 슬라이드(big·two·steps) 대전·자치구·인물 0회(도입의 "two" 슬라이드는 도구 소개라 이론 챕터 밖). 앞머리 minutes 값은 위 「자가측정」 블록의 총량 반올림값과 일치(수치를 여기서 반복하지 않는다).
build_quiz.py)은 오케스트레이터 몫 — openpyxl이 이 pane에 없어 집필자는 엑셀 자체를 만들지 않았다(계약대로).