← 목록 · 02-1 · AI는 왜 "모른다"고 하지 않나 · 원문 script.md
초안(2026-09-04). 공통 조항
assets/contracts/COMMON.md(4박자 2·6·15·2·과목 1차시 예외 4·6·13·2 · 시연 상한 총량 역산 · QR 취소 · quiz 편차), 계약assets/contracts/02-1.md. 소재assets/market.md§2(인물). 파일럿author-a/ep-04-2/가 틀. 방법 과목 — 대전 데이터를 쓰지 않는다. 과목 1차시라 도입 4분·시연 13분(§0.1-a), Antigravity 소개·원칙 문장·대안·대처 경로·막히는 장면이 이 편에만 들어간다(§0.3).
| 항목 | 내용 |
|---|---|
| 시간 | 25~30분 (발화 5,000~7,500자 + 시연 조작 시간 합산, §0.4) |
| 유형 | 시연 |
| 카테고리 | 02 생성형 AI와 디지털 리터러시 |
| 선수 차시 | 없음(과목 1차시) |
| 상태 | 초안 v1 |
| 구간 | 분 | 활동 | 목적 |
|---|---|---|---|
| 도입 | 4 | 완성된 재현성 테스트 기록표 먼저 보여주기 + 과목이 남기는 것 + 인물 30초 + Antigravity 소개·원칙 문장·대안·대처 경로·막히는 장면 | 오늘의 결과물을 먼저 확인, 과목 1차시 예외 반영 |
| 이론 | 6 | 확률적 생성과 학습 컷오프 — 다음 토큰 예측·학습 컷오프·확률적 생성·자기 확신도를 모름, 다른 예 = 존재하지 않는 판례가 형식만 완벽하게 나온 실제 사례(Mata v. Avianca, 2023) | 어디서든 쓰는 일반형을 대전 없이 심는다 |
| 시연 | 13(+조작) | 인물이 자기 취준 사실 질문 3개를 같은 문장으로 3번씩 묻는다 → 답을 나란히 놓고 달라지는 부분 표시 → 공식 출처와 대조해 판정 → 검색을 붙여도 사라지지 않는 함정(이름이 비슷한 다른 자격증을 혼동) | 계약이 정한 순서 그대로, 정답이 공식 출처로 확인 가능한 질문만 |
| 정리 | 2 | 한 줄 + 다음 차시 갈고리 + 검정 질문 자막 | 연결 |
합계 25분(선언), 30분까지 허용. 시연 구간의 무발화 조작 시간은 화면 지시에 단가표 유형(파일열기20·열고르기30·검사실행30·AI응답대기30·표작성20·화면전환8, 초)으로 표기한다.
[화면: 빈 재현성 테스트 기록표 — 질문 · 답1 · 답2 · 답3 · 달라진 곳 · 판정, 다섯 칸이 비어 있다(재구성 — 촬영 시 실제 완성본 화면으로 교체). · 조작: 파일열기]
(축자)
"오늘은 이 표 한 장을 채우는 과정을 봅니다 — 같은 질문을 세 번 던지고, 세 답이 달라지는 곳을 찾아 표시하는 표입니다."
(요점) 질문 칸 하나, 답 세 칸, 달라진 곳 칸, 판정 칸이 비어 있다는 것만 짚는다. 지금부터 세 개의 질문으로 이 표를 채워 나가는 것이지, 이미 완성된 결과를 보여주는 자리가 아니라는 것을 확인시키고 넘어간다.
(축자)
"이번 차시에서 정하는 것은 무엇을 의심해야 하는가입니다."
(요점) 앞으로 다섯 차시 동안 이 과목이 남기려는 것을 짧게 짚는다. AI가 써 준 자기소개서나 조사 결과를 그대로 내지 않고, 어느 문장을 확인했고 어느 문장은 확인하지 못했는지 알고 자기 이름을 걸 수 있게 되는 것이다. 그러려면 먼저 AI가 왜 모르는 것도 "모릅니다"라는 말 없이 답하는지부터 봐야 한다는 것으로 오늘 이론을 예고한다.
(요점, 인물 30초) 이번 다섯 차시 내내 함께 볼 사람은 식품영양학과를 졸업한 대전 거주 취업준비생이다. 자기소개서와 직무 조사에 AI를 쓰는데, 같은 질문을 다시 던져도 답이 매번 다르다는 걸 최근에 느꼈다.
[화면: Antigravity 첫 화면 — 구글 계정으로 로그인하는 창(재구성 — 촬영 시 실제 실행 화면으로 교체). · 조작: 화면전환]
(요점) 이번 시연부터 다섯 차시 내내 쓸 도구를 소개한다. Antigravity, 지금은 프리뷰 단계라 무료로 쓸 수 있고 구글 계정 하나로 로그인한다. 이 과목에서 도구를 이렇게 소개하는 것은 이번 한 번뿐이고, 이후 차시에서는 다시 설명하지 않는다는 것도 짚는다.
(축자, 지정)
"도구가 중요한 게 아니라, 이런 에이전트를 제대로 부리는 역량이 중요하다."
(요점) 오픈코드나 커서 CLI 같은 다른 에이전트 도구를 쓰더라도 오늘 배우는 방식 — 같은 질문을 반복해서 던지고 답을 나란히 놓고 대조하는 방식 — 은 도구를 바꿔도 그대로 옮겨 쓸 수 있다는 것을 한 줄로 짚는다. 도구 이름을 외우는 것이 이 과목의 목표가 아니라는 것을 다시 확인한다.
[화면: Antigravity가 응답을 받지 못하고 멈춰 있다 — 로딩 표시만 계속 돈다(재구성 — 촬영 시 실제 화면으로 교체). · 조작: 화면전환]
(요점, 막히는 장면) 이런 도구는 쓰다 보면 이렇게 막히는 순간이 온다. 화면이 이대로 멈추면 세 가지로 대응한다.
(축자)
"막히면 나눠서, 다른 도구로, 텍스트로."
(요점) 한 번에 묻던 질문을 나눠서 다시 보내거나, 다른 도구로 바꿔서 같은 질문을 넣거나, 응답을 계속 기다리는 대신 지금까지 나온 답을 텍스트로 직접 정리해서 이어 간다. 지금 화면에 뜬 대기 시간이나 남은 사용량 같은 숫자는 오늘 다루지 않는다 — 그 숫자는 서비스 쪽 사정에 따라 날마다 바뀌기 때문에, 오늘 외운 숫자가 다음 주에는 틀린 숫자가 될 수 있다.
(요점, 도입) 방금 도구가 멈추는 장면을 봤다. 그런데 AI를 쓰면서 정말 조심해야 하는 순간은 화면이 멈출 때가 아니라, 모르는 걸 물어봤는데도 막힘없이 답이 나올 때다. 왜 그런 일이 일어나는지부터 본다.
(축자, 핵심 정의)
"AI 언어모델은 질문을 통째로 이해하고 정답을 찾아오는 방식으로 답하지 않습니다. 지금까지 나온 글자들을 보고, 다음에 올 확률이 가장 높은 토큰을 하나씩 골라 이어 붙이는 방식으로 답을 만듭니다."
(요점) 이 방식을 다음 토큰 예측이라 부른다. 문장 전체를 놓고 참인지 거짓인지 따로 판단하는 절차가 안에 들어 있지 않다는 게 핵심이다. 사람이 질문의 뜻을 이해하고 아는 지식을 꺼내 답하는 순서와는 다르다. 모델은 지금까지 만든 글자들 다음에 어떤 글자가 이어질 확률이 높은지를 계산하고, 그 확률이 가장 높은 것을 하나 골라 붙이는 일을 문장이 끝날 때까지 반복한다.
(요점) 이렇게 확률로 다음 글자를 골라 이어 붙이는 방식을 확률적 생성이라 부른다. 확률이 근소한 차이로 갈리는 지점에서는 어느 쪽이 뽑히느냐에 따라 그 뒤로 이어지는 문장 전체가 달라질 수 있다는 뜻이다. 같은 질문을 다시 던져도 매번 똑같은 문장이 나온다는 보장이 없다. 이게 오늘 시연에서 같은 문장으로 세 번씩 물어보는 이유다 — 한 번의 답만 보면 그 답이 우연히 갈린 결과인지 아닌지 알 수 없다.
(축자, 핵심 정의)
"학습 컷오프란, 모델이 학습에 쓴 자료가 특정 시점까지만 모여 있다는 뜻입니다. 그 시점 이후에 새로 생기거나 바뀐 사실은 모델 안에 들어 있지 않습니다."
(요점) 자격증 시험 과목이 개편되거나, 제도 이름이 바뀌거나, 기관이 통폐합되는 일은 계속 일어난다. 학습 컷오프 이후에 일어난 변화는 모델이 배운 적 없는 사실이라, 물어보면 그 이전 상태를 그대로 답한다. 검색 기능을 붙이면 최신 자료를 찾아올 수는 있지만, 모델이 학습으로 이미 아는 것과 검색해서 지금 찾아오는 것은 서로 다른 경로라는 것만 짚고 시연으로 넘긴다 — 검색이 이 문제를 완전히 없애는지는 시연 뒷부분에서 직접 확인한다.
(축자, 지정 아님)
"AI는 자기가 이 답을 얼마나 확신하는지를 모릅니다."
(요점) 확률이 가장 높은 토큰을 골랐다는 것과, 그 내용이 실제로 사실이라는 것은 전혀 다른 문제다. 모델은 지어낸 문장이라도 확률 계산상 자연스럽게 이어지면 그대로 만들어 낸다. "모르겠습니다"라는 답도 결국 확률로 계산되는 문장 하나일 뿐이라서, 학습 자료가 부족한 주제일수록 오히려 그럴듯하게 채워 넣는 문장 쪽 확률이 더 높게 나오는 경우가 많다. 그래서 모델은 자기 확신이 낮다는 신호를 스스로 내보내지 못한다.
(축자, 다른 예)
"2023년 미국 뉴욕남부지방법원에서, 한 변호사가 챗GPT가 지어낸 판례 여섯 건을 법원 서류에 그대로 인용했습니다. 사건 이름과 사건 번호까지 실제 판례처럼 완벽한 형식으로 나왔지만, 여섯 건 모두 존재하지 않는 판례였습니다."
(요점) 마타 대 아비앙카 사건이다. 상대편 변호사가 그런 판례를 찾을 수 없다고 법원에 알리자, 이쪽 변호사는 챗GPT에게 그 판례들이 진짜냐고 다시 물었다. 챗GPT는 "정말 존재하며 렉시스넥시스나 웨스트로 같은 신뢰할 수 있는 법률 데이터베이스에서 찾을 수 있다"고 재차 확인해 줬다. 그 말을 그대로 믿고 법원에 사본까지 제출했지만, 결국 여섯 건 모두 존재하지 않는다는 게 밝혀졌고 변호사 두 명이 벌금을 물었다.
(축자, 지정 아님)
"형식이 완벽한 것과 사실인 것은 다른 문제입니다."
(요점) 판례 이름을 붙이는 법, 사건 번호를 매기는 법 같은 형식은 자료에서 많이 봤기 때문에 아주 그럴듯하게 재현한다. 그런데 그 형식 안에 들어가는 구체적인 사실 하나하나는 확률로 채워진 것이라 얼마든지 틀릴 수 있다. 오늘 시연도 같은 구조를 확인하는 자리다 — 형식은 멀쩡한 답 안에서 어디가 사실이고 어디가 지어낸 것인지 가려낸다.
[화면: 재현성 테스트 기록표 첫 줄에 질문1이 적힌다(재구성 — 촬영 시 실제 실행 화면으로 교체). · 조작: 표작성]
(요점) 인물이 직접 확인할 수 있는 사실 질문 세 개를 정한다. 영양사 국가시험 응시 자격은 무엇인가, 식품기사 실기 시험 과목은 무엇인가, 식품 관련 공공기관 채용 공고는 어디서 보는가. 셋 다 정답이 공식 기관 페이지에 그대로 적혀 있어서 대조할 수 있는 질문이라는 것을 짚는다.
(축자)
"판정은 넷으로 나눕니다. 정답과 완전히 같으면 완전히 맞음, 방향은 맞지만 세부나 표준 경로를 놓치면 부분, 근거 없는 값을 만들어 내면 지어냄, 학습 컷오프 때문에 옛 정보를 그대로 답하면 컷오프로 틀림입니다."
[화면: AI 채팅창. "영양사 국가시험 응시 자격은 무엇인가"를 같은 문장으로 세 번 입력, 답 세 개가 나란히 뜬다(재구성 — 촬영 시 실제 실행 화면으로 교체). · 조작: AI응답대기]
(재구성 — AI 출력 예시, 3회 반복)
[1회] 관련 학과(식품영양학과 등)를 졸업하고, 영양 관련 교과목 18과목 52학점을 이수하며, 현장실습 80시간(2주) 이상을 마쳐야 합니다.
[2회] 영양학과·식품영양학과 등 관련 학과 졸업 후 영양 관련 교과목 18과목 52학점을 이수하고 현장실습 80시간을 거쳐야 응시할 수 있습니다.
[3회] 관련 학과를 졸업하고 영양 관련 교과목 16과목을 이수한 뒤 현장실습을 마치면 응시할 수 있습니다.
(요점) 첫 질문을 그대로 세 번 던진다. 세 답 모두 영양학과나 식품영양학과 같은 관련 학과를 졸업해야 한다는 것, 관련 교과목을 정해진 만큼 이수해야 한다는 것, 현장실습을 거쳐야 한다는 것까지 큰 틀은 같게 나온다.
[화면: 세 답을 나란히 놓고 달라지는 곳에 표시한다 — 이수해야 할 과목 수 숫자가 다르다(재구성 — 촬영 시 실제 실행 화면으로 교체). · 조작: 화면전환]
(요점) 그런데 이수해야 할 교과목 숫자가 갈린다. 두 답은 열여덟 과목이라고 했는데, 한 답만 열여섯 과목이라고 했다.
[화면: 국시원(한국보건의료인국가시험원) 응시자격 페이지를 나란히 띄운다(재구성 — 촬영 시 실제 화면으로 교체). · 조작: 화면전환]
(축자)
"국시원 페이지의 답은 열여덟 과목, 쉰두 학점입니다. 세 답 중 하나가 말한 열여섯 과목은, 이 페이지에는 없는 숫자입니다."
(요점) 이 숫자는 어디서 베껴 온 게 아니라 그럴듯하게 만들어 낸 값이라는 것을 짚는다. 첫 질문의 판정은 두 답 맞음, 한 답은 숫자를 지어냄으로 기록한다.
[화면: 재현성 테스트 기록표 둘째 줄에 질문2가 적힌다(재구성 — 촬영 시 실제 실행 화면으로 교체). · 조작: 표작성]
(요점) 두 번째 질문으로 넘어간다 — 식품기사 실기 시험 과목은 무엇인가.
[화면: AI 채팅창. 같은 문장으로 세 번 입력, 답 세 개가 나란히 뜬다(재구성 — 촬영 시 실제 실행 화면으로 교체). · 조작: AI응답대기]
(재구성 — AI 출력 예시, 3회 반복)
[1회] 식품기사 실기 시험 과목은 식품생산관리 실무이며, 필답형으로 두 시간 삼십 분 동안 치러집니다.
[2회] 식품기사 실기는 식품생산관리 실무 과목의 필답형 시험으로, 시험 시간은 두 시간 삼십 분입니다.
[3회] 자격증 이름이 최근에 식품안전기사로 바뀌었을 수 있고, 실기는 식품안전관리 실무 과목의 필답형 시험으로 시험 시간은 두 시간 삼십 분입니다.
(요점) 세 답 모두 실기 시험이 필답형이라는 것, 시험 시간이 두 시간대라는 것까지는 비슷하게 나온다. 그런데 자격증 이름과 과목 이름에서 갈린다 — 두 답은 여전히 "식품기사"라는 이름과 옛 과목 이름을 그대로 쓰고, 한 답만 자격증 이름이 최근에 바뀌었을 수 있다고 덧붙인다.
[화면: 큐넷(한국산업인력공단) 국가자격 종목별 상세정보 페이지를 나란히 띄운다(재구성 — 촬영 시 실제 화면으로 교체). · 조작: 화면전환]
(축자)
"2025년부터 식품기사는 식품안전기사로 개편됐고, 실기 과목명은 식품안전관리 실무, 필답형 약 두 시간 삼십 분입니다. 세 답 중 두 개는 이 개편을 몰랐습니다."
(요점) 이론에서 배운 학습 컷오프가 실제로 드러나는 자리다. 두 답이 쓴 자격증 이름과 과목 이름 자체가 개편 이전 자료에서 나온 것이라는 걸 짚는다. 두 번째 질문의 판정은 시험 방식과 대략적인 시간대는 셋 다 맞음, 자격증 이름과 과목 이름은 두 답이 컷오프 때문에 틀림으로 기록한다.
[화면: 재현성 테스트 기록표 셋째 줄에 질문3이 적힌다(재구성 — 촬영 시 실제 실행 화면으로 교체). · 조작: 표작성]
(요점) 세 번째 질문 — 식품 관련 공공기관 채용 공고는 어디서 보는가.
[화면: AI 채팅창. 같은 문장으로 세 번 입력, 답 세 개가 나란히 뜬다(재구성 — 촬영 시 실제 실행 화면으로 교체). · 조작: AI응답대기]
(재구성 — AI 출력 예시, 3회 반복)
[1회] 관심 있는 공공기관의 홈페이지를 하나씩 확인해 보시는 것이 좋습니다.
[2회] 한국산업인력공단 채용 페이지에서 확인하실 수 있습니다.
[3회] 잡알리오(공공기관 채용정보시스템)에서 공공기관 채용 공고를 한곳에서 확인할 수 있습니다.
(요점) 이번엔 답이 세 갈래로 흩어진다. 관심 있는 기관 홈페이지를 하나씩 찾아보라는 답, 특정 기관 이름 하나만 대는 답, 채용 공고를 모아 놓은 사이트 이름을 대는 답으로 나뉜다. 세 질문 중 답이 가장 크게 갈리는 질문이다.
[화면: 잡알리오(공공기관 채용정보시스템) 페이지를 나란히 띄운다(재구성 — 촬영 시 실제 화면으로 교체). · 조작: 화면전환]
(축자)
"공공기관 채용 공고를 한곳에서 확인하는 표준 경로는 잡알리오입니다. 세 답 중 이 이름을 말한 것은 하나뿐이었습니다."
(요점) 나머지 두 답을 완전히 틀렸다고 할 수는 없다 — 개별 기관 홈페이지를 보라는 것도, 특정 기관을 대는 것도 아주 틀린 방향은 아니다. 다만 한곳에서 여러 기관을 같이 확인할 수 있는 표준 경로는 놓쳤다는 것을 짚는다. 세 번째 질문의 판정은 하나만 표준 경로까지 맞음, 나머지 둘은 방향은 맞되 표준 경로를 놓침으로 기록한다.
[화면: 재현성 테스트 기록표 판정 칸이 전부 채워진다 — 완전히 맞음 4 · 부분적으로 맞음 2 · 지어냄 1 · 컷오프로 틀림 2(재구성 — 촬영 시 실제 실행 화면으로 교체). · 조작: 표작성]
(요점) 세 질문, 아홉 개 답을 다 놓고 보면 완전히 맞은 답 넷, 방향은 맞지만 표준 경로를 놓친 답 둘, 완전히 지어낸 숫자 하나, 학습 컷오프 때문에 이름이 틀린 답 둘이 나왔다. 아홉 개 중 하나만 지어낸 거니 괜찮다고 넘길 문제가 아니라는 것을 짚는다 — 어느 하나가 지어낸 답인지는 세 번 물어서 대조하기 전까지는 알 수 없었다.
[화면: AI 채팅창에 검색 기능을 켠 채로 질문2를 다시 입력한다(재구성 — 촬영 시 실제 실행 화면으로 교체). · 조작: AI응답대기]
(재구성 — AI 출력 예시, 검색 기능 사용)
식품안전기사 실기 시험은 작업형이며, 시험 시간은 약 네 시간입니다.
(요점, 함정) 검색을 붙이면 이 문제가 사라지는지 확인해 본다. 질문2를 검색 기능을 켠 채로 다시 던진다. 이번엔 이름이 식품안전기사로 바뀐 것까지 정확히 찾아온다 — 학습 컷오프 문제는 해결된 것처럼 보인다. 그런데 검색 결과 목록에 이름이 비슷한 다른 자격증, 식품산업기사 페이지도 같이 뜬다. 이번엔 실기 시험이 작업형, 시험 시간은 약 네 시간이라고 답한다.
[화면: 검색 결과 목록 — 식품안전기사 페이지와 식품산업기사 페이지가 나란히 뜬다. AI가 참조한 줄에 표시(재구성 — 촬영 시 실제 화면으로 교체). · 조작: 화면전환]
(축자)
"식품안전기사 실기는 필답형, 약 두 시간 삼십 분입니다. AI가 검색해서 연 페이지에는 이름이 비슷한 식품산업기사 실기 정보도 있었습니다 — 작업형, 약 네 시간입니다. AI는 식품안전기사가 아니라 식품산업기사 쪽 방식을 답했습니다."
(요점) 검색을 붙이면 학습 컷오프 이후에 바뀐 이름은 찾아온다. 그런데 이름이 비슷한 다른 자격증이 검색 결과에 같이 뜨면, 어느 쪽이 실제로 물어본 자격증인지 가려 읽어야 하는 문제가 새로 생긴다. 검색 결과를 가져왔다는 것과 그 결과에서 맞는 항목을 읽었다는 것은 같은 말이 아니다 — 근거 없이 지어내던 문제가 사라지는 대신, 비슷한 이름을 혼동해 다른 줄을 읽는 문제로 형태만 바뀐 셈이다.
[화면: 완성된 재현성 테스트 기록표 — 도입에서 봤던 빈 표가 세 줄 다 채워진 채로 다시 뜬다(재구성 — 촬영 시 실제 완성본 화면으로 교체). · 조작: 화면전환]
(축자, 지정)
"같은 질문에 답이 달라지는 자리가, 근거가 없는 자리입니다."
(요점) 오늘 확인한 것을 정리한다. 세 번 물어서 답이 갈린 자리, 검색을 붙였는데도 비슷한 자격증을 혼동한 자리 — 전부 답을 한 번만 보고서는 알 수 없었고, 사람이 공식 출처와 나란히 놓고 대조해야만 드러난 자리였다. 아홉 개 답 중 완전히 맞은 것은 넷뿐이었다는 것, 그리고 검색을 붙였다고 이 문제가 사라지지는 않았다는 것도 다시 짚는다.
(축자, 갈고리)
"그럼 지시를 잘 쓰면 되나요"
(요점) 다음 차시로 넘어가는 질문을 던진다. 답이 갈리는 자리를 찾아 확인하는 것만으로는 부족하다는 것, 애초에 AI에게 무엇을 어떻게 지시하느냐에 따라 갈리는 자리 자체가 줄어들 수 있다는 것, 그 지시를 어떻게 쓰는지가 다음 차시의 주제라는 것만 던지고 마무리한다.
[자막: 이 답에서 근거를 확인한 문장은 몇 개입니까?]
이 편의 이론 다른 예(2023년 판례 사건)와 시연 세 질문의 정답 출처는 신규 웹 조사다.
kuksiwon.or.kr/subcnt/c_2020/2/view.do?seq=7q-net.or.krq-net.or.kr시연의 함정 장면(검색을 붙여도 이름이 비슷한 다른 자격증의 줄을 잘못 읽음)은 근거 3(식품안전기사)과 근거 5(식품산업기사)의 실기 방식·시간 차이 위에 집필자가 구성한 장면이다 — 실제 AI 실행 로그가 아니라 script.md 전체 화면 지시와 마찬가지로 (재구성) 표기하고 촬영 시 실제 화면으로 교체한다는 지시를 붙였다.