---
ep: 04-5
subject: 4
subject_name: AI 데이터 분석
lesson: 고르고, 틀릴 수 있는 곳을 적는다
---

# 한남대학교 AX 디자인팩토리 부트캠프 · 04 AI 데이터 분석 · 5강 고르고, 틀릴 수 있는 곳을 적는다 · 제작 디벨로켓

--- mc
q: 리포트에 결론 하나를 냈을 때, 그 결론에 반드시 덧붙여야 한다고 이 차시가 말하는 세 가지는?
- 정확도·신뢰성·타당성
- 상관성·인과성·교란
- 민감도·한계·재현
- 결측·이상값·중복값
a: 3
why: "숫자 하나를 내고 끝나는 것이 아니라, 그 숫자가 흔들리는 지점까지 함께 적는 것을 결론의 세 의무라고 부릅니다." 이 차시가 정의하는 결론의 세 의무는 민감도(어느 가정에 매달려 있는가)·한계(무엇을 못 봤는가)·재현(남이 같은 숫자를 낼 수 있는가)이다. 정확도·신뢰도·타당도는 이 차시가 쓰지 않는 다른 용어이고, 상관·인과·교란은 04-4의 주제, 결측·이상치·중복은 04-2의 정제 다섯 검사 중 일부라 이 차시의 세 의무가 아니다. (대본 L58)

--- mc
q: 남이 오늘과 같은 폐업률 숫자를 다시 낼 수 있으려면, 재현 카드에 반드시 남겨야 하는 것은?
- 분석에 사용한 컴퓨터 사양을 자세히 기록해 두어야 한다
- 버린 행 규칙과 분모 출처와 코호트 정의를 한 장에 남긴다
- 결론을 이해하기 쉽게 슬라이드에 색깔로 표시해 둔다
- 발표할 때 목소리 톤을 일정하게 유지해야 좋다
a: 2
why: "남이 같은 숫자를 다시 낼 수 있게, 세 가지를 한 장에 남긴다." 04-2에서 정한 버린 행 규칙, 04-3에서 쓴 분모의 출처, 04-4에서 정한 코호트 정의 — 이 세 가지가 있어야 남이 같은 절차를 밟아 같은 숫자를 낼 수 있다. 컴퓨터 사양, 슬라이드 색상, 발표 목소리는 숫자를 다시 내는 절차와 무관하다. (대본 L129)

--- mc
q: 인구 분모를 근사값에서 원표로 바꿨더니 중구-서구 밀도 차이가 절반 수준에서 4.6으로 움직였다. 이 사실이 보여주는 것은?
- 판정 자체는 그대로지만 차이 값은 크게 움직였다는 뜻이다
- 중구가 서구보다 밀도가 훨씬 더 높다는 게 이제 증명됐다는 뜻이다
- 인구 원표가 근사값보다 더 부정확한 자료라는 뜻
- 마진 판정이 묶음에서 1위 단정으로 뒤바뀌었다는 뜻
a: 1
why: "판정은 안 흔들렸지만 차이 값은 흔들렸다는 것 — 이 둘을 구분해서 말하는 것이 민감도를 정직하게 적는 법이다." 마진은 여전히 0.77퍼센트로 한 묶음이라는 판정 자체는 바뀌지 않았지만, 분모를 근사값에서 원표로 바꾸는 가정 하나만으로 차이 값은 크게 움직였다 — 이것이 민감도의 실물이다. 중구가 확실히 높다는 것도, 원표가 부정확하다는 것도, 판정이 1위 단정으로 바뀌었다는 것도 모두 대본과 반대다. (대본 L104)

--- mc
q: 오늘 리포트가 실제로 꺼낸 결론의 한계 셋에 포함되지 않는 것은?
- 폐업 신고 없이 문을 닫은 가게는 데이터에 안 잡힌다
- 구 단위가 너무 커서 동 단위 차이는 안 보인다
- 인허가 업종과 상가업소 소분류의 분류 체계 자체가 서로 다르다
- 코호트 연도를 다르게 잡으면 결론이 완전히 뒤집힌다
a: 4
why: 이 차시가 실제로 꺼낸 한계 셋은 "폐업 신고 없이 그냥 문을 닫은 가게는 이 데이터 어디에도 안 잡힌다"(폐업 미신고), "중구 안의 어느 동인지는 오늘 데이터로 알 수 없다"(구 단위), "인허가 업종과 상가업소 소분류가 서로 다른 체계"(업종 불일치)다. 코호트 연도를 2018에서 2019로 바꿔 본 민감도 실물에서는 오히려 "가정을 하나 바꿨을 때 결론이 크게 안 흔들리면, 그 결론은 튼튼한 쪽입니다"라고 확인했으므로, 연도를 바꾸면 결론이 뒤집힌다는 것은 대본과 반대다. (대본 L118·L120·L122·L114)

--- mc
q: AI에게 "이 결론의 한계를 써 줘"라고만 시켰더니 "이 데이터의 한계로 해석에 주의가 필요합니다"라는 답이 나왔다. 이 답이 부족한 이유는?
- 문장이 너무 짧고 간단해서 정성이 없어 보이는 느낌만 주기 때문에
- 폐업 미신고와 구 단위 크기와 업종 차이 같은 한계가 빠져 있어서
- 한국어가 아니라 영어로 답변했어야 더 자연스러웠을 것이다
- 데이터가 아니라 AI 모델 그 자체가 가진 한계를 말했어야 하는 것이다
a: 2
why: "폐업 미신고도, 구 단위의 크기도, 업종 체계가 다르다는 것도 이 문장 안에는 없다. 구체적인 한계는 데이터를 직접 만진 사람만 안다." 이 차시가 실제로 꺼낸 세 한계 중 어느 것도 AI의 뻔한 답 안에는 없다 — 데이터를 직접 열어 보지 않은 에이전트는 무엇을 못 봤는지도 모른다. 문장 길이나 언어, AI 모델 자체의 한계는 이 차시가 지적하는 문제가 아니다. (대본 L143)

--- open
q: 내 전공(또는 관심 분야)에서 낼 수 있는 결론 하나를 적고, 그 결론이 흔들릴 수 있는 한계 셋을 적으시오.
rubric: 세 가지를 본다. 첫째, 구체적인 결론을 하나 세웠는가("무언가에 영향을 준다"처럼 막연하지 않고, 실제로 낼 법한 숫자나 판단인가). 둘째, 한계 셋이 서로 다른 종류인가(같은 문제를 세 번 다르게 쓰지 않았는가 — 예: 신고 안 된 것은 안 보인다·단위가 너무 크다·서로 다른 분류 체계가 섞인다처럼 결이 다른 한계). 셋째, "정확하지 않을 수 있다"는 식으로 뭉뚱그리지 않고 무엇을 못 봤는지 구체적으로 짚었는가. 정답은 없으며, 자기 전공에서 실제로 나올 법한 한계인지를 중요하게 본다.