한남대학교 AX 디자인팩토리 부트캠프 · 02 생성형 AI와 디지털 리터러시 · 1강 AI는 왜 "모른다"고 하지 않나 · 제작 디벨로켓

--- mc q: AI 언어모델이 모르는 사실을 물어봐도 "모르겠습니다" 없이 답을 만들어 내는 것과 가장 관련 있는 설명은? - 다음에 올 확률이 가장 높은 토큰을 잇는 방식이라, 확신이 낮아도 어느 정도 그럴듯한 문장을 그대로 만들어 낸다 - 질문을 제대로 이해하지 못하면 아무 맥락 없이 안내 문구 하나로만 답하는 경우가 있다 - 모델 안에는 사실 여부를 매번 다시 확인해 주는 검증 절차가 마련되어 있어서, 확신이 없을 때만 일부러 지어낸다 - 학습 자료가 눈에 띄게 부족한 주제는 시스템 쪽에서 답변 자체를 곧장 차단한다 a: 1 why: "모델은 지어낸 문장이라도 확률 계산상 자연스럽게 이어지면 그대로 만들어 낸다. "모르겠습니다"라는 답도 결국 확률로 계산되는 문장 하나일 뿐이라서, 학습 자료가 부족한 주제일수록 오히려 그럴듯하게 채워 넣는 문장 쪽 확률이 더 높게 나오는 경우가 많다." 안내 문구를 미리 정해 둔다는 것은 다음 토큰 예측 방식과 반대되는 설명이라 오답이고, 사실 여부를 최종 확인하는 별도 검증 절차는 이론이 참·거짓을 판단하는 절차가 모델 안에 없다고 짚은 지점과 반대라 오답이며, 답변을 자동 차단한다는 것은 시연에서 실제로 답이 나온 사례들과 맞지 않는다. (대본 L90)

--- mc q: 이 차시 시연에서 AI가 "식품기사 실기 시험 과목"을 2025년 개편 이전 이름으로 답한 것과 가장 관련 있는 개념은? - 확률적 생성 — 같은 질문을 다시 던지면 답이 앞서와는 조금씩 다른 문장으로 달라지는 경우가 있다는 것 - 다음 토큰 예측 — 문장 전체를 한 번에 판단하지 않고, 확률이 가장 높은 글자를 한 개씩 골라 잇는다는 것 - 학습 컷오프 — 모델이 학습한 자료가 특정 시점까지만 모여 있어 그 뒤 바뀐 사실은 모른다는 것 - 자기 확신도를 모름 — 자기 확신이 얼마나 낮은지를 알리는 신호조차 스스로 내보내지 못한다는 것 a: 3 why: "학습 컷오프 이후에 일어난 변화는 모델이 배운 적 없는 사실이라, 물어보면 그 이전 상태를 그대로 답한다... 두 답이 쓴 자격증 이름과 과목 이름 자체가 개편 이전 자료에서 나온 것이라는 걸 짚는다." 확률적 생성은 같은 질문의 답이 매번 갈릴 수 있다는 것이라 이름이 통째로 옛 자료를 따르는 이 사례와는 다른 개념이고, 다음 토큰 예측은 답을 만드는 방식 자체를 가리키는 개념이라 옛 이름이 나온 이유를 직접 설명하지 못하며, 자기 확신도를 모른다는 것은 확신 없이도 답을 만든다는 것이라 이름이 틀린 이유와는 다른 지점이다. (대본 L85·153)

--- mc q: 오늘 시연에서 같은 질문을 같은 문장으로 세 번씩 반복해서 던진 이유로 가장 알맞은 것은? - 세 번을 넘겨 물어야 서버 쪽에서 응답하지 못하거나 지연되는 문제를 줄일 수 있기 때문이다 - 한 번의 답만으로는 우연히 갈린 결과인지 알 수 없어서 반복해서 대조해야 갈리는 자리가 드러날 수 있다 - AI가 같은 질문을 세 번째로 다시 물어볼 때부터는 전보다 더 정확한 답을 내놓는 경우가 있기 때문이다 - 질문을 세 번 반복하면 학습 컷오프 이후의 최신 정보까지 함께 찾아오게 되기 때문이다 a: 2 why: "같은 질문을 다시 던져도 매번 똑같은 문장이 나온다는 보장이 없다... 한 번의 답만 보면 그 답이 우연히 갈린 결과인지 아닌지 알 수 없다." 서버 오류를 줄이는 것은 이 차시에서 다루지 않는 문제이고, 반복 횟수가 늘어난다고 AI가 더 정확해지도록 설계돼 있다는 근거는 어디에도 없으며, 최신 정보를 저절로 찾아온다는 것은 검색 기능을 켜야만 가능한 일이라 반복 횟수와는 무관하다. (대본 L80)

--- mc q: 검색 기능을 켠 채 다시 물었을 때도 시연에서 남은 오류로 확인된 것은? - 검색 결과를 결국 무시하고 검색을 켜기 한참 전에 이미 확실하게 알고 있던 정보를 그대로 옮겨서 답하는 모습을 몇 번이나 보였다 - 검색 기능을 켜도 이 자격증의 정확한 이름을 차근차근 짚어서 물으면 답 자체를 거부해 버리는 모습을 몇 번이나 보이는 경우가 있었다 - 검색 기능을 켠 뒤에도 자격증 이름 부분은 이전 답변에서 이미 봤던 학습 컷오프 이전 이름 그대로 다시 답하는 모습을 보였다 - 검색 결과에 같이 뜬 이름이 비슷한 다른 자격증인 식품산업기사의 실기 방식을 식품안전기사의 답인 것처럼 말하는 모습을 보였다 a: 4 why: "AI가 검색해서 연 페이지에는 이름이 비슷한 식품산업기사 실기 정보도 있었습니다... AI는 식품안전기사가 아니라 식품산업기사 쪽 방식을 답했습니다." 검색을 켠 뒤에는 자격증 이름 자체는 정확히 찾아왔으므로 옛 이름을 그대로 답했다는 것은 사실과 다르고, 검색 결과를 무시했다는 것도 이름을 새로 찾아온 것과 모순되며, 답을 전부 거부했다는 것은 시연에서 실제로 답(작업형·약 네 시간)이 나온 것과 맞지 않는다. (대본 L193)

--- mc q: "AI는 자기가 이 답을 얼마나 확신하는지를 모릅니다"라는 문장이 뜻하는 것은? - AI가 토큰을 확률로 골랐다는 것과 내용이 사실인 것은 다른 문제라 확신이 낮다는 신호 정도는 스스로 못 내도록 되어 있다 - AI는 확신이 결코 없을 때조차 그 사실을 따로 감추지 않고 바로 스스로 "모르겠습니다"라고 무척 솔직하게 답하는 경우가 있다 - AI는 확신도를 숫자로 무척 꼼꼼히 계산해서 화면 한쪽 구석에 작은 글씨로 표시해 주지만 사용자가 그 숫자를 못 볼 뿐이다 - AI는 확신도가 심하게 낮게 나온 질문임을 스스로 무척 재빨리 알아채서 그 즉시 다른 모델에게 답을 대신 넘겨주는 경우가 있다 a: 1 why: "확률이 가장 높은 토큰을 골랐다는 것과, 그 내용이 실제로 사실이라는 것은 전혀 다른 문제다... 그래서 모델은 자기 확신이 낮다는 신호를 스스로 내보내지 못한다." "모르겠습니다"라고만 답하게 정해져 있다는 것은 시연에서 실제로 지어낸 답이 나온 사례와 맞지 않고, 확신도를 숫자로 계산해 화면에 표시한다는 것은 이 차시가 설명한 방식과 무관한 이야기이며, 확신도가 낮으면 다른 모델로 자동 이관한다는 것도 이론·시연 어디에도 나오지 않는다. (대본 L90)

--- open q: 내 전공(또는 관심 분야)에서 정답이 공식 출처로 확인 가능한 사실 질문 3개를 적으시오. 그중 하나를 골라 AI에게 같은 문장으로 세 번 물었다고 가정하고, 답을 대조할 공식 출처를 함께 쓰시오. rubric: 두 가지를 본다. 첫째, 질문이 의견이나 전망이 아니라 공식 출처로 대조할 수 있는 사실인가. 둘째, 그 출처가 "검색하면 나온다"가 아니라 실제로 답을 대조할 수 있는 구체적인 기관·페이지인가. 정답은 없으며, 자기 전공·경험에서 나온 질문인지를 중요하게 본다.