한남대학교 AX 디자인팩토리 부트캠프 · 04 AI 데이터 분석 · 2강 데이터를 구하고, 버린다 · 제작 디벨로켓

--- mc q: 정제의 다섯 검사에 속하지 않는 것은? - 결측 — 빈칸이 있는가 - 이상치 — 말이 안 되는 값이 있는가 - 중복 — 같은 행이 두 번 들어 있는가 - 상관관계 — 함께 움직이는 경향 a: 4 why: "정제는 다섯 가지를 봅니다. 결측 — 빈칸이 있는가. 이상치 — 말이 안 되는 값이 있는가. 중복 — 같은 행이 두 번 들어 있는가. 타입과 단위 — 숫자여야 할 열에 문자가 섞여 있거나, 단위가 열마다 다른가. 논리 모순 — 두 열을 같이 보면 앞뒤가 안 맞는가." 다섯 검사는 결측·이상치·중복·타입/단위·논리 모순이다. 결측은 빈칸이 있는가를 보는 검사라 다섯 검사에 포함되므로 오답, 이상치는 말이 안 되는 값이 있는가를 보는 검사라 마찬가지로 오답, 중복은 같은 행이 두 번 들어 있는가를 보는 검사라 역시 오답이다. 상관관계는 정제 다섯 검사에 없다 — 탐색 단계에서 다루는 개념으로 이 차시 범위 밖이라 정답이다. (대본 L59)

--- mc q: 대전 상가업소정보 원본에서 표준산업분류명 빈칸 22건과 지점명 빈칸 69,924건을 같은 방식으로 처리하면 안 되는 이유는? - 22건이 69,924건보다 훨씬 적으니 지점명 빈칸도 표준산업분류명처럼 평균이나 0 같은 값으로 채워서 계산에 넣으면 된다 - 지점명 열이 표에서 표준산업분류명보다 나중에 나오는 열이라서 검사 순서만 나중으로 미루면 된다 - 지점명 빈칸은 지점이 없다는 값이고, 표준산업분류명 빈칸은 있어야 할 값이 비어 있는 진짜 결측이다 - 두 열 다 문자열 타입이라 빈칸이 나오면 같은 결측 처리 규칙을 적용해야 한다 a: 3 why: "표준산업분류명 빈칸이 22건 나온다 — 이건 진짜 결측이다, 있어야 할 값이 비어 있다. 그런데 지점명 빈칸은 69,924건, 전체의 86.6퍼센트다. 이건 결측이 아니다." 지점명 빈칸은 지점이 없다는 뜻이고, 표준산업분류명 빈칸은 있어야 하는데 없는 진짜 결측이다. 건수가 적다고 평균이나 0으로 채우면 "0과 빈칸은 다른 뜻"이라는 원칙을 어겨 없던 사실이 생기고, 열의 순서는 결측 여부·처리 시점과 아무 상관이 없으며, 타입이 같다고 결측 처리 방법이 같아야 하는 것도 아니다 — 그 열이 무엇을 의미하는지가 기준이다. (대본 L96·99)

--- mc q: 데이터 사전에 반드시 들어가야 할 다섯 항목은? - 열 이름·뜻·타입·단위·허용값 - 열 이름·뜻·타입·단위·데이터에서 뽑은 최솟값·최댓값 - 열 이름·뜻·타입·단위·눈으로 이상해 보이는지 여부 - 열 이름·뜻·타입·0과 빈칸을 묶어 표시한 값·허용값 a: 1 why: "데이터 사전은 표에 있는 열마다 이름, 뜻, 타입, 단위, 허용값을 적어 둔 문서다." 허용값을 데이터의 최솟값·최댓값으로 채우면 "그 검사는 아무것도 걸러내지 못한다"(허용값은 데이터가 아니라 열의 정의에서 온다는 것이 이 차시가 바로잡은 원칙)라 오답이고, 눈으로 봤을 때 이상해 보이는지는 규칙이 아니라 사람의 느낌이라 몇 행을 왜 버렸는지 아무도 재현할 수 없으며, 0과 빈칸을 하나로 묶으면 "0과 빈칸은 다른 뜻"이라는 이론의 핵심 원칙을 어겨 없던 사실이 생긴다. (대본 L75·L56·L73·L92)

--- mc q: 버릴 행을 눈으로 보고 지우지 않고, 규칙과 건수를 기록으로 남겨야 하는 가장 큰 이유는? - 파일 용량이 커지는 것을 막아서 저장 공간을 아끼고 나중에 정리하기 편하게 만들기 위해 - 다른 사람이 같은 규칙을 다음 시점 데이터에도 그대로 다시 적용하도록 하기 위해 - 규칙을 남기지 않고 눈으로 보면서 그때그때 이상해 보이는 행만 지우는 쪽이 더 빠르고 간단하기 때문에 - 평가 문항에 정확히 답하기 위해서만 필요하고 실제 분석에는 별다른 쓸모가 없어서 a: 2 why: "데이터 사전은 다음 시점 데이터가 들어와도 같은 기준으로 다시 검사할 수 있게 해 주고, 버린 행 기록은 오늘 지운 행을 다른 사람이 똑같이 지울 수 있게 해 준다." 그리고(지정) "버린 행을 기록하지 않으면 남이 재현할 수 없습니다." 파일 용량은 이 차시에서 다루지 않는 문제이고, 눈으로 보면서 그때그때 지우는 쪽은 이론에서 이미 반박한 방법이다 — 결과는 나오지만 몇 행을 왜 버렸는지 남지 않아 아무도 재현할 수 없고, 평가는 규칙을 남기는 이유가 아니라 결과라 인과관계가 거꾸로다. (대본 L190·L188·L56)

--- mc q: 이 차시 시연에서 실제로 겪은 삽질로 언급된 것은? - 업종 분류표에 무인 코드가 없어서 상호명에서 무인이 들어간 이름을 찾았고, 그중 무인양품처럼 무관한 이름도 섞여 있었다 - 지점명 빈칸 69,924건은 AI가 본점으로, 표준산업분류명 22건은 최빈값으로 채워 없던 지점과 분류가 생겼다 - 중복 행을 지울 때 앞이 아니라 뒤에 오는 행을 남기도록 방향을 반대로 짜서 원래 남아야 할 행이 사라졌다 - 좌표 허용값을 정의 대신 데이터에 있는 값의 최솟값·최댓값으로 잡아서 이상치 검사가 통과로만 나왔다 a: 1 why: 업종 분류표에 무인 코드가 없어서 상호명에서 무인이 들어간 이름을 찾았고, 그중 무인양품처럼 브랜드 이름이 우연히 겹친 경우도 섞여 있었다는 것이 실제 삽질이다. 이 차시에서 언급한 두 가지 삽질은 무인 코드·CSV 뒤 통보서뿐이다 — AI에게 결측치 처리를 맡겨 없던 값이 생긴 것은 삽질이 아니라 바로 다음의 함정 장면이고, 중복 제거 방향은 실제로 앞을 남기고 뒤를 버리는 것이 맞으며, 좌표 허용값을 데이터의 최솟값·최댓값으로 잡으면 안 된다는 것은 이 차시가 바로잡은 원칙이지 겪은 삽질이 아니다. (대본 L151)

--- open q: 내 전공에서 0과 빈칸이 다른 뜻인 데이터 하나를 적으시오. 그 데이터에서 0은 무엇을 의미하고, 빈칸은 무엇을 의미하는지 한 문장씩 구분해서 쓰시오. rubric: 두 가지를 본다. 첫째, 0과 빈칸을 서로 다른 사건으로 구분했는가("모른다"와 "일어났는데 값이 0이다"를 섞지 않았는가). 둘째, 자기 전공·경험에서 나온 구체적인 데이터인가("아무 예"가 아니라 실제로 다뤄봤거나 다룰 데이터). 정답은 없으며, 자신의 배경에서 출발했는지를 중요하게 본다.