좋은 재료가 좋은 AI, 데이터

쓰레기를 넣으면 쓰레기가 나와요

기계는 우리가 준 예시만 보고 배워요.
그래서 예시가 잘못돼 있으면
그 잘못까지 그대로 따라 배워요.
고양이 사진에 강아지라고 라벨을 붙여 주면
기계는 고양이를 강아지라 우기게 돼요.
또 한쪽으로 치우친 예시만 주면
세상이 그렇게 치우쳐 있다고 믿어요.
사람이 봐도 엉터리인 자료로는
아무리 좋은 기계라도 엉터리만 배워요.

잘못된 예시를 하나씩 넣어봐요. 라벨이 뒤바뀐 자료가 들어갈수록 기계의 판단이 점점 엉뚱해져요.

잘못된 예시가 쌓일수록
기계의 답이 엉망이 됐죠.
기계는 옳고 그름을 스스로 모르고
우리가 준 자료를 그냥 믿어요.
그러니 라벨이 틀리거나 치우친 자료는
그대로 잘못된 버릇이 돼버려요.
바꿔 말하면, 자료만 바로잡아도
같은 기계가 훨씬 똑똑해질 수 있다는 뜻이에요.

좋은 재료를 주면 제대로 배워요

그럼 좋은 재료란 어떤 걸까요?
첫째, 라벨이 정확해야 해요.
고양이는 고양이, 강아지는 강아지로요.
둘째, 한쪽으로 치우치지 않아야 해요.
고양이 사진만 잔뜩 주고 강아지는 몇 장만 주면
기계는 강아지를 거의 못 알아봐요.
양쪽을 골고루 보여 줘야 균형 있게 배워요.
셋째, 같은 걸 묻는 잡음이 적어야 해요.
흐릿하거나 엉뚱하게 섞인 자료는 빼는 게 좋아요.

버튼을 눌러 엉터리 자료를 깨끗하고 균형 잡힌 자료로 바꿔봐요. 재료가 좋아지자마자 기계의 정확도가 올라가요.

기계를 손대지 않았는데도
정확도가 확 올라갔죠.
바뀐 건 오직 재료뿐이에요.
라벨을 바로잡고 양쪽을 골고루 채우니
같은 기계가 제대로 배운 거예요.
그래서 현장에서는 모델을 만지기 전에
먼저 데이터를 깨끗이 닦는 데 공을 들여요.
좋은 재료는 좋은 결과의 절반이에요.

문제에 맞는 특징을 골라요

데이터가 깨끗해도 한 가지가 더 남았어요.
무엇을 보고 판단하게 할지 정하는 거예요.
이렇게 골라 주는 단서를 특징이라고 해요.
집값을 맞히는 문제를 생각해봐요.
집의 면적이나 위치는 값과 깊이 얽혀 있어요.
넓고 좋은 동네면 값이 오르죠.
그런데 대문 색깔은 어떨까요?
값과 거의 상관이 없어요.
이런 무관한 특징은 오히려 판단을 흐려요.

집값 예측에 쓸 특징을 골라봐요. 면적과 위치를 넣으면 정확도가 오르고, 대문 색깔처럼 무관한 특징을 넣으면 도리어 떨어져요.

맞는 특징을 고를 때마다 정확도가 올랐죠.
반대로 무관한 색깔을 넣자 떨어졌어요.
특징이 많다고 무조건 좋은 게 아니에요.
문제와 진짜 관련된 단서를 골라야 해요.
맞는 특징은 정답으로 가는 지름길이고,
엉뚱한 특징은 길을 헷갈리게 하는 잡음이에요.
어떤 단서를 보여 줄지 잘 고르는 것,
이것도 좋은 데이터를 만드는 중요한 일이에요.

좋은 데이터는 많을수록 좋아요

재료가 깨끗하고 특징도 맞다면,
이제 양이 중요해져요.
예시가 몇 개뿐이면
어쩌다 들어온 한두 개의 특이한 경우에
기계가 휘둘리기 쉬워요.
예시가 아주 많아지면
그런 우연은 평균에 묻혀 약해지고
자주 나타나는 진짜 패턴이 또렷해져요.
그래서 깨끗한 데이터는 많을수록 든든해요.

데이터 양을 늘리는 버튼을 눌러봐요. 점이 많아질수록 우연한 흔들림이 가라앉고 경계가 안정되며 정확도가 올라가요.

데이터를 늘릴수록
경계가 안정되고 정확도가 올랐죠.
적을 때는 점 하나에도 휘청였지만
많아지니 흔들림이 잦아들었어요.
물론 양만 늘리는 게 답은 아니에요.
쓰레기를 아무리 많이 모아도 쓰레기예요.
깨끗하고 치우치지 않은 데이터일 때
비로소 많을수록 좋다는 말이 통해요.
질이 먼저고, 그다음이 양이에요.

정리해볼까요

한 줄로 모으면 이래요.
기계는 우리가 준 데이터만큼만 배워요.
쓰레기를 넣으면 쓰레기가 나오고,
깨끗하고 균형 잡힌 재료를 주면 제대로 배워요.
문제에 맞는 특징을 골라야 하고,
무관한 단서는 오히려 방해가 돼요.
좋은 데이터는 많을수록 든든하지만,
질이 먼저고 양은 그다음이에요.
좋은 재료가 좋은 AI를 만들어요.

핵심을 차례로 눌러 되짚어봐요. (쓰레기를 넣으면 쓰레기 -> 깨끗한 재료가 제대로 -> 맞는 특징 고르기 -> 좋은 데이터는 많을수록)

이제 왜 데이터가 그토록 중요한지 알게 됐어요.
사람들이 흔히 더 똑똑한 모델을 떠올리지만,
실제로 결과를 가르는 건 재료일 때가 많아요.
깨끗하게 닦고, 치우치지 않게 모으고,
문제에 맞는 특징을 골라, 넉넉히 주는 것.
이 평범해 보이는 일이 좋은 AI의 바탕이에요.
다음엔 이렇게 준비한 데이터로
기계가 얼마나 잘 배웠는지
어떻게 가늠하는지 이어서 살펴봐요.