어떻게 좋은 재료가 좋은 AI, 데이터

쓰레기를 넣으면 쓰레기가 나와요

기계는 우리가 준 예시만 보고 배운다. 그래서 예시가 잘못돼 있으면 그 잘못까지 그대로 따라 배워요. 고양이 사진에 강아지라는 라벨을 붙여 주면, 기계는 고양이를 강아지라고 답하게 된다.
한쪽으로 치우친 예시만 주면 세상이 그렇게 치우쳐 있다고 믿는다. 이것을 줄여 쓰레기를 넣으면 쓰레기가 나온다고 한다. 사람이 봐도 엉터리인 자료로는 아무리 좋은 모델도 엉터리만 배운다.

잘못된 예시를 하나씩 넣어 보자. 라벨이 뒤바뀐 예시가 늘수록 기계의 판단이 흐려지고 정확도가 떨어져요.

잘못된 예시가 쌓일수록 기계의 답이 엉망이 됐다. 기계는 무엇이 옳은지 스스로 모르고, 우리가 준 자료를 그대로 믿는다. 그러니 라벨이 틀리거나 치우친 자료는 그대로 잘못된 버릇이 돼요.
거꾸로 말하면 자료만 바로잡아도 같은 모델이 훨씬 나아질 수 있다는 뜻이다.

좋은 재료를 주면 제대로 배워요

그렇다면 좋은 재료란 어떤 것일까? 첫째, 라벨이 정확해야 한다. 고양이는 고양이, 강아지는 강아지로 말이다. 둘째, 한쪽으로 치우치지 않아야 해요. 고양이 사진은 잔뜩 주고 강아지 사진은 몇 장만 주면, 기계는 강아지를 거의 알아보지 못한다.
셋째, 실제로 쓰일 상황을 닮아야 한다. 밝은 낮 사진으로만 배운 모델은 어두운 밤 사진 앞에서 헤맨다. 흐릿하거나 엉뚱하게 섞인 자료는 빼는 것이 좋다.

버튼을 눌러 엉터리 재료를 깨끗하고 균형 잡힌 재료로 바꿔 보자. 재료가 좋아지자마자 기계의 정확도가 올라가요.

모델에는 손대지 않았는데도 정확도가 확 올랐다. 바뀐 것은 재료뿐이다. 라벨을 바로잡고 양쪽을 골고루 채우니 같은 모델이 제대로 배웠어요.
그래서 현장에서는 모델을 손보기 전에 데이터를 살피고 다듬는 데 많은 시간을 쓴다. 데이터가 치우쳐 있으면 모델도 치우친 판단을 내리는데, 이 문제는 뒤에서 AI의 윤리를 다룰 때 다시 본다.

문제에 맞는 특징을 골라요

데이터가 깨끗해도 정할 것이 하나 더 남았다. 무엇을 보고 판단하게 할지다. 판단의 단서로 고르는 값을 특징이라고 부른다. 집값을 맞히는 문제를 생각해 보자.
집의 면적이나 위치, 방 수는 값과 깊이 얽혀 있어요. 넓고 교통이 좋은 동네의 집은 값이 높다. 그런데 대문 색깔이나 지은 요일은 어떨까? 값과 거의 상관이 없다. 이런 무관한 특징은 오히려 판단을 흐린다.

집값 예측에 쓸 특징을 골라 보자. 면적과 위치처럼 관련된 특징은 정확도를 올리고, 대문 색깔처럼 무관한 특징은 도리어 떨어뜨려요.

맞는 특징을 고를 때마다 정확도가 올랐고, 무관한 특징을 넣자 떨어졌다. 특징이 많다고 무조건 좋은 것이 아니에요. 무관한 특징이 많으면 모델이 그 안의 우연한 패턴까지 외워 과적합하기 쉽다.
문제와 정말 관련된 단서를 골라야 한다. 이렇게 특징을 고르고 다듬는 일을 특징 공학이라고 하며, 오랫동안 기계 학습에서 가장 손이 많이 가는 일이었다.

좋은 데이터는 많을수록 좋아요

재료가 깨끗하고 특징도 맞다면 이제 양이 중요해진다. 예시가 몇 개뿐이면 어쩌다 들어온 특이한 경우 한두 개에 기계가 휘둘리기 쉬워요.
예시가 많아지면 그런 우연은 묻혀 약해지고, 자주 나타나는 진짜 패턴이 또렷해진다. 그래서 깨끗한 데이터는 많을수록 든든하다.

데이터 더 모으기를 눌러 보자. 예시가 많아질수록 우연한 흔들림이 가라앉고 경계가 안정되며 정확도가 올라가요.

데이터를 늘릴수록 경계가 안정되고 정확도가 올랐다. 적을 때는 점 하나에도 휘청였지만, 많아지니 흔들림이 잦아들었다.
물론 양만 늘린다고 되는 것은 아니에요. 쓰레기를 아무리 많이 모아도 쓰레기다. 깨끗하고 치우치지 않은 데이터일 때 비로소 많을수록 좋다는 말이 통한다. 질이 먼저이고 양은 그다음이다.

정리

정리하면 이렇다. 기계는 우리가 준 데이터만큼만 배운다. 엉터리를 넣으면 엉터리가 나오고, 깨끗하고 균형 잡힌 재료를 주면 제대로 배운다. 문제에 맞는 특징을 골라야 하고, 무관한 단서는 오히려 방해가 돼요.
좋은 데이터는 많을수록 든든하지만 질이 먼저다. 좋은 재료가 좋은 AI를 만든다.

핵심을 차례로 눌러 되짚어 보자. (쓰레기를 넣으면 쓰레기 → 깨끗한 재료가 제대로 → 맞는 특징 고르기 → 좋은 데이터는 많을수록)

이제 데이터가 왜 그토록 중요한지 알았다. 사람들은 흔히 더 똑똑한 모델을 떠올리지만, 실제로 결과를 가르는 것은 재료일 때가 많아요.
그런데 사진처럼 어떤 특징을 골라야 할지 사람이 일일이 정하기 어려운 데이터도 있다. 픽셀 수백만 개 가운데 무엇이 고양이의 단서일까? 신경망이 특징을 스스로 찾아내는 방법을 다음 레슨 CNN에서 다룬다.