어떻게 숫자로 세상 보기, 통계의 눈
시험 점수가 백 개, 키 기록이 천 개 있다고 하자. 하나하나 들여다보면 머리가 어지럽다. 그런데 숫자 두 개로 전체 모습을 그릴 수 있다면 어떨까? 가운데가 어디쯤인지, 그리고 얼마나 흩어져 있는지만 알아도 데이터의 생김새가 한눈에 들어온다. 이것이 통계의 눈이고, AI가 데이터를 읽을 때 가장 먼저 쓰는 눈이에요.
가운데는 어디쯤일까요, 평균
앞 레슨에서 기계는 예시에서 패턴을 찾는다고 했다. 그러려면 먼저 데이터가 어떻게 생겼는지 읽을 줄 알아야 한다. 데이터를 수직선 위의 점으로 찍어 보면, 점이 많을수록 한눈에 들어오지 않아요.
그래서 가장 먼저 묻는 것은 이 점들이 대체로 어디쯤에 있느냐다. 가운데를 구하는 가장 흔한 방법은 모든 값을 더해 개수로 나누는 평균이다. 점마다 같은 무게를 달았을 때 수직선이 평평하게 균형을 잡는 자리가 바로 평균이에요.
점 후보를 하나씩 눌러 무리에 더해 보자. 점이 늘 때마다 평균 표시가 새 균형점으로 옮겨 가요.
점을 더할 때마다 평균 표시가 균형점을 따라 움직였다. 오른쪽에 점이 몰리면 평균도 오른쪽으로 끌려간다. 그래서 평균은 데이터가 대체로 어디에 있는지를 잘 알려 줘요.
그런데 평균 하나로는 빠뜨리는 것이 있다. 가운데가 같아도 점들이 늘어선 모양은 얼마든지 다를 수 있기 때문이다.
얼마나 흩어졌나요, 퍼짐
여기 두 무리가 있다. 둘 다 평균은 똑같다. 그런데 한 무리는 가운데에 좁게 모였고, 다른 무리는 넓게 흩어졌어요. 평균이 같으니 같은 데이터라고 할 수 있을까?
그렇지 않다. 좁게 모인 쪽은 값들이 다들 비슷하고, 넓게 흩어진 쪽은 들쭉날쭉해요. 이렇게 값이 가운데에서 얼마나 멀리 퍼져 있는지를 퍼짐이라고 부른다.
두 무리를 번갈아 눌러 비교해 보자. 평균은 같은데 퍼짐 막대의 길이가 다른 것이 보여요.
평균은 똑같았지만 퍼짐은 한눈에 달랐다. 이 그림의 퍼짐 막대는 평균에서 가장 멀리 떨어진 점까지의 거리를 보여 주는데, 좁은 무리는 막대가 짧고 넓은 무리는 길다. 실제 통계에서는 모든 점이 평균에서 평균적으로 얼마나 떨어져 있는지를 재는 표준편차를 많이 써요.
그래서 평균과 퍼짐은 짝이다. 가운데가 어디인지와 그 둘레로 얼마나 흩어졌는지를 함께 봐야 데이터가 제대로 보인다.
멀리 튀는 한 점, 이상치
점들이 한곳에 옹기종기 모여 있고, 평균도 그 한가운데에 있다. 그런데 저 멀리 동떨어진 점 하나가 들어오면 어떻게 될까? 다른 점들과 동떨어진 이런 값을 이상치라고 불러요.
평균은 모든 값을 더해 나누기 때문에 멀리 있는 한 점도 그대로 반영된다. 점 하나가 가운데를 크게 옮겨 놓을 수 있어요.
멀리 튀는 점을 눌러 무리에 넣어 보자. 점 하나 때문에 평균 표시가 그쪽으로 확 끌려가요.
점 하나가 들어왔을 뿐인데 평균이 서른 언저리에서 마흔 가까이로 끌려갔다. 나머지 점들은 그대로인데도 그렇다. 그래서 평균만 보면 속을 수 있어요.
이럴 때 쓰는 다른 가운데가 중앙값이다. 값을 크기 순서로 늘어놓았을 때 한가운데에 오는 값인데, 튀는 점 하나가 들어와도 거의 움직이지 않는다. 평균과 중앙값이 크게 다르면 어딘가에 튀는 값이 있다는 신호로 읽을 수 있다.
많은 데이터를 두 숫자로
이제 점이 아주 많다. 하나하나 다 보기는 어렵다. 하지만 우리는 두 숫자를 배웠다. 가운데를 말하는 평균과 흩어진 정도를 말하는 퍼짐이다.
이 둘이면 점이 백 개든 천 개든 전체를 짧게 요약할 수 있어요. 가운데는 여기쯤, 흩어짐은 이만큼이라고 말이다. 많은 것을 적은 숫자로 줄이는 이 솜씨가 AI가 데이터를 다루는 출발점이다.
압축 단추를 눌러 보자. 많은 점이 평균과 퍼짐, 단 두 숫자로 줄어들어요.
수많은 점이 두 숫자로 줄었다. 물론 줄이면 잃는 것도 있다. 점 하나하나의 자세한 위치는 사라진다. 그래도 어디에 모여 있고 얼마나 흩어졌는지라는 큰 성격은 남아요.
이 두 숫자는 기계 학습에서도 자주 쓰인다. 예를 들어 키와 몸무게처럼 단위와 크기가 다른 값들을 각자의 평균을 빼고 퍼짐으로 나눠 비슷한 눈금으로 맞춘 뒤 학습에 넣는다. 이렇게 맞추면 어느 한 값이 숫자가 크다는 이유만으로 지나치게 중요하게 다뤄지는 일을 막을 수 있어요.
정리
정리하면 이렇다. 많은 데이터는 적은 숫자로 요약한다. 평균은 모든 값을 더해 개수로 나눈 가운데이고, 퍼짐은 값들이 가운데에서 얼마나 흩어졌는지를 말한다. 평균이 같아도 퍼짐이 다르면 전혀 다른 데이터예요.
멀리 튀는 이상치는 평균을 흔드니, 중앙값과 퍼짐을 함께 보며 판단한다. 가운데와 흩어짐을 함께 읽는 것, 이것이 통계의 눈이다.
핵심을 차례로 눌러 되짚어 보자. (평균은 가운데값 → 퍼짐은 흩어진 정도 → 평균이 같아도 퍼짐이 다르면 다른 데이터 → 이상치는 평균을 흔든다)
이제 데이터를 숫자로 읽는 첫 번째 눈이 생겼다. 어지럽던 점들의 무리가 가운데와 흩어짐이라는 두 숫자로 또렷해졌어요.
그런데 평균과 퍼짐은 이미 일어난 일을 요약할 뿐이다. 다음에 무슨 일이 일어날지는 확실히 알 수 없다. 이런 불확실함을 숫자로 다루는 방법을 다음 레슨 확률에서 다룬다.