어떻게 뇌를 흉내 낸 한 칸, 뉴런

입력에 가중치를 곱해 더해요

앞 레슨에서는 손잡이를 조금씩 돌려 손실을 줄이는 법을 봤다. 이제 그 손잡이가 달린 곳을 볼 차례다. 인공 뉴런은 여러 입력을 받아 값 하나를 만드는 작은 계산 단위로, 뇌의 신경 세포에서 생각을 빌려 왔어요.
뉴런은 입력을 그냥 더하지 않는다. 입력마다 세기를 정해 두고, 그 세기를 곱한 다음 더한다. 이 세기를 가중치라고 부른다. 중요한 입력에는 큰 가중치를, 덜 중요한 입력에는 작은 가중치를 준다.

입력을 눌러 켜고 꺼 보자. 켜진 입력만 가중치가 곱해져 합에 더해져요.

입력을 켤 때마다 그 입력의 가중치만큼 합이 늘었다. 가중치가 큰 입력은 합을 크게 움직이고, 작은 입력은 살짝만 움직인다. 합은 입력 자체가 아니라 입력과 가중치를 함께 본 결과예요.
그런데 입력에 어떤 수를 곱해 더하는 이 모양, 어디서 본 것 같지 않은가?

가중치는 회귀의 기울기예요

선형 회귀에서 직선을 ax+b로 적었던 것을 떠올려 보자. 입력 x에 기울기 a를 곱하고 b를 더했다. 기울기가 클수록 같은 입력에도 결과가 크게 변했어요.
뉴런의 가중치가 바로 이 기울기다. 입력에 가중치를 곱하는 것은 기울기를 곱하는 것과 같아서, 가중치를 키우면 그 입력이 결과에 더 세게 영향을 주고 줄이면 약해진다. 회귀의 b에 해당하는 값도 뉴런에 있는데, 이것을 편향이라고 부른다.

가중치를 키우거나 줄여 보자. 기울기처럼 입력에 곱해져 출력이 따라 변해요.

가중치를 움직이니 출력이 따라왔다. 기울기를 바꾸면 직선이 기울듯이, 가중치를 바꾸면 뉴런의 반응이 바뀐다. 그러니 뉴런이 잘 맞히게 하려면 결국 가중치를 잘 정하는 것이 핵심이에요.
그런데 합을 구한 다음 뉴런은 무엇을 할까? 합을 그대로 내보내지 않고 결정을 하나 더 내린다.

임계를 넘으면 켜져요

뉴런은 합을 구한 뒤 기준값 하나와 견준다. 이 기준값을 임계라고 부른다. 합이 임계에 이르거나 넘으면 뉴런이 켜지고, 이때 내는 답은 1이에요. 합이 임계에 못 미치면 뉴런은 꺼져 있고, 답은 0이다.
전구가 충분히 밝아야 켜지듯이, 합이 충분히 커야 뉴런이 켜진다. 임계와 견주는 일은 합에 편향을 더해 그 결과가 음수인지 아닌지 보는 것으로 바꿔 쓸 수도 있다.

합을 올리고 내려 보자. 합이 임계에 이르면 뉴런이 켜지고(1), 못 미치면 꺼져요(0).

합이 임계에 닿는 순간 뉴런이 탁 켜졌다. 켜짐과 꺼짐, 둘 중 하나로 답이 정해진다. 이렇게 뉴런은 입력을 받아 켤지 끌지를 결정해요.
하지만 처음부터 잘 맞히지는 못한다. 가중치가 엉성하면 켜야 할 때 꺼지고, 꺼야 할 때 켜진다. 틀린 것이다. 틀렸을 때 뉴런은 어떻게 나아질까?

틀리면 가중치를 조금 고쳐요

앞에서 본 경사 하강법을 떠올려 보자. 틀린 정도를 보고 방향을 잡아 조금씩 내려가던 방법이다. 뉴런도 같은 생각으로 배운다. 켜져야 하는데 꺼졌다면 합이 커지도록 가중치를 조금 키우고, 꺼져야 하는데 켜졌다면 가중치를 조금 줄여요.
한 번에 크게 바꾸지 않고 한 걸음씩만 움직인다. 이것을 여러 번 되풀이하면 점점 잘 맞힌다. 켜고 끄는 뉴런 하나로 이렇게 배우는 장치를 퍼셉트론이라고 부른다.

틀린 답을 보고 조금 조정을 눌러 보자. 가중치가 정답 쪽으로 한 걸음씩 커져 마침내 맞아요.

고칠수록 틀림이 줄었다. 방향만 맞으면 한 걸음씩이라도 결국 정답에 가까워진다. 사람이 가중치를 일일이 정해 주는 것이 아니라, 뉴런이 틀린 것을 보고 스스로 가중치를 다듬는 것이에요.
다만 실제 신경망은 켜짐과 꺼짐처럼 뚝 끊기는 대신 부드럽게 바뀌는 함수를 쓴다. 뚝 끊기면 기울기가 거의 어디서나 평평해서 경사 하강법으로 고칠 방향을 찾기 어렵기 때문이다. 이런 함수를 활성화 함수라고 한다.

정리

정리하면 이렇다. 뉴런은 입력마다 가중치를 곱해 더한다. 이것은 회귀의 ax+b와 같은 모양이고, 기울기 a가 곧 가중치다. 더한 합이 임계에 이르면 켜지고(1), 못 미치면 꺼진다(0).
틀리면 경사 하강법처럼 가중치를 조금씩 고치고, 이것을 되풀이하면 점점 잘 맞혀요. 곱해 더하고, 기준으로 켜고, 틀리면 고치는 것, 이것이 뉴런이다.

핵심을 차례로 눌러 되짚어 보자. (입력×가중치의 합 → 가중치는 기울기 → 임계를 넘으면 켜짐 → 틀리면 조정)

이제 뇌의 신경 세포를 흉내 낸 작은 계산 단위를 알게 됐다. 곱해 더하고, 켜고 끄고, 틀리면 고치는 이 단순한 단위가 학습의 출발점이에요.
하지만 뉴런 하나는 경계를 직선으로밖에 긋지 못한다. 그래서 뉴런을 여러 층으로 이어 붙여 훨씬 복잡한 것을 배우게 하는데, 다음 레슨 신경망에서 그 모습을 살펴본다.