뇌를 흉내 낸 한 칸, 뉴런

입력에 가중치를 곱해 더해요

논리 게이트에서
입력들을 받아 하나의 답을 내는 걸 봤죠.
인공 뉴런도 비슷하게
여러 입력을 받아 하나의 값을 만들어요.
다만 입력을 그냥 더하지 않아요.
입력마다 세기를 정해 두고
그 세기를 곱한 다음 더해요.
이 세기를 가중치라고 불러요.
중요한 입력에는 큰 가중치를,
덜 중요한 입력에는 작은 가중치를 줘요.

입력을 켜고 꺼봐요. 켜진 입력만 가중치를 곱해 합에 더해져요.

입력을 켤 때마다
그 입력의 가중치만큼 합이 늘었죠.
큰 가중치를 가진 입력은 합을 크게 움직이고
작은 가중치를 가진 입력은 살짝만 움직여요.
그러니까 합은 입력 그 자체가 아니라
입력과 가중치를 함께 본 결과예요.
그런데 이 꼴, 어디서 본 것 같지 않나요?
입력에 어떤 수를 곱해 더하는 모양 말이에요.

가중치는 회귀의 기울기예요

회귀에서 직선을 ax+b로 그렸던 걸 떠올려봐요.
입력 x에 기울기 a를 곱하고 b를 더했죠.
기울기 a가 클수록
같은 x에도 결과가 크게 변했어요.
뉴런의 가중치가 바로 이 기울기예요.
입력에 가중치를 곱하는 건
기울기를 곱하는 것과 똑같아요.
그래서 가중치를 키우면
그 입력이 결과에 더 세게 영향을 줘요.
가중치를 줄이면 영향이 약해지고요.

가중치를 눌러 키우고 줄여봐요. 기울기처럼 입력에 곱해져, 출력이 따라 변해요.

가중치를 움직이니 출력이 따라왔죠.
기울기를 바꾸면 직선이 기울듯이
가중치를 바꾸면 뉴런의 반응이 바뀌어요.
그러니 뉴런이 잘 맞히게 하려면
결국 가중치를 잘 정하는 게 핵심이에요.
그런데 합을 구한 다음엔
뉴런이 무엇을 할까요?
합을 그대로 내보내는 게 아니라
한 가지 결정을 더 해요.

임계를 넘으면 켜져요

뉴런은 합을 구한 뒤
기준선 하나와 견줘요.
이 기준선을 임계라고 불러요.
합이 임계를 넘으면 뉴런이 켜져요.
켜졌다는 건 1이라는 답을 낸 거예요.
합이 임계에 못 미치면 뉴런은 꺼져 있어요.
꺼졌다는 건 0이라는 답이에요.
전구가 충분히 밝아야 켜지듯이
합이 충분히 커야 뉴런이 켜져요.
그래서 뉴런은 켰다 껐다 하는 결정을 내려요.

합을 눌러 올리고 내려봐요. 임계선을 넘으면 뉴런이 켜지고(1), 못 넘으면 꺼져요(0).

합이 임계를 넘는 순간 뉴런이 탁 켜졌죠.
켜짐과 꺼짐, 둘 중 하나로 답이 정해져요.
이렇게 뉴런은 입력을 받아
켤지 끌지를 스스로 결정해요.
그런데 처음부터 잘 맞히진 않아요.
가중치가 엉성하면 켜야 할 때 꺼지고
꺼야 할 때 켜지는 일이 생겨요.
틀린 거죠.
틀렸을 때 뉴런은 어떻게 나아질까요?

틀리면 가중치를 조금 고쳐요

앞에서 경사하강을 배웠죠.
틀린 정도를 보고
조금씩 방향을 잡아 내려가던 그 방법요.
뉴런도 똑같이 해요.
켜야 하는데 꺼졌다면
합이 더 커지도록 가중치를 조금 키워요.
꺼야 하는데 켜졌다면
합이 작아지도록 가중치를 조금 줄여요.
한 번에 확 바꾸지 않고
틀린 만큼 한 걸음씩만 움직여요.
이걸 여러 번 되풀이하면 점점 잘 맞혀요.

틀린 답을 보고 조정을 눌러봐요. 가중치가 정답 쪽으로 한 걸음씩 옮겨 점점 맞아요.

고칠수록 틀림이 줄어들었죠.
방향만 맞으면 한 걸음씩이라도
결국 정답에 가까워져요.
이게 뉴런이 배우는 과정이에요.
사람이 일일이 가중치를 정해 주는 게 아니라
틀림을 보고 스스로 가중치를 다듬어요.
수많은 예시로 이 조정을 되풀이하면
뉴런은 제법 똑똑한 판단을 하게 돼요.
이제 전체를 한 번 정리해봐요.

정리해볼까요

한 줄로 모으면 이래요.
뉴런은 입력마다 가중치를 곱해 더해요.
이건 회귀의 ax+b와 같은 꼴이고,
기울기 a가 곧 가중치예요.
더한 합이 임계를 넘으면 켜지고(1),
못 넘으면 꺼져요(0).
틀리면 경사하강처럼
가중치를 틀린 만큼 조금씩 고쳐요.
이걸 되풀이하면 점점 잘 맞혀요.
곱해 더하고, 임계로 켜고, 틀리면 조정. 그게 뉴런이에요.

핵심을 차례로 눌러 되짚어봐요. (입력x가중치 합 -> 가중치=기울기 -> 임계 넘으면 켜짐 -> 틀리면 조정)

이제 뇌의 한 칸을 흉내 낸
작은 계산기 하나를 알게 됐어요.
곱해 더하고, 켜고 끄고, 틀리면 고치는
이 단순한 칸이 학습의 출발점이에요.
이런 칸 하나로도 제법 판단을 하지만,
이 칸을 여럿 이어 붙이면
훨씬 복잡한 것도 배울 수 있어요.
다음엔 이 칸들이 어떻게 모여
더 큰 지능을 이루는지
함께 이어서 살펴봐요.