뉴런을 겹겹이, 신경망

뉴런을 겹겹이 이어요

앞에서 뉴런 하나를 배웠어요.
입력을 가중치로 모아 더한 다음,
그 합이 기준을 넘으면 신호를 내죠.
간단하지만 판단도 그만큼 단순해요.
선 하나로 가르는 정도만 할 수 있어요.
그런데 뉴런 하나의 출력을
다른 뉴런의 입력으로 이으면 어떨까요?
뉴런들이 서로 신호를 주고받으며
점점 더 큰 그림을 만들 수 있어요.

뉴런을 눌러 하나씩 켜고 이어봐요. 켜진 뉴런끼리 신호선이 생겨, 단순한 뉴런이 모여 망을 이뤄요.

뉴런 하나하나는 여전히 단순해요.
바뀐 건 이어졌다는 점이에요.
한 뉴런의 출력이
다음 뉴런의 입력이 되니까
혼자서는 못 보던 걸
여럿이 함께 보기 시작해요.
그런데 그냥 마구 잇기보다
줄을 맞춰 이으면 훨씬 깔끔해요.
그 줄을 층이라고 불러요.

입력층, 은닉층, 출력층

뉴런을 줄 맞춰 세우면 층이 돼요.
맨 앞 줄은 바깥에서 들어온 값을 받아요.
이걸 입력층이라고 해요.
맨 뒤 줄은 최종 답을 내놓아요.
이걸 출력층이라고 해요.
그 사이에 있는 줄들이
실제로 일을 많이 하는 은닉층이에요.
신호는 입력층에서 출발해
층을 차례로 지나 출력층까지 흘러가요.

버튼을 눌러 신호를 한 층씩 앞으로 흘려봐요. 입력층에서 은닉층을 거쳐 출력층까지 차례로 켜져요.

신호가 앞으로만 흘렀죠.
각 층은 앞 층의 출력을 받아
자기 나름대로 다시 계산해 넘겨요.
앞쪽 층은 작은 조각을 살피고,
뒤쪽 층은 그 조각들을 모아
더 큰 모양을 알아봐요.
층이 깊어질수록
점점 추상적인 특징을 잡는 거예요.
그런데 여기 숨은 함정이 하나 있어요.

사이에 휘는 단계가 있어야 해요

층을 쌓기만 하면 다 될 것 같죠?
그런데 함정이 있어요.
각 층이 그냥 더하고 곱하기만 하면,
그건 곧은 직선 변환이에요.
곧은 변환을 아무리 이어 붙여도
결과는 또 하나의 곧은 직선이에요.
층을 백 개 쌓아도 한 층과 똑같아져요.
그래서 층과 층 사이에
신호를 살짝 휘게 하는 단계가 꼭 필요해요.

휘는 단계를 끄고 켜며 비교해봐요. 끄면 층을 쌓아도 직선 하나로 합쳐지고, 켜면 휜 선들이 살아남아 모양이 풍부해져요.

차이가 확 보였죠.
휘는 단계를 끄면
층을 아무리 쌓아도 결국 직선 하나예요.
할 수 있는 건 한 층짜리와 똑같아요.
휘는 단계를 켜면
층마다 신호가 조금씩 휘어서
곧은 선으로는 못 그리던 모양이 나와요.
바로 이 휘는 단계 덕분에
층을 쌓은 보람이 생기는 거예요.

층을 더할수록 더 복잡한 패턴

휘는 단계를 갖춘 층을 늘려볼까요?
층이 하나면 곧은 선 하나로
세상을 둘로 가르는 정도예요.
층을 더하면 휜 선들이 모여
꺾이고 굽은 경계를 그릴 수 있어요.
층을 더 쌓으면
동그라미나 구불구불한 경계까지
점점 더 복잡한 패턴을 배워요.
이게 신경망이 강력한 이유예요.

층을 늘리는 버튼을 눌러봐요. 층이 적으면 곧은 선, 늘릴수록 점선의 경계가 더 굽이쳐 복잡한 패턴을 감싸요.

층을 더할 때마다 경계가 더 자유로워졌죠.
곧은 선에서 시작해
꺾인 선으로, 그리고 굽은 곡선으로요.
단순한 뉴런들이 층을 이루고,
사이사이 휘는 단계가 들어가니
혼자서는 꿈도 못 꿀 패턴을
함께 배워내는 거예요.
이게 바로 신경망의 솜씨예요.
이제 전체를 한 번 정리해봐요.

정리해볼까요

한 줄로 모으면 이래요.
단순한 뉴런을 층층이 쌓아 이어요.
신호는 입력층에서 출력층으로 흘러요.
각 층은 앞 층의 출력을 받아
더 큰 특징을 잡아내요.
층과 층 사이에는 휘는 단계가 꼭 있어야 해요.
안 그러면 다 직선 하나로 합쳐지니까요.
그렇게 층을 쌓고 사이를 휘게 하면
복잡한 패턴도 배우는 게 신경망이에요.

핵심을 차례로 눌러 되짚어봐요. (뉴런을 층층이 쌓기 -> 신호는 앞으로 흐름 -> 사이에 휘는 단계가 필요 -> 층을 더할수록 복잡한 패턴)

이제 단순한 뉴런이 어떻게 모여
복잡한 패턴을 배우는지 알게 됐어요.
혼자서는 선 하나밖에 못 긋던 뉴런이
층을 이루고 사이를 휘게 하니
곡선 같은 어려운 경계까지 배웠죠.
쌓고 휘게 하는 이 단순한 아이디어가
오늘날 똑똑한 기계들의 바탕이에요.
다음엔 이 신경망이 어떻게
스스로 더 나아지는지 이어서 살펴봐요.