중요한 데 집중하기, 어텐션

중요한 데 더 집중해요

긴 문장을 읽을 때를 떠올려봐요.
모든 단어를 똑같이 보나요?
그렇지 않아요.
지금 보는 단어를 이해하려고
그 옆의 중요한 단어들에 더 눈길을 줘요.
예를 들어 'sat'을 이해하려면
누가 앉았는지 'cat'을 봐야 하고
어디에 앉았는지 'mat'을 봐야 해요.
이렇게 중요한 데 더 집중하는 게 첫걸음이에요.

문장에서 한 단어를 눌러봐요. 그 단어에 관련이 큰 단어들이 진하게 떠올라, 지금 단어가 어디에 집중하는지 보여요.

단어를 누르니 다른 단어들의 진하기가 달라졌죠.
진하게 뜬 단어가
지금 단어에 더 중요한 단어예요.
흐린 단어는 별로 상관이 없어요.
사람도 글을 읽을 때 이렇게 해요.
다 똑같이 보면 머리가 너무 바빠지니까,
중요한 데만 골라서 더 봐요.
그런데 무엇이 중요한지는
혼자 정해지지 않아요.

문맥이 뜻을 정해요

같은 단어인데 뜻이 달라질 때가 있어요.
무엇이 그 뜻을 정할까요?
바로 주변 단어, 즉 문맥이에요.
'bank'라는 단어를 떠올려봐요.
옆에 'river'가 있으면 강가가 되고
옆에 'money'가 있으면 은행이 돼요.
단어 자체는 그대로인데
주변이 바뀌니 해석이 달라져요.
어텐션은 이 주변을 살펴 뜻을 정해요.

가운데 단어는 그대로 두고, 옆에 붙일 문맥 단어를 눌러 바꿔봐요. 같은 단어인데 해석이 강가에서 은행으로 휙 바뀌어요.

옆 단어 하나 바꿨을 뿐인데
해석이 통째로 달라졌죠.
단어는 혼자서 뜻을 다 갖지 않아요.
주변과 어울려야 뜻이 또렷해져요.
그래서 어텐션이 중요해요.
지금 단어가 누구에게 집중하느냐에 따라
같은 단어가 다른 뜻으로 읽혀요.
이 성질이 가장 잘 드러나는 게
뜻이 여럿인 단어, 다의어예요.

다의어, 문맥 따라 좌표가 이동

앞에서 단어가 의미의 좌표라고 했죠.
다의어는 좌표가 두 곳에 걸친 단어예요.
'Apple'을 떠올려봐요.
과일 동네에도 있고 회사 동네에도 있어요.
혼자 있으면 어느 쪽인지 알 수 없어요.
그런데 옆에 'eat'을 붙이면
좌표가 과일 쪽으로 끌려가고,
'stock'을 붙이면 회사 쪽으로 끌려가요.
문맥이 흐릿한 좌표를 한쪽으로 정해줘요.

'Apple' 옆에 'eat'이나 'stock'을 눌러 붙여봐요. 의미 좌표가 과일 동네와 회사 동네 사이를 옮겨다녀요.

좌표가 문맥 따라 움직이는 걸 봤죠.
같은 'Apple'인데
옆 단어 하나로 자리가 확 바뀌었어요.
이게 어텐션이 하는 일의 핵심이에요.
흐릿한 단어의 좌표를
주변 단어에 집중해 한쪽으로 당겨줘요.
그럼 집중을 어떻게 나눠 줄까요?
옆 단어 모두에 똑같이?
아니에요. 관련이 큰 쪽에 더 줘요.

관련도를 가중치로 나눠요

집중을 똑같이 나누지 않는다고 했죠.
관련이 큰 단어에 더 큰 몫을 줘요.
이 몫을 가중치라고 불러요.
중요한 건 이 가중치들을 다 더하면
딱 1이 되도록 나눈다는 거예요.
한쪽을 많이 가져가면
다른 쪽은 그만큼 적게 가져가요.
전체 집중력은 한정돼 있으니까
어디에 더 쓸지 골라 나누는 셈이에요.

각 단어의 막대를 눌러 집중을 더 줘봐요. 한 단어가 많이 가져가면 나머지가 줄어들어, 가중치 합이 늘 1로 유지돼요.

한 단어에 집중을 몰아주니
다른 단어들이 그만큼 양보했죠.
합은 늘 1로 유지됐어요.
이렇게 나눈 가중치가
어느 단어를 얼마나 볼지 정해줘요.
큰 가중치를 받은 단어가
지금 단어의 뜻을 더 크게 끌어당겨요.
그래서 'Apple'의 좌표가
가중치 큰 이웃 쪽으로 옮겨가는 거예요.

정리해볼까요

한 줄로 모으면 이래요.
문장을 볼 때 모든 단어를 똑같이 안 봐요.
지금 단어에 중요한 단어에 더 집중해요.
그 집중을 가중치로 나누는데
다 더하면 합이 1이 되게 나눠요.
주변, 곧 문맥이 뜻을 정해 줘요.
그래서 'Apple'이 과일도 회사도 될 수 있어요.
다의어의 좌표가 문맥 따라 옮겨가요.
이렇게 중요한 데 집중하는 게 어텐션이에요.

핵심을 차례로 눌러 되짚어봐요. (중요한 데 집중 -> 문맥이 뜻을 정함 -> 다의어 좌표 이동 -> 가중치 합은 1)

이제 어텐션이 무엇인지 알게 됐어요.
단어를 다 똑같이 보지 않고
중요한 데 골라 집중하는 단순한 생각이
다의어의 뜻을 문맥으로 정하게 해줘요.
같은 단어가 옆 단어 따라
다른 뜻으로 살아나는 게 신기하죠.
중요한 데 집중한다는 이 생각이
오늘날 언어를 다루는 똑똑한 기계들의
속을 든든하게 받치고 있어요.