어떻게 새로운 걸 만들어내요, 생성 AI

외우는 게 아니라 새로 만들어요

LLM은 다음 단어를 확률로 골라 한 단어씩 이어 붙였다. 여기서 짚어 둘 점이 있다. AI는 읽은 문장을 통째로 저장해 두었다가 꺼내는 것이 아니다. 수많은 예시에서 무엇이 무엇과 어떻게 어울리는지 패턴을 익히고, 그 패턴으로 그 자리에서 새 조합을 만들어 내요.
다만 학습 자료에 아주 자주 나온 글이나 그림은 거의 그대로 다시 만들어 내는 경우도 있다. 그래서 생성 AI의 결과가 남의 작품과 너무 닮지 않았는지 살펴야 할 때가 있다.

새로 만들기 버튼을 눌러 배운 조각을 새로 짜 맞춰 보자. 같은 조각으로도 누를 때마다 다른 조합이 나와요.

같은 조각인데 누를 때마다 다른 결과가 나왔다. 외운 답 하나를 꺼내는 것이라면 매번 똑같았을 것이다. 위젯은 조각을 짜 맞추는 모습으로 단순하게 보여 주지만, 실제 생성 AI는 조각을 오려 붙이지 않고 배운 패턴에 맞춰 결과를 처음부터 만들어요.
이렇게 새로 만들어 내는 일을 생성이라고 한다. 그렇다면 만들 수 있는 것이 글뿐일까?

글만이 아니에요, 이미지도 음악도

글을 만드는 AI를 LLM이라고 했다. 생성 AI는 그보다 넓은 말이다. 그림을 잔뜩 배운 AI는 새 그림을 만들고, 노래를 배운 AI는 새 멜로디를 짓고, 영상을 배운 AI는 짧은 영상을 만들어요.
무엇을 배웠느냐에 따라 만들어 내는 것도 달라진다. LLM은 그중 글을 맡은 한 갈래다.

글, 이미지, 음악, 영상 버튼을 눌러 바꿔 보자. 생성 AI는 배운 것에 따라 무엇이든 만들 수 있고, 글(LLM)은 그중 하나예요.

무엇을 골라도 바탕의 생각은 같았다. 수많은 예시에서 패턴을 익히고, 그 패턴으로 새 조합을 짓는다는 점이다. 그런데 그림은 어떻게 만들까?
그림은 글처럼 한 단어씩 잇지 않아요. 지금 널리 쓰이는 그림 생성 AI는 꽤 다른 방법을 쓴다.

자글자글한 노이즈에서 그림으로

그림을 만드는 AI는 흰 종이가 아니라 자글자글한 노이즈에서 시작한다. 텔레비전 신호가 끊겼을 때 화면을 가득 채우는 점들 같은 것이다. 거기서 점을 조금씩 다듬어 가면 흐릿한 점들이 한 단계씩 정리되면서 모양이 떠오르기 시작해요.
다듬기를 되풀이할수록 그림이 또렷해진다. 이런 방식으로 그림을 만드는 모델을 확산 모델이라고 부른다.

다듬기 버튼을 누를 때마다 노이즈 격자가 한 단계씩 정리되고, 흐릿한 점들이 차츰 하트 모양으로 떠올라요. 단계가 정해져 있어서 누가 눌러도 같은 결과가 나온다.

노이즈가 한 번에 그림으로 바뀐 것이 아니라 조금씩 다듬어지며 또렷해졌다. AI는 이 다듬는 감각을 어떻게 배웠을까? 학습할 때는 거꾸로 한다. 진짜 그림에 노이즈를 조금씩 섞어 망가뜨리고, 노이즈를 한 단계 걷어 내 원래 그림에 가까워지는 법을 수많은 예시로 익혀요.
그렇게 배운 감각으로 순수한 노이즈를 다듬으면 세상에 없던 새 그림이 나온다. 그런데 무엇을 그릴지는 누가 정할까?

사람이 지시를 줘요, 프롬프트

AI 혼자 아무것이나 만들지는 않는다. 사람이 무엇을 만들지 말로 알려 주는데, 이 지시를 프롬프트라고 한다. 프롬프트의 글은 앞에서 배운 임베딩처럼 좌표로 바뀌어, 다듬기가 어느 쪽으로 향할지 이끌어요.
고양이라고 적으면 고양이 쪽으로, 우주라고 적으면 우주 쪽으로 다듬기의 방향이 달라진다. 같은 노이즈에서 시작해도 프롬프트가 바뀌면 결과가 달라진다.

프롬프트를 눌러 바꿔 보자. 같은 노이즈에서 시작해도 적어 준 지시에 따라 다듬어 가는 그림이 달라져요.

프롬프트를 바꾸니 결과의 방향이 확 달라졌다. 생성 AI는 만드는 솜씨를 갖췄고, 사람은 무엇을 만들지 정한다. 원하는 것을 또렷하고 구체적으로 적을수록 결과가 원하는 쪽에 가까워져요.
그래서 무엇을 어떻게 적느냐가 생성 AI를 쓰는 솜씨가 된다. 같은 프롬프트라도 출발하는 노이즈가 달라지면 결과가 조금씩 달라진다는 점도 알아 두면 좋다.

정리

정리하면 이렇다. 생성 AI는 배운 패턴으로 새것을 만든다. 저장해 둔 것을 복사하는 것이 아니다. 만드는 것은 글만이 아니어서 이미지, 음악, 영상도 만들 수 있고, 그래서 LLM보다 넓은 말이에요.
그림은 노이즈에서 시작해 조금씩 다듬어 만든다. 그리고 사람이 프롬프트로 방향을 준다.

핵심을 차례로 눌러 되짚어 보자. (배운 패턴으로 새로 만듦 → 글만이 아니라 이미지나 음악도 → 노이즈에서 다듬어 그림으로 → 프롬프트로 방향을 줌)

이제 생성 AI가 무엇인지 알았다. 배운 패턴으로 글, 그림, 음악을 새로 만들어 내는 도구이고, 그림은 노이즈를 다듬어 짓고 방향은 사람의 프롬프트로 잡아요.
그런데 이렇게 잘 만들다 보면 진짜와 구별하기 어려운 가짜 사진이나 목소리도 만들어질 수 있다. AI를 공정하고 책임 있게 쓰려면 무엇을 따져야 하는지 다음 레슨에서 살펴본다.