이차형식은 고유값이 정하는 그릇이다
직선은 일차였어요. 이번엔 한 칸 올라가서, 평면 위로 휘어 오르는 높이를 봐요. q(x) = xᵀAx인데, 대칭행렬 A = [a, b; b, c]를 풀어 쓰면 q = a·x² + 2b·xy + c·y²예요. 이 표면을 일정한 높이에서 자르면(레벨셋) 타원이나 쌍곡선이 나와요. 놀라운 건, 그 모양을 정하는 게 전부 A의 고유값과 고유벡터라는 거예요. 고유벡터는 그릇의 주축을 가리키고, 고유값은 각 축이 얼마나 가파르게 휘는지를 정해요. 두 고유값이 다 양수면 바닥이 하나인 그릇이고, 부호가 엇갈리면 안장이에요. 그리고 어떤 매끄러운 함수든 그 이계도함수(헤시안)가 바로 이차형식이라서, 이 한 가지가 이계도함수 판정·PCA·볼록최적화를 한 줄로 꿰어요.
슬라이더로 대칭행렬 A의 세 값 a, b, c를 정해 보세요. 화면은 높이 q = a·x² + 2b·xy + c·y²를 등고선으로 그려요. 두 고유값이 다 양수면 등고선이 닫힌 타원이 돼서, 한가운데로 내려가는 그릇이 보여요(파란빛). 둘 다 음수면 똑같은 타원이지만 가운데가 가장 높은 돔이에요(붉은빛). 한쪽은 양수, 한쪽은 음수면 등고선이 열린 쌍곡선이 되고, 한 방향으로는 오르막 다른 방향으로는 내리막인 안장이 돼요. b를 키우면 등고선이 비스듬히 기울죠. 같은 q²식이 a, b, c 세 숫자만 바꿔도 그릇·돔·안장 사이를 오가요.
이번엔 딱 한 등고선만 봐요. 높이 q = 1로 자른 레벨셋, 곧 xᵀAx = 1이에요. A를 양의정부호 근처로 두면 이 곡선은 깔끔한 타원이에요. 그런데 그 타원이 아무렇게나 누운 게 아니라, 두 축이 정확히 A의 고유벡터를 따라 놓여요. 그리고 각 반축의 길이는 1/√λ예요. 고유값이 크면 그 방향으로 가파르게 휘어서 타원이 짧고, 고유값이 작으면 완만해서 타원이 길어요. 슬라이더로 A를 바꾸면 고유벡터(주축)와 고유값이 같이 갱신돼요. 이 타원이 바로 PCA의 공분산 타원이고, SVD에서 본 그 타원과 한 핏줄이에요. 그쪽은 반축이 √λ, 이쪽은 1/√λ인 게 다를 뿐이에요.
이제 두 고유값을 직접 0을 넘나들게 밀어 봐요. 슬라이더 λ1과 λ2를 움직이면, 위젯이 곧바로 판정을 내려요. 둘 다 양수면 양의정부호, 어디서 봐도 위로 휜 그릇이라 가운데가 유일한 최소예요. 둘 다 음수면 음의정부호, 뒤집힌 돔이라 가운데가 최대예요. 부호가 엇갈리면 부정부호, 곧 안장이에요. 한쪽이 딱 0이면 준정부호, 한 방향으로는 휘고 다른 방향으로는 평평한 골(여물통)이에요. 양수는 초록, 음수는 붉은색으로 칠해지고, 작은 모양 글리프가 그릇·돔·안장·골 중 무엇인지 보여줘요. 부호 두 개가 모든 걸 결정한다는 게 핵심이에요.
왜 b·xy 교차항이 골치인지, 그리고 어떻게 사라지는지 봐요. 두 고유값 λ1, λ2는 그대로 두고 각도 θ만 돌리면 A = R Λ Rᵀ가 만들어져요. θ가 0이 아니면 교차항 b가 살아 있어서 타원이 비스듬히 누워요. 슬라이더로 θ를 돌려 타원을 회전시켜 보세요. 주축이 x, y축과 정확히 맞아떨어지는 순간 b가 0으로 떨어지고, 그 좌표에서 q = λ1·y1² + λ2·y2²로 깔끔하게 풀려요. 교차항이 없는 형식이죠. 이게 바로 대각화예요. A = Q Λ Qᵀ에서 Q로 좌표를 돌리면 섞임이 사라지고 두 축이 따로 노는 순수한 합이 돼요. 아래에 지금 좌표의 q 식이 떠요.
마지막으로, 이 모든 게 왜 최적화의 심장인지 봐요. 어떤 매끄러운 함수든 한 점 근처에서는 그 이계도함수를 모은 헤시안이라는 대칭행렬로 휘어요. 헤시안이 곧 이차형식이에요. 그래서 기울기가 0이 된 임계점에서, 헤시안이 양의정부호면 그 점은 국소 최소(그릇 바닥), 음의정부호면 국소 최대(돔 꼭대기), 부정부호면 안장점이에요. 이게 바로 이계도함수 판정이에요. 슬라이더로 헤시안을 바꾸면 등고선 지형과 판정이 같이 바뀌어요. 경사하강이 양의정부호 그릇으로는 잘 굴러들고 안장점에서는 헤매는 이유가 바로 이거예요. 한 점에서의 곡률이 양·음·엇갈림 중 무엇이냐가 답을 정해요.