内积空间 是什么
长度、角度、直角熟悉得好像不需要定义。在向量空间里,这三样不是白给的。一个装置,内积 <u,v>,一次把三样都造出来。长度是向量与自身内积的平方根,角度是两个向量的内积除以长度,直角是内积为 0 的地方。点积只是这种内积的一个例子。换掉内积,比如给每根轴不同的权重,同样的向量上几何本身就弯了。函数也是向量。两个函数的内积是它们的乘积的积分,傅里叶变换和核从这里开始。画面上的箭头画出那种几何。内积一变,同样的箭头的长度和角度一起变。权重一变,圆就被压成椭圆。椭圆的长轴是重量较轻的方向。画面下方的四个数,是这种几何的读数。变亮的箭头,是那个世界的直角。
把绿色向量 u 水平固定,拖动蓝色向量 v,画面下方的四个数一起跟着走。内积 <u,v>、u 的长度、v 的长度,以及两者的夹角。把 v 朝着 u 的方向拉长,内积变大。把它立成直角,内积变成 0。把它转到反方向,内积变成负数。一个内积把长度和角度装在同一个盒子里。长度、角度、是不是直角,都从这个量里拆出来。绿色和蓝色就是那两个向量。四个数里,内积生出其余三个。
先看长度。一个向量与自身做内积,得到 <v,v>,这就是长度的平方。长度 ||v|| 是 <v,v> 的平方根。拖动 v,到箭头尖端的半径就是这个长度。虚线画的单位圆是长度恰好为 1 的向量的集合。把 v 放到单位圆上,<v,v> 就恰好是 1。不必单独定义长度。有了内积,长度就跟着来。向量与自身的内积是它长度的平方,这一句是范数的起点。
现在换掉内积本身。加权内积是 <u,v>w = w1·u1·v1 + w2·u2·v2,给两根轴不同的重量。移动滑块 w1、w2,长度为 1 的向量的集合,也就是单位球,不再是圆,而变成椭圆。半轴长度是 1/sqrt(w1) 和 1/sqrt(w2),所以哪根轴的重量加大,那个方向就变短。那个方向上的距离被标得更贵。向量没动,什么叫做长的标准变了,整个几何就弯了。像身高和体重那样,各轴单位不同的数据,用的其实是加权内积。
正交也由内积定义。两个向量正交,就是 <u,v>w = 0。把一根轴固定成更重的权重,只用滑块转动 v 的角度。加权内积穿过 0 的那一刻,v 变亮。那一刻,画面上的 u 和 v 看起来并不是 90 度。重量把空间弯了,那个世界的直角和眼睛的直角错开。直角不是眼睛看见的 90 度,而是内积为 0 这件事。用哪一种内积,决定什么叫做正交。
最后,函数也是向量。两个函数的内积,是在区间上把它们相乘再积分的值 <f,g> = ∫ f·g。把 f = sin(x) 固定,用滑块改变 g = sin(kx) 的整数频率 k。乘积 f·g 的面积被涂上阴影。k 为 1 时,正的面积留下来。k 成为不是 1 的整数时,正的部分和负的部分抵消,积分是 0,也就是正交。不同频率的正弦波在函数空间里彼此垂直。按频率拆开信号的傅里叶变换,就站在这个正交上。频率不同,乘积的面积就彼此抹掉。阴影分到基线上下,积分就抵消。虚线圆是长度的基准。傅里叶用的就是这种正交。