# Math in anywhere | Vector

# Vector

向量指一个同时具有大小和方向，且满足平行四边形法则的几何对象。我们用数据结构的视角来看，向量可以用数组或者链表来表达。常记为 $\vec{a}$ 或者 $\bold{a}$ ，或者 $\vec{AB} = B - A$

$x= \left[ \begin{matrix} a_{0} \\ a_{1} \\ \vdots \\ a_{n} \end{matrix}\right]$

这里 $a_0,a_1,\cdots,a_n$ 表示向量中的每个元素，其中有 n 个数就代表向量的维。一个向量的长度我们记为 (1 范数)：

$||\vec{a}||$

而关于 维 这个概念，我可以把他理解为某个尺度 / 属性上的值。

一般来说特征有很多维，因此我们可以使用向量来表示某个物体的特征。其中，向量的每个元素就代表一维特征，而元素的值代表了相应特征的值，我们称这类向量为特征向量（Feature Vector）

矩阵的几何意义是坐标的变换。如果一个矩阵存在特征向量和特征值，那么这个矩阵的特征向量就表示了它在空间中最主要的运动方向。注意区分这两个概念

# Basic Operation

# Normalized

标准化操作能够让我们获得一个特定方向的单位向量，而这个单位向量我们就用来代表这个特定方向，我们通常记为：

$\hat{a} = \frac{\vec{a}}{||\vec{a}||}$

# Addition

代数加法：首先需要满足维度相同，然后对应元素相加

$\vec{a} + \vec{b} = \left[ \begin{matrix} a_{0} \\ a_{1} \\ \vdots \\ a_{n} \end{matrix}\right] + \left[ \begin{matrix} b_{0} \\ b_{1} \\ \vdots \\ b_{n} \end{matrix}\right] = \left[ \begin{matrix} {a_{0}+b_{0}} \\ {a_{1}+b_{1}} \\ \vdots \\ {a_{n}+b_{n}} \end{matrix}\right]$

几何相加：

平行四边形法则：两个向量从起点相同，构成的平行四边形的对角线（夹在两个向量之间）
三角形法则：一个向量的起点为一个向量的终点，构成三角形的第三条边。

# Multiply

向量的乘法有两种类型：

点乘（标量积）也就是结果是一个数（标量）
叉乘（向量积）也就是结果是一个向量（向量）

点乘：

$\vec{a} \cdot \vec{b} = ||\vec{a}|| \space ||\vec{b}|| \cos \theta \\ if(unit\space vector) \{\cos \theta = \hat{a} \cdot \hat{b}\}$

$\cos \theta = \frac{\vec{a} \cdot \vec{b}}{||\vec{a}|| ||\vec{b}||}$

作为标量积满足基本的运算：
${\vec{a}\cdot\vec{b}=\vec{b}\cdot\vec{a} }$

${\vec{a}\cdot(\vec{b}+\vec{c})=\vec{a}\cdot\vec{c}+\vec{b}\cdot\vec{a} }$

$(k\vec{a}) \cdot \vec{b} = \vec{a} \cdot k\vec{b} = k(\vec{a} \cdot \vec{b})$

几何计算：

$\vec{a} \cdot \vec{b} = \left[ \begin{matrix} a_{0} \\ a_{1} \\ \vdots \\ a_{n} \end{matrix}\right] \cdot \left[ \begin{matrix} b_{0} \\ b_{1} \\ \vdots \\ b_{n} \end{matrix}\right] = {a_{0}b_{0}} + {a_{1}b_{1}} + \cdots + {a_{n}b_{n}}$

投影计算：

$\vec{b}_{\bot} = k \hat{a} \\ k = ||\vec{b}_{\bot}|| = ||\vec{b}|| \cos \theta$

叉乘：

对于线性无关的两个向量 $\mathbf {a}$ 和 $\mathbf {b}$ ，它们的外积写作 $\mathbf {a} \times \mathbf {b}$ ，是 $\mathbf {a}$ 和 $\mathbf {b}$ 所在平面的法线向量，与 $\mathbf {a}$ 和 $\mathbf {b}$ 都垂直，外积作为一个向量，其方向取决于右手定则

右手定则：
四指指向第一个向量的方向，四指往第二个向量方向握拳，此时大拇指的指向就是。这也意味着叉乘不支持乘法的交换律，因为和初始向量的位置有关。

如上图演示了用法：

$\vec{A} \times \vec{B} = \vec{C}$

外积的定义为：

$\mathbf {a} \times \mathbf {b} =\|\mathbf {a} \|\|\mathbf {b} \|\sin(\theta )\ \mathbf {n}$

其中 $\theta$ 表示 $\mathbf {a}$ 和 $\mathbf {b}$ 在它们所定义的平面上的夹角 $0^{\circ }\leq \theta \leq 180^{\circ }$ 。 $\|\mathbf {a} \|$ 和 $\|\mathbf {b} \|$ 是向量 $\mathbf {a}$ 和 $\mathbf {b}$ 的模长，而 $\mathbf{n}$ 则是一个与 $\mathbf {a} 、\mathbf {b}$ 所构成的平面垂直的单位向量，方向由右手定则决定。根据上述公式，当 $\mathbf {a}$ 与 $\mathbf {b}$ 平行（即 { $\theta$ 为 0° 或 180°）时，它们的外积为零向量 $\mathbf{0}$ 。

几何计算：

$\mathbf {u\times v} ={\begin{vmatrix}\mathbf {i} &\mathbf {j} &\mathbf {k} \\u_{1}&u_{2}&u_{3}\\v_{1}&v_{2}&v_{3}\\\end{vmatrix}}$

然后需要计算哪一个维度，就将该维度所在的行，所在的列去掉，剩下部分构成的行列式的结果即为系数。

${\begin{aligned}\mathbf {u\times v} &={\begin{vmatrix}u_{2}&u_{3}\\v_{2}&v_{3}\end{vmatrix}}\mathbf {i} -{\begin{vmatrix}u_{1}&u_{3}\\v_{1}&v_{3}\end{vmatrix}}\mathbf {j} +{\begin{vmatrix}u_{1}&u_{2}\\v_{1}&v_{2}\end{vmatrix}}\mathbf {k} \\&=(u_{2}v_{3}-u_{3}v_{2})\mathbf {i} -(u_{1}v_{3}-u_{3}v_{1})\mathbf {j} +(u_{1}v_{2}-u_{2}v_{1})\mathbf {k} \\ \end{aligned}}$

几何意义：

如果以向量 $\mathbf {a}$ 和 $\mathbf {b}$ 为边构成一个平行四边形，那么这两个向量外积的模长与这个平行四边形的正面积相等：

$\left\|\mathbf {a} \times \mathbf {b} \right\|=\left\|\mathbf {a} \right\|\left\|\mathbf {b} \right\|\sin \theta .$

# Vector Space

对一般域 F，V 记为 F - 向量空间。若 F 是实数域ℝ，则 V 称为实数向量空间；

若 F 是复数域ℂ，则 V 称为复数向量空间；

若 F 是有限域，则 V 称为有限域向量空间

公理	说明
向量加法的结合律	u + (v + w) = (u + v) + w
向量加法的交换律	u + v = v + u
向量加法的单位元	存在一个叫做零向量的元素 0 ∈ V，使得对任意 u ∈ V 都满足 u + 0 = u
向量加法的逆元素	对任意 v ∈ V 都存在其逆元素−v ∈ V 使得 v + (−v) = 0
标量乘法与标量的域乘法相容	a(bv) = (ab)v
标量乘法的单位元	域 F 存在乘法单位元 1 满足 1v = v
标量乘法对向量加法的分配律	a(u + v) = au + av
标量乘法对域加法的分配律	(a + b)v = av + bv

如果 $V$ 满足上述的公理，我们就称 $V$ 是 $F$ 上的向量空间。

# Vector Distance

Manhattan Distance

曼哈顿距离，这个距离度量的名字来自美国曼哈顿地区，从一个十字路口开车到另外一个十字路口，驾驶距离是多少呢？当然不是两点之间的直线距离，因为你无法穿越挡在其中的高楼大厦。你只能驾车绕过这些建筑物，实际的驾驶距离就叫作曼哈顿距离。

我们在二维空间中：假设两个点 $x(x_1,x_2)$ 与 $y(y_1,y_2)$

$MD(x,y) = |x_1 - y_1| + |x_2 - y_2|$

推广到 n 维空间，曼哈顿距离：

$MD(x,y) = \sum_{i=1}^n |x_i - y_i|$

从图里也能发现曼哈顿距离的特点：曼哈顿距离和路径无关，但是有多条路线。

Euclidean Distance

欧氏距离，其实就是欧几里得距离。欧氏距离是一个常用的距离定义，指在 n 维空间中两
个点之间的真实距离。

我们在二维空间中：假设两个点 $d(p_1,p_1)$ 与 $q(q_1,q_2)$

$ED(x,y) = \sqrt{(q_1 - p_1)^2 + (q_2 - p_2)^2}$

推广到 n 维空间，欧式距离：

$ED(x,y) = \sqrt{\sum_{i=1}^n(p_i - q_i)^2}$

从图里也能发现欧式距离的特点：也就是直线距离，只有一种路线。

Chebyshev Distance

切比雪夫其实是在模拟国际象棋里国王的走法。国王可以走临近 8 个格子里的任何一个，那么国王从格子 $(x_1,x_2)$ 走到格子 $(y_1,y_2)$ 最少需要多少步呢？其实就是二维空间里的切比雪夫距离。一开始，为了走尽量少的步数，国王走的一定是斜线，所以横轴和纵轴方向都会减 1，直到国王的位置和目标位置在某个轴上没有差距，这个时候就改为沿另一个轴每次减 1。

我们在二维空间中：假设两个点 $x(x_1,x_2)$ 与 $y(y_1,y_2)$

$CD(x,y) = max(|x_1 - y_1|,| x_2 - y_2|)$

推广到 n 维空间，切比雪夫距离：

$CD(x,y) = \arg_{i =1}^n max|x_i - y_i|$

arg max ：就是使后面这个式子达到最大值时的变量的取值

上述三种距离，都可以用一种通用的形式表示，那就是闵可夫斯基距离，也叫闵氏距离。

在二维空间中，两个点 $x(x_1,x_2)$ 与 $y(y_1,y_2)$ 间的闵氏距离：

$MKD(x,y) = \sqrt[p]{|x_1 - y_1|^p + |x_2 - y_2|^p}$

推广到 n 维空间，闵氏距离：

$MKD(x,y) = \sqrt[p]{\sum_{i=1}^n|x_i - y_i|^p }$

其中 $p$ 是一个变参数，不同的 p 取值就能转化不同的距离：

$p = 1$ ，曼哈顿距离
$p = 2$ ，欧氏距离
$p = \infty$ ，切比雪夫距离

当 $p$ 趋近于无穷大的时候，就是切比雪夫距离。这是因为 $p$ 当趋近于无穷大的时候，最大的 $|x_i -y_i|$ ，会占到全部权重。

# Vector length

向量的长度，也叫向量的模，是向量所对应的点到空间原点的距离。通常我们使用欧氏距离来表示向量的长度。范数常常被用来衡量某个向量空间中向量的大小或者长度

$L_1$ 范数 $||x||$ ，它是 $x$ 向量各个元素绝对值之和，对应于向量和原点之间的曼哈顿距离
$L_2$ 范数 $||x||_2$ ，它是 $x$ 向量各个元素平方和的 $\frac{1}{2}$ 次方，对应于向量和原点之间的欧式距离
$L_p$ 范数 $||x||_p$ ，它是 $x$ 向量各个元素绝对值 $p$ 次方和的 $\frac{1}{p}$ 次方，对应于向量和原点之间的闵式距离
$L_{\infty}$ 范数 $||x||_{\infty}$ ，它是 $x$ 向量各个元素绝对值最大那个元素的绝对值，对应于向量和原点之间的切比雪夫距离

# Vector angle

向量夹角的余弦，它计算了空间中两个向量所形成夹角的余弦值：

$Cosine(X,Y)= \frac{\sum_{i=1}^n(x_i \times y_i)}{\sqrt{\sum_{i=1}^nx_i^2 \times \sum_{i=1}^n y_i^2}}$

分子是两个向量的点乘，而分母是两者长度（或 L2 范数）的乘积，而 L2 范数可以使用向量点乘自身的转置来实现。夹角余弦的取值范围在 [-1,1]，

当两个向量的方向重合时夹角余弦取最大值 1，
当两个向量的方向完全相反夹角余弦取最小值 -1
值越大，说明夹角越小，两点相距就越近
值越小，说明夹角越大，两点相距就越远

# Application

在 CG 领域，向量点乘的应用：

测量两个向量的夹角（两个方向的距离）
向量分解
确定向量的朝向（向前 / 向后）

在 CG 领域，向量叉乘的应用：

确定向量的位置（左还是右）
确定向量的位置（里还是外

# Matrix

# Basic Transform

是指矩阵内的元素行索引和纵索引互换，例如 $x_{ij}$ 变为 $x_{ji}$ ，相应的，矩阵的形状由转置前的 n × m 变为转置后的 m × n。从几何的角度来说，矩阵的转置就是原矩阵以对角线为轴进行翻转后的结果。下面这张图展示了矩阵转置之后的矩阵

在线性代数中，n 阶单位矩阵，是一个 $n\times n$ 的方形矩阵，其主对角线元素为 1，其余元素为 0。单位矩阵以 $I_n$ 表示：

$I_{1}={\begin{bmatrix}1\end{bmatrix}},\ I_{2}={\begin{bmatrix}1&0\\0&1\end{bmatrix}},\ I_{3}={\begin{bmatrix}1&0&0\\0&1&0\\0&0&1\end{bmatrix}},\ \cdots ,\ I_{n}={\begin{bmatrix}1&0&\cdots &0\\0&1&\cdots &0\\\vdots &\vdots &\ddots &\vdots \\0&0&\cdots &1\end{bmatrix}}$

逆矩阵：就是和原矩阵相乘结果是单位矩阵

$X^{-1}X = I_n$

逆矩阵的一些基本性质：

$\left (A^{-1} \right )^{-1}=A \\ (\lambda A)^{-1}=\frac{1}{\lambda}\times A^{-1} \\ (AB)^{-1}=B^{-1}A^{-1} \\ {\displaystyle \left(A^{\mathrm {T} }\right)^{-1}=\left(A^{-1}\right)^{\mathrm {T} }}（A^{\mathrm{T}}为A的转置） \\ \det(A^{-1})=\frac{1}{\det(A)}（det为行列式）$