不少知识都是毕业了才知道为什么要学，继而有了学习的动力。想标题的时候发现连这门学科叫什么都反应不过来了……先后想起「离散数学」「高等数学」等等不忍回首的课程，最后终于憋出来正确的「线性代数」四个字。以下便是今回复习这个看了又忘忘了又看了不知道多少遍的东西的笔记。
前情提要，简称前提
左右手坐标系：手指沿 X 轴方向伸展，卷向 Y 轴正方向，大拇指的方向是 Z 轴正方向。
向量 Vector
向量是表示大小和长度的几何对象，有一个起点和一个终点。向量有一种重要的分类方法，下面会反复提到：
- 固定向量：起点和终点固定（例如表示空间中的位置）
- 自由向量：只关注大小和方向，与起点无关（例如表示作用力）
至于向量相加、相减、与标量相乘、取长度、标准化，这些都是很显而易见的操作，此处省略一万字。
点乘
向量 $\vec{a}=[a_1,a_2,\cdots,a_n]$ 和 $\vec{b}=[b_1,b_2,\cdots,b_n]$ 点乘的定义如下：
$$
\vec{a} \cdot \vec{b} = \sum_{i=1}^n a_ib_i = a_1b_1 + a_2b_2 + \cdots + a_nb_n
$$
如果 θ 是它们的夹角，那么：
$$
\vec{a} \cdot \vec{b} = \left\|\vec{a}\right\| \left\|\vec{b}\right\| \cos\theta
$$
当两个向量的长度均为 1（单位向量）时，点乘结果即 $\cos\theta$，则可以由此判断两者的位置关系（垂直、平行、……）。
叉乘
叉乘的结果是一个同时垂直于两个向量的向量，至于朝向那一边，敬请参照左手定则。
$$
\vec{w} = \vec{u} \times \vec{v} = (u_y v_z - u_z v_y, u_z v_x - u_x v_z, u_x v_y - u_y v_x)
$$
如何改变向量的参考系
对于向量 $\vec{p}$，如何将其从参考系 A 中的 $\vec{p}_A = (x,y)$ 变换到参考系 B 中的 $\vec{p}_B = (x',y')$ 呢？
自由向量
对于自由向量，我们关心的是其长度和方向，参考系改变后只要这两者没有改变就是成功。
那么我们只需要把原向量的起点拉回原点，然后把两个参考系的原点重合，用单位向量 $\vec{u}$ 和 $\vec{v}$ 在参考系 B 中表示参考系 A 的 X 轴 Y 轴正方向，那么：
$$
\vec{p}_B = (x',y') = x\vec{u} + y\vec{v}
$$
推广到 3D 环境，若 $\vec{p}_A = (x,y,z)$ 那么 $\vec{p}_B = (x',y',z') = x\vec{u} + y\vec{v} + z\vec{w}$ 其中 $\vec{u}$、$\vec{v}$、$\vec{w}$ 是 B 的坐标轴在 A 中的向量表示。
实际上 $\vec{u}$、$\vec{v}$、$\vec{w}$ 并不一定要是单位向量。如果不是单位向量，则说明这两个参考系的缩放不同。（比如同样的坐标系 A 和 B，只是一个单位是米，一个单位是厘米。）
固定向量
对于固定向量，除了长度和方向，参考系变换后向量的位置也不能发生改变。那么我们用 $\vec{O}=(x,y)$ 表示 A 的原点在 B 中的位置，则
$$
\vec{p}_B = (x',y') = \vec{O} + x\vec{u} + y\vec{v}
$$
于是推广到 3D 环境：
$$
\vec{p}_B =(x',y',z') = \vec{O} + x\vec{u} + y\vec{v} + z\vec{w}
$$
矩阵 Matrix
一个 m × n 的矩阵是一个有 m 行 n 列的矩阵，其中的元素用 ${M_i}_j$ 表示。
矩阵相乘
假设 A 是一个 m × n 的矩阵，B 是一个 n × p 的矩阵，那么它们相乘的结果是一个 m × p 的矩阵 C，其中 $C_{ij} = \vec{u}_{rowi} \vec{v}_{colj}$。
$$
\begin{aligned}
AB &= \begin{bmatrix}
-1 & 5 & -4 \\
3 & 2 & 1
\end{bmatrix} \begin{bmatrix}
2 & 1 & 0 \\
0 & -2 & 1 \\
-1 & 2 & 3
\end{bmatrix}\\
&= \begin{bmatrix}
(-1,5,-4)(2,0,-1) & (-1,5,-4)(1,-2,2) & (-1,5,-4)(0,1,3) \\
( 3,2, 1)(2,0,-1) & ( 3,2, 1)(1,-2,2) & ( 3,2, 1)(0,1,3)
\end{bmatrix} \\
&= \begin{bmatrix}
2 & -19 & -7 \\
5 & 1 & 5
\end{bmatrix}
\end{aligned}
$$
向量与矩阵相乘
向量与矩阵相乘完全可以按照矩阵与矩阵相乘的常规方法相乘，不过下面的是一种方便后续叙述的方法：
$$
\vec{u} B = [x,y,z] \begin{bmatrix}
{v_1}_1 & {v_1}_2 & {v_1}_3 \\
{v_2}_1 & {v_2}_2 & {v_2}_3 \\
{v_3}_1 & {v_3}_2 & {v_3}_3
\end{bmatrix} = x \cdot \vec{v}_{row1} + y \cdot \vec{v}_{row1} + z \vec{v}_{row2}
$$
于是很眼熟的两个推导：
$$
\vec{p} C = [x,y,z,1] \begin{bmatrix}
u_x & u_y & u_z & 0 \\
v_x & v_y & v_z & 0 \\
w_x & w_y & w_z & 0 \\
O_x & O_y & O_z & 1
\end{bmatrix} = x\vec{u} + y\vec{v} + z\vec{w} + 1\vec{O} = [x',y',z',1]
$$
$$
\vec{p} C = [x,y,z,0] \begin{bmatrix}
u_x & u_y & u_z & 0 \\
v_x & v_y & v_z & 0 \\
w_x & w_y & w_z & 0 \\
O_x & O_y & O_z & 1
\end{bmatrix} = x\vec{u} + y\vec{v} + z\vec{w} = [x',y',z',0]
$$
如果将 3D 向量 $\vec{r}=(x,y,z)$ 增扩到 4D 齐次坐标（提出者是那个莫比乌斯）$\vec{r}=(x,y,z,w)$（w = 1 表示固定向量；w = 0 表示自由向量），那么：
$$
\begin{aligned}
\vec{p}_A C &= [x,y,z,w] \begin{bmatrix}
u_x & u_y & u_z & 0 \\
v_x & v_y & v_z & 0 \\
w_x & w_y & w_z & 0 \\
O_x & O_y & O_z & 1
\end{bmatrix}\\
&= x\vec{u} + y\vec{v} + z\vec{w} + w\vec{O} \\
&= [x',y',z',w] \\
&= \vec{p}_B
\end{aligned}
$$
其中 $\vec{O}$、$\vec{u}$、$\vec{v}$、$\vec{w}$ 分别表示 B 中 A 的原点、X轴、Y轴、Z轴的齐次表示（原点表位置，补 1；坐标表方向，补 0）。于是 $\vec{p}_B=\vec{p}_AC$ 就可以进行坐标系转换了。
矩阵相乘与结合性
矩阵相乘的顺序是不能改变的，但可以改变括号。
如果有三个坐标系 F G H，矩阵 A 表示从 F 到 G 的变换，矩阵 B 表示从 G 到 H 的变换。那么矩阵 C=AB 就表示从 F 到 H 的变换。
$$
\vec{p}_F A B = \vec{p}_F (AB) = \vec{p}_H
$$
线性变换 Linear Transformations
$T(\vec{u})$ 表示对向量 $\vec{u}$ 进行的线性变换。我们可以把向量写成各坐标轴分量的形式方便后续推导：
$$
\vec{u}=(x,y,z)=x\vec{i}+y\vec{j}+z\vec{k}=x(1,0,0)+y(0,1,0)+z(0,0,1)
$$
于是一个针对向量 $\vec{u}$ 的线性变换就可以变为：
$$
T(\vec{u}) = \vec{u}A = (x,y,z)
\begin{bmatrix}T(\vec{i}) \\ T(\vec{j}) \\ T(\vec{k}) \end{bmatrix} = (x,y,z)
\begin{bmatrix}
{a_1}_1 & {a_1}_2 & {a_1}_3 \\
{a_2}_1 & {a_2}_2 & {a_2}_3 \\
{a_3}_1 & {a_3}_2 & {a_3}_3 \\
\end{bmatrix}
$$
缩放
因为缩放后的向量应该是 $S(\vec{u}) = (s_x x, s_y y, s_z z)$ 所以
$$
\begin{cases}
S(\vec{i}) = (s_x 1, s_y 0, s_z 0) = (s_x, 0, 0) \\
S(\vec{j}) = (s_x 0, s_y 1, s_z 0) = ( 0, s_y, 0) \\
S(\vec{k}) = (s_x 0, s_y 0, s_z 1) = ( 0, 0, s_z)
\end{cases}
$$
于是缩放矩阵即为 $S = \begin{bmatrix}
s_x & 0 & 0 \\\\
0 & s_y & 0 \\\\
0 & 0 & s_z
\end{bmatrix}$。
绕坐标轴旋转
将向量 $\vec{u} = (x,y,z)$ 绕 X 轴顺时针旋转 β 得到 $\vec{u'} = (x',y',z')$。
因为是左手坐标系，所以沿着旋转轴向下观察时，以顺时针方向为正角度。假设原向量旋转角度为 α，则可以得出：
$$
\begin{cases}
y = - r \sin\alpha \\
z = r \cos\alpha
\end{cases}
$$
于是将其旋转 β 后：
$$
\begin{cases}
x' = x \\
y' = -r \sin(\alpha+\beta) = -r \sin\alpha\cos\beta -r \cos\alpha\sin\beta = y \cos\beta- z \sin\beta \\
z' = r \cos(\alpha+\beta) = r \cos\alpha\cos\beta -r \sin\alpha\sin\beta = z \cos\beta + y \sin\beta
\end{cases}
$$
于是可以得出旋转函数：
$$
R_x(\vec{u}) = (x, y \cos\beta - z \sin\beta, y \sin\beta + z \cos\beta)
$$
将其应用于各个坐标轴分量上：
$$
\begin{cases}
R_x(\vec{i}) = (1, 0 \cos\alpha - 0 \sin\alpha,0 \sin\alpha + 0 \cos\alpha) = (1,0,0)\\
R_x(\vec{j}) = (0, 1 \cos\alpha - 0 \sin\alpha,1 \sin\alpha + 0 \cos\alpha) = (0,\cos\alpha,\sin\alpha)\\
R_x(\vec{k}) = (0,0\cos\alpha-1\sin\alpha, 0\sin\alpha + 1 \cos\alpha) = (0,-\sin\alpha,\cos\alpha)
\end{cases}
$$
（数学推导即是如此。但从更方便的角度看，完全省略推导，直接写出各个单位向量变换后的值是很轻松的。）
以此类推，即可得出沿着每个坐标轴旋转的变换矩阵：
$$
R_x = \begin{bmatrix}
1 & 0 & 0 \\
0 & \cos\theta & \sin\theta \\
0 & -\sin\theta & \cos\theta
\end{bmatrix}
$$
$$
R_y = \begin{bmatrix}
\cos\theta & 0 & -\sin\theta \\
0 & 1 & 0 \\
\sin\theta & 0 & \cos\theta
\end{bmatrix}
$$
$$
R_z = \begin{bmatrix}
\cos\theta & \sin\theta & 0 \\
-\sin\theta & \cos\theta & 0 \\
0 & 0 & 1
\end{bmatrix}
$$
旋转矩阵的特点是每行向量都是单位向量，而且两两垂直（即正交矩阵）。
仿射变换 Affine Transformations
简单地说，仿射变换就是线性变换+平移向量：
$$
T(\vec{u}) = \vec{u}A + \vec{b} = [x,y,z] \begin{bmatrix}
{a_1}_1 & {a_1}_2 & {a_1}_3 \\
{a_2}_1 & {a_2}_2 & {a_2}_3 \\
{a_3}_1 & {a_3}_2 & {a_3}_3
\end{bmatrix} + [b_x,b_y,b_z] = [x',y',z']
$$
将其增扩到齐次坐标（w = 1 时表示固定向量，w = 0 时表示自由向量）：
$$
[x,y,z,w] \begin{bmatrix}
{a_1}_1 & {a_1}_2 & {a_1}_3 & 0 \\
{a_2}_1 & {a_2}_2 & {a_2}_3 & 0 \\
{a_3}_1 & {a_3}_2 & {a_3}_3 & 0 \\
b_x & b_y & b_z & 1 \\
\end{bmatrix} = [x',y',z',w]
$$
这里顺带提一句，HTML 5 的 canvas 里，你可以通过函数原型 setTransform(m11, m12, m21, m22, dx, dy) 看出来这一个仿射变换。
平移
平移，即保留原坐标不进行线性变换（乘以单位矩阵），只将其加上一个偏移量：
$$
T(\vec{u}) = \vec{u}
\begin{bmatrix}
1 & 0 & 0 \\
0 & 1 & 0 \\
0 & 0 & 1
\end{bmatrix} + \vec{b} =
\vec{u} + \vec{b}
$$
增扩为齐次矩阵：
$$
T = \begin{bmatrix}
1 & 0 & 0 & 0 \\
0 & 1 & 0 & 0 \\
0 & 0 & 1 & 0 \\
b_x & b_y & b_z & 1
\end{bmatrix}
$$
于是，重要的仿射变换矩阵共有五个：S T Rx Ry Rz，就是平时缩放、平移、旋转操作。
数学