第二十三讲：微分方程和$e^{At}$ 微分方程$\frac{\mathrm{d}u}{\mathrm{d}t}=Au$ 本讲主要讲解解一阶方程（first-order system）一阶倒数（first derivative）常系数（constant coefficient）线性方程，上一讲介绍了如何计算矩阵的幂，本讲将进一步涉及矩阵的指数形式。我们通过解一个例子来详细介绍计算方法。 有方程组$\begin{cases}\frac{\mathrm{d}u_1}{\mathrm{d}t}&=-u_1+2u_2\frac{\mathrm{d}u_2}{\mathrm{d}t}&=u_1-2u_2\end{cases}$，则系数矩阵 …

阅读更多

第二十四讲：马尔科夫矩阵、傅里叶级数 马尔科夫矩阵 马尔科夫矩阵（Markov matrix）是指具有以下两个特性的矩阵： 矩阵中的所有元素大于等于$0$；（因为马尔科夫矩阵与概率有关，而概率是非负的。） 每一列的元素之和为$1$ 对于马尔科夫矩阵，我们关心幂运算过程中的稳态（steady state）。与上一讲不同，指数矩阵关系特征值是否为$0$，而幂运算要达到稳态需要特征值为$1$。 根据上面两条性质，我们可以得出两个推论： 马尔科夫矩阵必有特征值为$1$； 其他的特征值的绝对值皆小于$1$。 使用第二十二讲中得到的公式进行幂运 …

阅读更多

第二十五讲：复习二 我们学习了正交性，有矩阵$Q=\Bigg[q_1\ q_2\ \cdots\ q_n\Bigg]$，若其列向量相互正交，则该矩阵满足$Q^TQ=I$。 进一步研究投影，我们了解了Gram-Schmidt正交化法，核心思想是求法向量，即从原向量中减去投影向量$E=b-P, P=Ax=\frac{A^Tb}{A^TA}\cdot A$。 接着学习了行列式，根据行列式的前三条性质，我们拓展出了性质4-10。 我们继续推导出了一个利用代数余子式求行列式的公式。 又利用代数余子式推导出了一个求逆矩阵的公式。 接下来我们学习了特征值与特征向量的意义：$Ax=\lambda x$，进而了解了通过$\det(A-\lambda …

阅读更多

第二十一讲：特征值和特征向量 特征值、特征向量的由来 给定矩阵$A$，矩阵$A$乘以向量$x$，就像是使用矩阵$A$作用在向量$x$上，最后得到新的向量$Ax$。在这里，矩阵$A$就像是一个函数，接受一个向量$x$作为输入，给出向量$Ax$作为输出。 在这一过程中，我们对一些特殊的向量很感兴趣，他们在输入($x$)输出($Ax$)的过程中始终保持同一个方向，这是比较特殊的，因为在大多情况下，$Ax$与$x$指向不同的方向。在这种特殊的情况下，$Ax$平行于$x$，我们把满足这个条件的$x$成为特征向量（Eigen vector）。这个平行条件用方程表示就是： $$Ax=\lambda x\tag{1}$$ 对这个式子，我们试着计算特 …

阅读更多

第九讲：线性相关性、基、维数 $v_1,\ v_2,\ \cdots,\ v_n$是$m\times n$矩阵$A$的列向量： 如果$A$零空间中有且仅有$0$向量，则各向量线性无关，$rank(A)=n$。 如果存在非零向量$c$使得$Ac=0$，则存在线性相关向量，$rank(A)\lt n$。 向量空间$S$中的一组基（basis），具有两个性质： 他们线性无关； 他们可以生成$S$。 对于向量空间$\mathbb{R}^n$，如果$n$个向量组成的矩阵为可逆矩阵，则这$n$个向量为该空间的一组基，而数字$n$就是该空间的维数（dimension）。 举例： $ A= \begin{bmatrix} 1 & 2 & 3 & 1 …

阅读更多

第六讲：列空间和零空间 对向量子空间$S$和$T$，有$S \cap T$也是向量子空间。 对$m \times n$矩阵$A$，$n \times 1$矩阵$x$，$m \times 1$矩阵$b$，运算$Ax=b$： $$ \begin{bmatrix} a_{11} & a_{12} & \cdots & a_{1(n-1)} & a_{1n} \ a_{21} & a_{22} & \cdots & a_{2(n-1)} & a_{2n} \ \vdots & \vdots & \ddots & \vdots & \vdots \ a_{m1} & a_{m2} & \cdots & a_{m(n-1)} & a_{mn} …

阅读更多

第七讲：求解$Ax=0$，主变量，特解 举例：$3 \times 4$矩阵 $ A= \begin{bmatrix} 1 & 2 & 2 & 2\ 2 & 4 & 6 & 8\ 3 & 6 & 8 & 10\ \end{bmatrix} $，求$Ax=0$的特解： 找出主变量（pivot variable）： $$ A= \begin{bmatrix} 1 & 2 & 2 & 2\ 2 & 4 & 6 & 8\ 3 & 6 & 8 & 10\ \end{bmatrix} \underrightarrow{消元} \begin{bmatrix} \underline{1} & 2 & 2 & 2\ 0 & 0 & …

阅读更多

第三讲：乘法和逆矩阵 上一讲大概介绍了矩阵乘法和逆矩阵，本讲就来做进一步说明。 矩阵乘法 行列内积：有$m\times n$矩阵$A$和$n\times p$矩阵$B$（$A$的总行数必须与$B$的总列数相等），两矩阵相乘有$AB=C$，$C$是一个$m\times p$矩阵，对于$C$矩阵中的第$i$行第$j$列元素$c_{ij}$，有： $$c_{ij}=row_i\cdot column_j=\sum_{k=i}^na_{ik}b_{kj}$$ 其中$a_{ik}$是$A$矩阵的第$i$行第$k$列元素，$b_{kj}$是$B$矩阵的第$k$行第$j$列元素。 可以看出$c_{ij}$其实是$A$矩阵第$i$行点乘$B$矩阵 …

阅读更多

第三十二讲：基变换和图像压缩 图像压缩 本讲我们介绍一种图片有损压缩的一种方法：JPEG。 假设我们有一张图片，长宽皆为$512$个像素，我们用$x_i$来表示第$i$个像素，如果是灰度照片，通常$x_i$可以在$[0,255]$上取值，也就是8 bits。对于这承载这张图片信息的向量$x$来说，有$x\in\mathbb{R}^n, n=512^2$。而如果是彩色照片，通常需要三个量来表示一个像素，则向量长度也会变为现在的三倍。 如此大的数据不经过压缩很难广泛传播。教学录像采用的压缩方法就是JPEG（Joint Photographic Expert Group，联合图像专家组），该方法采用的就是基变换的方式压缩图像。比如说一块干 …

阅读更多

第三十讲：奇异值分解 本讲我们介绍将一个矩阵写为$A=U\varSigma V^T$，分解的因子分别为正交矩阵、对角矩阵、正交矩阵，与前面几讲的分解不同的是，这两个正交矩阵通常是不同的，而且这个式子可以对任意矩阵使用，不仅限于方阵、可对角化的方阵等。 在正定一讲中（第二十八讲）我们知道一个正定矩阵可以分解为$A=Q\Lambda Q^T$的形式，由于$A$对称性其特征向量是正交的，且其$\Lambda$矩阵中的元素皆为正，这就是正定矩阵的奇异值分解。在这种特殊的分解中，我们只需要一个正交矩阵$Q$就可以使等式成立。 在对角化一讲中（第二十二讲），我们知道可对角化的矩阵能够分解为$A=S\Lambda S^T$的形式，其中$S$的列向 …

阅读更多