第十四讲：正交向量与子空间 在四个基本子空间中，提到对于秩为r的$m \times n$矩阵，其行空间（$dim C(A^T)=r$）与零空间（$dim N(A)=n-r$）同属于$\mathbb{R}^n$空间，其列空间（$dim C(A)=r$）与左零空间（$dim N(A^T)$=m-r）同属于$\mathbb{R}^m$空间。 对于向量$x, y$，当$x^T \cdot y=0$即$x_1y_1+x_2y_x+\cdots+x_ny_n=0$时，有向量$x, y$正交（vector orthogonal）。 毕达哥拉斯定理（Pythagorean theorem）中提到，直角三角形的三条边满足： $$ …

阅读更多

第十五讲：子空间投影 从$\mathbb{R}^2$空间讲起，有向量$a, b$，做$b$在$a$上的投影$p$，如图： 1%matplotlib inline 2import matplotlib.pyplot as plt 3import numpy as np 4import pandas as pd 5 6plt.style.use("seaborn-dark-palette") 7 8fig = plt.figure() 9plt.axis('equal') 10plt.axis([-7, 7, -6, 6]) 11plt.arrow(-4, -1, 8, 2, head_width=0.3, …

阅读更多

第十一讲：矩阵空间、秩1矩阵和小世界图 矩阵空间 接上一讲，使用$3 \times 3$矩阵举例，其矩阵空间记为$M$。 则$M$的一组基为： $ \begin{bmatrix} 1 & 0 & 0 \ 0 & 0 & 0 \ 0 & 0 & 0 \ \end{bmatrix} \begin{bmatrix} 0 & 1 & 0 \ 0 & 0 & 0 \ 0 & 0 & 0 \ \end{bmatrix} \begin{bmatrix} 0 & 0 & 1 \ 0 & 0 & 0 \ 0 & 0 & 0 \ \end{bmatrix} \ \begin{bmatrix} 0 & 0 & 0 \ 1 & 0 & 0 \ 0 & 0 …

阅读更多

第四讲：$A$ 的 $LU$ 分解 $AB$的逆矩阵： $$ \begin{aligned} A \cdot A^{-1} = I & = A^{-1} \cdot A\ (AB) \cdot (B^{-1}A^{-1}) & = I\ \textrm{则} AB \textrm{的逆矩阵为} & B^{-1}A^{-1} \end{aligned} $$ $A^{T}$的逆矩阵： $$ \begin{aligned} (A \cdot A^{-1})^{T} & = I^{T}\ (A^{-1})^{T} \cdot A^{T} & = I\ \textrm{则} A^{T} \textrm{的逆矩阵为} & …

阅读更多

第五讲：转换、置换、向量空间R 置换矩阵（Permutation Matrix） $P$为置换矩阵，对任意可逆矩阵$A$有： $PA=LU$ $n$阶方阵的置换矩阵$P$有$\binom{n}{1}=n!$个 对置换矩阵$P$，有$P^TP = I$ 即$P^T = P^{-1} 转置矩阵（Transpose Matrix） $(A^T){ij} = (A){ji}$ 对称矩阵（Symmetric Matrix） $A^T$ = $A$ 对任意矩阵$R$有$R^TR$为对称矩阵： $$ (R^TR)^T = (R)^T(R^T)^T = R^TR\ \textrm{即}(R^TR)^T = R^TR $$ 向量空间（Vector …

阅读更多

第一讲：方程组的几何解释 我们从求解线性方程组来开始这门课，从一个普通的例子讲起：方程组有$2$个未知数，一共有$2$个方程，分别来看方程组的“行图像”和“列图像”。 有方程组$\begin{cases}2x&-y&=0-x&+2y&=3\end{cases}$，写作矩阵形式有$\begin{bmatrix}2&-1-1&2\end{bmatrix}\begin{bmatrix}x\y\end{bmatrix}=\begin{bmatrix}0\3\end{bmatrix}$，通常我们把第一个矩阵称为系数矩阵$A$，将第二个矩阵称为向量$x$，将第三个矩阵称为向量$b$，于是线性方程组可以表示为$Ax=b$。 我们来看行图像，即 …

阅读更多

线性代数笔记 简介 作者：子实 线性代数笔记，使用 jupyter notebook (ipython notebook) 编写展示。 Github 加载 .ipynb 的速度较慢，建议在 Nbviewer 中查看该项目。 目录 来自MIT课程线性代数的笔记，可以在麻省理工公开课：线性代数观看。 第01集 方程组的几何解释 第02集 矩阵消元 第03集 乘法和逆矩阵 第04集 A的LU分解 第05集 转置-置换-向量空间R 第06集 列空间和零空间 第07集 求解Ax=0：主变量、特解 第08集 求解Ax=b：可解性和解的结构 第09集 线性相关性、基、维数 第10集 四个基本子空间 第11集 矩阵空间、秩1矩阵和小世界图 第12 …

阅读更多

行列式公式和代数余子式 上一讲中，我们从三个简单的性质扩展出了一些很好的推论，本讲将继续使用这三条基本性质： $\det I=1$； 交换行行列式变号； 对行列式的每一行都可以单独使用线性运算，其值不变； 我们使用这三条性质推导二阶方阵行列式： …

阅读更多

考试情况： 1.题目形式没有较大的变化，填空题目数量有增加。如果填空题较多一定注意考试时间。 2.论述题上，目前几次去考试。题目都是集中在聚类和集成算法上。 3.z-scale(特征缩放),scale。推荐使用这种方式进行解答from sklearn.preprocessing import scale 4.能够掌握具体的方法的使用再去考试。 5.多去看sklearn的文档 数据挖掘流程： 读取数据： 数据预处理：缺失值处理()、异常值处理、特征缩放()、特征离散化、特征编码()、特征选择()、特征降维(***)。 拆分数据： 建模：分类、聚类 模型评估： 分类模型评估(交叉验证)、聚类模型评估 模型优化 过采样、 …

阅读更多