本文是斯坦福大学CS229机器学习课程的基础材料，原始文件下载 原文作者：Arian Maleki ， Tom Do 翻译：石振宇 审核和修改制作：黄海广 备注：请关注github的更新。 CS229 机器学习课程复习材料-概率论 [TOC] 概率论复习和参考 概率论是对不确定性的研究。通过这门课，我们将依靠概率论中的概念来推导机器学习算法。这篇笔记试图涵盖适用于CS229的概率论基础。概率论的数学理论非常复杂，并且涉及到“分析”的一个分支：测度论。在这篇笔记中，我们提供了概率的一些基本处理方法，但是不会涉及到这些更复杂的细节。

1. 概率的基本要素 为了定义集合上的概率，我们需要一些基本元素， 样本空间$\Omega $：随机实 …

阅读更多

本文是斯坦福大学CS 229机器学习课程的基础材料，原始文件下载 原文作者：Zico Kolter，修改：Chuong Do， Tengyu Ma 翻译：黄海广 备注：请关注github的更新，线性代数和概率论已经更新完毕。 CS229 机器学习课程复习材料-线性代数 [TOC] 线性代数复习和参考 1. 基础概念和符号 线性代数提供了一种紧凑地表示和操作线性方程组的方法。 例如，以下方程组： $$ 4x_1 − 5x_2 = −13 $$ $$ −2x_1 + 3x_2 = 9 $$ 这是两个方程和两个变量，正如你从高中代数中所知，你可以找到 $x_1$ 和 $x_2$ 的唯一解（除非方程以某种方式退化，例如，如果第二个方程只是 …

阅读更多

第八讲：求解$Ax=b$：可解性和解的结构 举例，同上一讲：$3 \times 4$矩阵 $ A= \begin{bmatrix} 1 & 2 & 2 & 2\ 2 & 4 & 6 & 8\ 3 & 6 & 8 & 10\ \end{bmatrix} $，求$Ax=b$的特解： 写出其增广矩阵（augmented matrix）$\left[\begin{array}{c|c}A & b\end{array}\right]$： $$ \left[ \begin{array}{c c c c|c} 1 & 2 & 2 & 2 & b_1 \ 2 & 4 & 6 & 8 & b_2 \ 3 & 6 & 8 & 10 & b_3 \ …

阅读更多

第二讲：矩阵消元 这个方法最早由高斯提出，我们以前解方程组的时候都会使用，现在来看如何使用矩阵实现消元法。 消元法 有三元方程组$\begin{cases}x&+2y&+z&=2\3x&+8y&+z&=12&4y&+z&=2\end{cases}$，对应的矩阵形式$Ax=b$为$\begin{bmatrix}1&2&1\3&8&1\0&4&1\end{bmatrix}\begin{bmatrix}x\y\z\end{bmatrix}=\begin{bmatrix}2\12\2\end{bmatrix}$。 按照我们以前做消元法的思路： 第一步，我们希望在第二个方程中消去$x$项，来操作系数矩 …

阅读更多

第二十八讲：正定矩阵和最小值 本讲我们会了解如何完整的测试一个矩阵是否正定，测试$x^TAx$是否具有最小值，最后了解正定的几何意义——椭圆（ellipse）和正定性有关，双曲线（hyperbola）与正定无关。另外，本讲涉及的矩阵均为实对称矩阵。 正定性的判断 我们仍然从二阶说起，有矩阵$A=\begin{bmatrix}a&b\b&d\end{bmatrix}$，判断其正定性有以下方法： 矩阵的所有特征值大于零则矩阵正定：$\lambda_1>0,\ \lambda_2>0$； 矩阵的所有顺序主子阵（leading principal submatrix）的行列式（即顺序主子式，leading principal minor）大 …

阅读更多

第二十二讲：对角化和$A$的幂 对角化矩阵 上一讲我们提到关键方程$Ax=\lambda x$，通过$\det(A-\lambda I)=0$得到特征向量$\lambda$，再带回关键方程算出特征向量$x$。 在得到特征值与特征向量后，该如何使用它们？我们可以利用特征向量来对角化给定矩阵。 有矩阵$A$，它的特征向量为$x_1, x_2, \cdots, x_n$，使用特征向量作为列向量组成一个矩阵$S=\Bigg[x_1x_2\cdots x_n\Bigg]$，即特征向量矩阵， 再使用公式$$S^{-1}AS=\Lambda\tag{1}$$将$A$对角化。注意到公式中有$S^{-1}$，也就是说特征向量矩阵$S$必须是可逆的，于 …

阅读更多

第二十讲：克拉默法则、逆矩阵、体积 本讲主要介绍逆矩阵的应用。 求逆矩阵 我们从逆矩阵开始，对于二阶矩阵有$\begin{bmatrix}a&b\c&d\end{bmatrix}^{-1}=\frac{1}{ad-bc}\begin{bmatrix}d&-b-c&a\end{bmatrix}$。观察易得，系数项就是行列式的倒数，而矩阵则是由一系列代数余子式组成的。先给出公式： $$ A^{-1}=\frac{1}{\det A}C^T \tag{1} $$ 观察这个公式是如何运作的，化简公式得$AC^T=(\det A)I$，写成矩阵形式 …

阅读更多

第二十九讲：相似矩阵和若尔当形 在本讲的开始，先接着上一讲来继续说一说正定矩阵。 正定矩阵的逆矩阵有什么性质？我们将正定矩阵分解为$A=S\Lambda S^{-1}$，引入其逆矩阵$A^{-1}=S\Lambda^{-1}S^{-1}$，我们知道正定矩阵的特征值均为正值，所以其逆矩阵的特征值也必为正值（即原矩阵特征值的倒数）所以，正定矩阵的逆矩阵也是正定的。 如果$A,\ B$均为正定矩阵，那么$A+B$呢？我们可以从判定$x^T(A+B)x$入手，根据条件有$x^TAx>0,\ x^TBx>0$，将两式相加即得到$x^T(A+B)x>0$。所以正定矩阵之和也是正定矩阵。 再来看有$m\times n$矩阵$A$，则$A^TA$具 …

阅读更多

第二十六讲：对称矩阵及正定性 对称矩阵 前面我们学习了矩阵的特征值与特征向量，也了解了一些特殊的矩阵及其特征值、特征向量，特殊矩阵的特殊性应该会反映在其特征值、特征向量中。如马尔科夫矩阵，有一特征值为$1$，本讲介绍（实）对称矩阵。 先提前介绍两个对称矩阵的特性： 特征值为实数；（对比第二十一讲介绍的旋转矩阵，其特征值为纯虚数。） 特征向量相互正交。（当特征值重复时，特征向量也可以从子空间中选出相互正交正交的向量。） 典型的状况是，特征值不重复，特征向量相互正交。 那么在通常（可对角化）情况下，一个矩阵可以化为：$A=S\varLambda S^{-1}$； 在矩阵对称的情况下，通过性质2可知，由特征向量组成的矩阵$S$中的列向量是 …

阅读更多

第二十七讲：复数矩阵和快速傅里叶变换 本讲主要介绍复数向量、复数矩阵的相关知识（包括如何做复数向量的点积运算、什么是复数对称矩阵等），以及傅里叶矩阵（最重要的复数矩阵）和快速傅里叶变换。 复数矩阵运算 先介绍复数向量，我们不妨换一个字母符号来表示：$z=\begin{bmatrix}z_1\z_2\vdots\z_n\end{bmatrix}$，向量的每一个分量都是复数。此时$z$不再属于$\mathbb{R}^n$实向量空间，它现在处于$\mathbb{C}^n$复向量空间。 计算复向量的模 对比实向量，我们计算模只需要计算$\left|v\right|=\sqrt{v^Tv}$即可，而如果对复向量使用$z^Tz$则 …

阅读更多