CS229 概率论

Sun, 24 May 2026 00:00:00 +0000

本文是斯坦福大学CS229机器学习课程的基础材料，原始文件下载

原文作者：Arian Maleki ， Tom Do

翻译：石振宇

审核和修改制作：黄海广

备注：请关注github的更新。

CS229 机器学习课程复习材料-概率论

[TOC]

概率论是对不确定性的研究。通过这门课，我们将依靠概率论中的概念来推导机器学习算法。这篇笔记试图涵盖适用于CS229的概率论基础。概率论的数学理论非常复杂，并且涉及到“分析”的一个分支：测度论。在这篇笔记中，我们提供了概率的一些基本处理方法，但是不会涉及到这些更复杂的细节。

为了定义集合上的概率，我们需要一些基本元素，

Sun, 24 May 2026 00:00:00 +0000

本文是斯坦福大学CS 229机器学习课程的基础材料，原始文件下载

原文作者：Zico Kolter，修改：Chuong Do， Tengyu Ma

翻译：黄海广备注：请关注github的更新，线性代数和概率论已经更新完毕。

[TOC]

线性代数提供了一种紧凑地表示和操作线性方程组的方法。例如，以下方程组： $$ 4x_1 − 5x_2 = −13 $$ $$ −2x_1 + 3x_2 = 9 $$

这是两个方程和两个变量，正如你从高中代数中所知，你可以找到 $x_1$ 和 $x_2$ 的唯一解（除非方程以某种方式退化，例如，如果第二个方程只是第一个的倍数，但在上面的情况下，实际上只有一个唯一解）。在矩阵表示法中，我们可以更紧凑地表达：

$$ Ax= b $$

$$ \text { with } A=\left[\begin{array}{cc}{4} & {-5} \ {-2} & {3}\end{array}\right], b=\left[\begin{array}{c}{-13} \ {9}\end{array}\right] $$

我们可以看到，这种形式的线性方程有许多优点（比如明显地节省空间）。

我们使用以下符号：

$A \in \mathbb{R}^{m \times n}$，表示 $A$ 为由实数组成具有$m$行和$n$列的矩阵。
$x \in \mathbb{R}^{ n}$，表示具有$n$个元素的向量。通常，向量$x$将表示列向量: 即，具有$n$行和$1$列的矩阵。如果我们想要明确地表示行向量: 具有 $1$ 行和$n$列的矩阵 - 我们通常写$x^T$（这里$x^T$$x$的转置）。