Probability and Distributions

加法法则 (Sum Rule / Marginalization): 用于计算边缘概率（Marginal Probability），即消去不需要的变量。
- 离散型 (Discrete): $p (x) = \sum_{y \in Y} p (x, y)$
- 连续型 (Continuous): $p (x) = \int p (x, y), d y$
乘法法则 (Product Rule): 联合概率（Joint Probability）可以分解为条件概率和边缘概率的乘积。
- 公式: $p (x, y) = p (y | x) p (x) = p (x | y) p (y)$
贝叶斯定理 (Bayes' Theorem): 用于根据观测数据更新对参数的信念。
- 公式: $p (x | y) = \frac{p (y | x) p (x)}{p (y)}$
- 术语对照:
  - $p (x | y)$ : 后验概率 (Posterior) —— 看到数据 $y$ 后对 $x$ 的信念。
  - $p (y | x)$ : 似然 (Likelihood) —— 给定 $x$ 时数据 $y$ 出现的可能性。
  - $p (x)$ : 先验概率 (Prior) —— 看到数据前对 $x$ 的信念。
  - $p (y)$ : 证据/边缘似然 (Evidence / Marginal Likelihood) —— 归一化常数。
独立性 (Independence):
- 统计独立 (Statistical Independence): $X, Y$ 独立 $⟺ p (x, y) = p (x) p (y)$ 。
- 条件独立 (Conditional Independence): 给定 $Z$ ， $X$ 和 $Y$ 独立 $⟺ p (x, y | z) = p (x | z) p (y | z)$ 。

随机变量与分布 (Random Variables & Distributions)

期望 (Expected Value / Mean):
- 离散: $E [x] = \sum x p (x)$
- 连续: $E [x] = \int x p (x), d x$
- 性质: 线性性质 $E [a x + b y] = a E [x] + b E [y]$ ,。
方差 (Variance): 衡量数据的离散程度
- 定义: $Var [x] = E [(x - μ)^{2}]$
- 常用计算公式 (Raw-score formula): $Var [x] = E [x^{2}] - (E [x])^{2}$
常用分布 (Common Distributions):

分布名称 (Name)	类型	公式 / 特点	备注
伯努利 (Bernoulli)	离散Discrete Distribution	$p (x μ) = μ^{x} (1 - μ)^{1 - x}, x \in 0, 1$	单次硬币投掷模型
二项分布 (Binomial)	离散	$p (m N, μ) = (\binom{N}{m}) μ^{m} (1 - μ)^{N - m}$	$N$ 次伯努利实验中成功的次数
泊松分布(Poisson)	离散	$p (x λ) = e^{- λ} \frac{λ^{x}}{x!}$
离散均匀分布(Discrete Uniform)		$p (x) = \frac{1}{K}$	所有结果概率相等的情况（如掷公平的骰子）
高斯/正态 (Gaussian)	连续Continuous	$p (x) = \frac{1}{\sqrt{2 π σ^{2}}} \exp (- \frac{(x - μ)^{2}}{2 σ^{2}})$	中心极限定理，ML中最重要分布
多元高斯 (Multivariate Gaussian)	连续	由均值向量 $μ$ 和协方差矩阵 $Σ$ 决定	线性回归、PCA的基础
连续均匀分布(Continuous Uniform)		$p (x) = \frac{1}{b - a}$ (在区间 $[a, b]$ 内)	表示对某个区间内取值没有任何偏好
Beta 分布		$p (μ α, β) = \frac{Γ (α + β)}{Γ (α) Γ (β)} μ^{α - 1} (1 - μ)^{β - 1}$
拉普拉斯分布 (Laplace Distribution)		$p (x) = \frac{1}{2 b} \exp (- \frac{\| x - μ \|}{b})$

共轭先验 (Conjugate Prior): 如果先验分布 $p (θ)$ 和似然函数 $p (x | θ)$ 结合后，得到的后验分布 $p (θ | x)$ 与先验属于同一类分布，则称该先验为共轭先验。

考试常考“给定似然函数，应该选什么先验分布才能进行解析推导”**。

似然函数 (Likelihood)	模型参数 (Parameter)	对应的共轭先验 (Conjugate Prior)	后验分布 (Posterior)
Bernoulli (伯努利)	$μ$ (概率)	Beta	Beta
Binomial (二项)	$μ$ (概率)	Beta	Beta
Multinomial (多项)	$μ$ (概率向量)	Dirichlet	Dirichlet
Gaussian (高斯)	$μ$ (均值, 方差已知)	Gaussian	Gaussian
Gaussian (高斯)	$σ^{2}$ (方差, 均值已知)	Inverse Gamma	Inverse Gamma
Multivariate Gaussian	$Σ$ (协方差矩阵)	Inverse Wishart	Inverse Wishart

复习提示：

指数族分布 (Exponential Family): 上述大多数分布（高斯、伯努利、Beta等）都属于指数族分布。它们具有良好的数学性质，例如都有共轭先验，且最大似然估计（MLE）通常有解析解。
变量变换 (Change of Variables): 如果 $y = f (x)$ ，且 $x$ 服从某种分布，如何求 $y$ 的分布？这也是考点之一，涉及到雅可比行列式 (Jacobian determinant)。
- 例子: Beta 分布是二项分布的共轭先验（Posterior 也是 Beta 分布）。

参数估计 (Parameter Estimation)

这是连接概率论与机器学习训练过程的桥梁。

最大似然估计 (Maximum Likelihood Estimation, MLE)

找到一个参数 $θ$ ，使得观测到现有数据 $y$ 的概率最大

步骤：

写出似然函数 (Likelihood Function)
假设观测数据 $y$ 是独立同分布 (i.i.d.) 的，写出所有观测值的联合概率：

L (θ) = p (y_{1}, y_{2}, \dots, y_{n} | θ) = \prod_{i = 1}^{n} p (y_{i} | θ)

取对数 (Log-Likelihood)
为了把累乘变成累加，方便求导：

ℓ (θ) = \ln L (θ) = \sum_{i = 1}^{n} \ln p (y_{i} | θ)

求导并令导数为 0
对参数 $θ$ 求导（梯度），并寻找极值点：

\frac{d}{d θ} ℓ (θ) = 0

MLE 思路：

只看似然项。如果似然是高斯分布，MLE 目标就是：

min_{x} \frac{1}{2} (y - a x)^{2}

这就是普通的最小二乘法，它只关心怎么拟合数据 $y$ 。

最大后验估计 (Maximum A Posteriori, MAP):

在 MLE 的基础上加入了先验知识 $p (θ)$ （相当于正则化）。目标: $θ_{M A P} = \arg max_{θ} p (D | θ) p (θ)$ . 寻找参数 $θ$ ，使得观测数据出现的概率最大。

步骤：

写出后验概率 $p (x | y)$ 的比例关系 $p (x | y) \propto p (y | x) p (x)$
取负对数变换 (Negative Log-Likelihood)，将最大化概率问题转变为最小化能量（损失）函数问题： $x^{*} = \arg min_{x} [- \ln p (y | x) - \ln p (x)]$
根据题目给出的概率密度函数（PDF）的形式，识别出对应的损失项：
- 如果似然是拉普拉斯分布，先验是高斯分布，则目标函数为： $min | y - a x | + \frac{1}{2} x^{2}$ 。
- 如果似然和先验都是高斯分布，则目标函数为： $min \frac{1}{2} (y - a x)^{2} + \frac{1}{2} x^{2}$ 。理解为：
  $min_{x} \underset{MLE 项}{\underset{⏟}{\frac{1}{2} (y - a x)^{2}}} + \underset{先验(正则)项}{\underset{⏟}{λ x^{2}}}$

分布与损失表

概率分布类型	PDF 指数项形式	对应的损失项 (负对数变换)	常见的机器学习术语
高斯分布 (Gaussian)	$\exp (- \frac{(y - \hat{y})^{2}}{2 σ^{2}})$	$\frac{1}{2 σ^{2}} (y - \hat{y})^{2}$	L2 损失 / MSE / 岭回归
拉普拉斯 (Laplace)	$\exp (- \frac{\| y - \hat{y} \|}{b})$	$\frac{1}{b} \| y - \hat{y} \|$	L1 损失 / MAE / LASSO
伯努利 (Bernoulli)	$p^{y} (1 - p)^{1 - y}$	$- [y \ln p + (1 - y) \ln (1 - p)]$	二元交叉熵 (BCE)
多项分布 (Categorical)	$\prod p_{i}^{y_{i}}$	$- \sum y_{i} \ln p_{i}$	交叉熵 (Cross Entropy)

Probability Density Function

定义与性质 (Definition & Properties)

对于一个连续型随机变量 $X$ ，其 Probability Density Function (PDF) 通常记为 $f (x)$ 或 $p (x)$ 。它必须满足以下两个基本条件：

非负性 (Non-negativity): 对于所有 $x$ ，函数值必须大于等于 0： $f (x) \geq 0$
归一化 (Normalization): 在整个定义域上的积分必须等于 1： $\int_{R^{D}} f (x), d x = 1$

PDF 与概率的关系 (Relation to Probability)

PDF 的函数值 $f (x)$ 本身不是概率（它可以大于 1）。概率是通过对 PDF 进行积分来计算的。

区间概率: 变量 $X$ 落在区间 $[a, b]$ 内的概率是该区间下 PDF 曲线的面积： $P (a \leq X \leq b) = \int_{a}^{b} f (x), d x$
单点概率为 0: 对于连续变量，取任意特定值 $x$ 的概率为 0： $P (X = x) = 0 $ $ 这与离散型变量的 * * P r o b a b i l i t y M a s s F u n c t i o n (P M F) * * 不同， P M F 中 $ P (X = x) $ 可以大于 0 。$

Cumulative Distribution Function (CDF) 定义为 $F_{X} (x) = P (X \leq x)$ 。PDF 和 CDF 通过微积分相互转换：

积分求 CDF: $F_{X} (x) = \int_{- \infty}^{x} f (z), d z$
求导求 PDF: $f (x) = \frac{d}{d x} F_{X} (x)$

常见的 PDF 例子 (Common Examples)

课程中详细介绍了以下几种分布的 PDF：

均匀分布 (Uniform Distribution): 在区间 $[a, b]$ 上概率密度是常数 $\frac{1}{b - a}$ 。
高斯分布 (Gaussian Distribution): 最重要的分布。
- 一元 (Univariate): 由均值 $μ$ 和方差 $σ^{2}$ 决定： $p (x | μ, σ^{2}) = \frac{1}{\sqrt{2 π σ^{2}}} \exp (- \frac{(x - μ)^{2}}{2 σ^{2}})$
- 多元 (Multivariate): 由均值向量 $μ$ 和协方差矩阵 $Σ$ 决定： $p (x | μ, Σ) = \frac{1}{\sqrt{(2 π)^{D} | Σ |}} \exp (- \frac{1}{2} (x - μ)^{T} Σ^{- 1} (x - μ))$

变量变换 (Change of Variables)

这是课程中的一个难点。如果随机变量 $Y = U (X)$ ，且 $U$ 是可逆函数，我们如何求 $Y$ 的 PDF？

一元情况: 需要乘以变换函数的导数的绝对值： $f_{Y} (y) = f_{X} (U^{- 1} (y)) \cdot | \frac{d}{d y} U^{- 1} (y) |$
多元情况: 需要乘以 Jacobian Matrix (雅可比矩阵) 行列式的绝对值： $f_{Y} (y) = f_{X} (U^{- 1} (y)) \cdot | det (\frac{\partial}{\partial y} U^{- 1} (y)) | $ $ 这一性质在 * * N o r m a l i z i n g F l o w s * * 等现代深度学习模型中非常重要。$