贝叶斯模型

条件概率：描述两个有因果关系的随机事件之间的概率关系，$p(b|a)$定义为在事件$a$发生的前提下事件$b$发生的概率。

贝叶斯公式：两个随机事件之间的关系 $p(b|a)=\dfrac{p(a|b)p(b)}{p(a)}$

分类问题：特征向量取值$\boldsymbol{x}$与样本所属类型$y$有因果关系。因为样本属于类型$y$，所以具有特征值$\boldsymbol{x}$.

分类器：已知样本的特征向量$\boldsymbol{x}$的条件下反推样本所属的类别。根据贝叶斯公式有 $p(y|\boldsymbol{x})=\dfrac{p(\boldsymbol{x}|y)p(y)}{p(\boldsymbol{x})}$.

最小化分类错误率的贝叶斯最优分类器 $h^*(x)=\underset{c \in \mathcal{Y}}{\argmax}P(c|\boldsymbol{x})$ 对于每个样本$\boldsymbol{x}$，选择使后验概率$P(c|\boldsymbol{x})$最大的类别标记。（$P(c|\boldsymbol{x})$现实中难以直接获得）

机器学习所要实现的是基于有限的训练样本尽可能准确地估计出后验概率。

两种基本策略：

假设有4个samples：

生成模型：$\sum P(x,y)=1$

判别模型：$\sum_yP(y|x)=1$

给定类标号$y$，朴素贝叶斯分类器在估计类条件概率时假设属性之间条件独立。

条件独立假设可以形式化的表达如下：

其中每个训练样本可用一个属性向量$X=(x_1,x_2,x_3,\dots,x_n)$表示，各个属性之间条件独立。

有了条件独立假设，就不必计算$X$和$Y$的每一种组合的类条件概率，只需对给定的$Y$，计算每个$x_i$的条件概率。不需要很大的训练集就能获得较好的概率估计，更实用。

$P(x_i\,|\,Y=y)$一般根据类别$y$下包含属性$x_i$的实例的比例来估计。

由于对所有类别来说$P(\boldsymbol{x})$相同，因此有朴素贝叶斯分类器的表达式

显然，朴素贝叶斯分类器的训练过程就是基于训练集$D$来估计类先验概率$P(c)$，并为每个属性估计条件概率$P(x_i\,|\,c)$.

令$D_c$表示训练集$D$中第$c$类样本组成的集合，若有充足的独立同分布样本，则可容易地估计出类先验概率：$P(c)=\dfrac{|D_c|}{|D|}$.

估计每个属性的条件概率$P(x_i\,|\,c)$：

离散：$P(x_i\,|\,c)=\dfrac{|D_{c,x_i}|}{|D_c|}$

连续：$P(x_i\,|\,c)=\dfrac{1}{\sqrt{2\pi}\sigma_{c,i}}\exp\Big(-\dfrac{(x_i-\mu_{c,i})^2}{2\sigma_{c,i}^2}\Big)$

若某个属性值在训练集中没有与某个类同时出现过，则直接计算连乘式的概率值为0，导致分类结果显然不合理。为了避免其他属性携带的信息被训练集中未出现的属性值“抹去”，在估计概率值时通常要进行“拉普拉斯修正”。

令$N$表示数据集$D$中可能的类别数，$N_i$表示第$i$个属性可能的取值数，则

（拉普拉斯修正，实际上是假设了属性与类别均匀分布）

对属性条件独立假设进行一定程度的放松，由此产生了一类称为“半朴素贝叶斯分类器”。

半朴素贝叶斯分类器最常用的一种策略：“独依赖估计” (One-Dependent Estimator, ODE) ，假设每个属性在类别之外最多仅依赖一个其他属性，即

其中${pa}_i$为属性$x_i$所依赖的属性，称为$x_i$的父属性。

问题关键转化为如何确定每个属性的父属性。常见方法有：

把某个研究系统中涉及的随机变量，根据是否条件独立绘制在一个有向图中，就形成了贝叶斯网络。

贝叶斯网络 (Bayesian Network) ，是有向无环图模型，也是一种概率图模型，借由有向无环图DAG得知一组随机变量$\{X_1,X_2,\dots,X_n\}$及其$n$组条件概率分布的性质。

一般而言，贝叶斯网络的有向无环图中的结点表示随机变量，它们是可观察到的变量，或隐变量、未知参数等。连接两个结点的箭头代表此两个随机变量是具有因果关系（或非条件独立）。若两个结点间以一个单箭头连接在一起，表示其中一个结点是“因 (parents)”，另一个是“果 (children)”，两结点就会产生一个条件概率值。

每个结点在给定其直接前驱时，条件独立于其非后继。