随机事件复习笔记

随机事件复习笔记

概率的公理化定义

在一个随机现象中，用来表示任一个随机事件$A$发生可能性大小的实数成为该事件的概率，并规定：
（1）非负性公理：对任一事件$A$，必有$P(A)\geq 0$
（2）正则化公理：必然事件的概率$P(\Omega)=1$
（3）可列可加性公理：若$A_1,A_2,\cdots$是一列互不相容事件，则有：$P(\bigcup\limits_{n=1}^\infty A_i)=\sum\limits_{i=1}^\infty P(A_i)$

不过这样的定义有些主观，我们下面给出一个更加严谨的定义。

概率空间

事件域

设$\Omega$是试验$S$样本空间，$\mathcal{F}$是由$\Omega$子集组成的集合类，若$\mathcal{F}$满足以下性质：
（1）$\Omega \in \mathcal{F}$
（2）如果$A \in \mathcal{F}$，则$\bar{A} \in \mathcal{F}$
（3）如果$A_j \in \mathcal{F}$，则$\bigcup\limits_{j=1}^\infty \in \mathcal{F}$
则我们称$\mathcal{F}$为$Borel$事件域，或者$\sigma$域，称$\mathcal{F}$中的元素为事件，称$(\Omega,\mathcal{F})$是可测空间。

如果对测度论感兴趣可以翻阅实变函数教材。

在概率空间上定义概率

设$(\Omega,\mathcal{F})$是可测空间，$P$是定义在$\mathcal{F}$上的函数，如果$P$满足下列条件：
（1）非负性：对$A\in \mathcal{F}$，$P(A)\geq0$
（2）完全性：$P(\Omega)=1$
（3）可列可加性：对于$\mathcal{F}$中互不相容的事件$A_1,A_2,\cdots$，$P(\bigcup\limits_{n=1}^\infty A_i)=\sum\limits_{i=1}^\infty P(A_i)$
我们就称$P$为$\mathcal{F}$上的概率测度，简称为概率，称$(\Omega,\mathcal{F},P)$为概率空间。

从这个定义我们可以看出概率其实是定义在事件域上的一个函数，将每一个事件赋予一个值，就叫做概率。

在以后我们所有模型都是建立在概率空间的基础上，所遇到的$\Omega$的子集都假定是事件。

古典概型

古典概型所满足的要求为：
（1）所涉及的随机现象只有有限个基本结果。
（2）每个基本结果出现的可能性是相通的（简称等可能性）
（3）假如被考察的事件$A$含有$k$个基本结果，则事件$A$的概率就是：$P(A)=\frac{k}{n}=\frac{A中包含基本结果的个数}{\Omega中基本结果的个数}$

在计算概率的时候还有频率方法和主观方法。

概率的性质

1.不可能事件$\phi$的概率为0.
$Proof$：因为$\Omega=\Omega \cup\phi\cup\phi\cdots$
由可列可加性公理有：$P(\Omega)=P(\Omega)+\sum\limits_{n=2}^\infty P(\phi)$，又因为$P(\Omega)=1$，所以$P(\phi)=0$。

2.对任一事件$A$，有$P(A)=1-P(\bar{A})$
$Proof$：因为$A\cup \bar{A}=\Omega$，$\Omega=A\cup \bar{A} \cup \phi \cup \phi \cdots$
由可列可加性公理及性质1有：$P(\Omega)=P(A)+P(\bar{A})+P(\phi)+P(\phi)+\cdots$
即$1=P(A)+P(\bar{A})$

3.对于$n$个互不相容的事件$A_1,A_2,\cdots A_n$，有$P(\bigcup\limits_{i=1}^{n}A_i)=\sum\limits_{i=1}^nP(A_i)$

$Proof$：利用数学归纳法。

4.对任意两个事件$A$和$B$，若$A\supset B$，则
（1）$P(A-B)=P(A)-P(B)$
（2）$P(A)\geq P(B)$（概率的单调性）

$Proof$：将$A$分为两个互不相容事件$B$与$A-B$的并，由可列可加性公理得：$P(A)=P(B)+P(A-B)$
再有非负性公理：$P(A-B)\geq 0$，即可得到（2）。

5.对任一事件$A$，有$0\leq P(A) \leq 1$
$Proof$：对任一事件$A$，总有:$\phi \subset A \subset \Omega$，由概率的单调性知$P(\phi)\leq P(A) \leq P(\Omega)$则有$0\leq P(A) \leq 1$。

6.对任意两个事件$A$和$B$，有：
（1）$P(A\cup B)= P(A)+P(B)-P(AB)$
（2）$P(A\cup B)\leq P(A)+P(B)$

$Proof$：由于并事件可以写成两个互不相容的事件$A$与$B-AB$的并，从可加性公理有$P(A)=P(B)+P(B-AB)$，又因为$B \supset AB$，则由性质4（1）有：$P(B-AB)=P(B)-P(AB)$，带回即有（1）。再由$P(AB)\geq 0$立即得到（2）。

注记：将集合拆成几个不相交集合的并是集合论证明中常用的方法。

$Ex$：对任意两个事件A与B，证明$P(A)=P(AB)+P(A\bar{B})$

$Ex2$：对任一三个事件$A,B,C$有：
（1）$P(A\cup B\cup C)=P(A)+P(B)+P(C)-P(AB)-P(AC)-P(BC)+P(ABC)$
（2）$P(A\cup B\cup C)\geq P(A)+P(B)+P(C)$

$Eg$：设$P(A)=1/3,P(B)=1/2$
（1）：若事件$A$和$B$互不相容，求$P(B\bar{A})$
（2）：若$A\subset B$求$P(B\bar{A})$
（3）：若$P(AB)=1/8$，求$P(B\bar{A})$

$Sol$：
（1）因为$A$，$B$互不相容，所以$A\cap B = \phi$，即$B \subset \bar{A}$，即有$\bar{A}=B$，故$P(B\bar{A})=P(B)=1/2$
（2）因为$P(B)=P(AB)+P(B\bar{A})$且$A\subset B$，所以$P(AB)=P(A)=1/3$，则有
$P(B\bar{A})=$ $P(B)-P(AB)=1/6$
（3）同（2），有$P(B\bar{A})=P(B)-P(AB)=1/2-1/8=3/8$

$eg2$：某人对事件$A,B$及其并$A\cup B$分别给出主观概率如下：$P(A)=1/3,P(B)=1/3,P(A\cup B)=3/4$
按概率性质，应有$P(A\cup B)\leq P(A)+P(B)$，然而现在$P(A\cup B)=3/4$，$P(A)+P(B)=2/3$这个性质不满足。问题是出在了主管概率给定不恰当引起的。例如将$P(A\cup B)$修整成$3/5$即可。

独立性

$Def$：对任意两个事件$A,B$，若有$P(AB)=P(A)+P(B)$，则称事件$A$与事件$B$相互独立，简称$A$和$B$独立。否则称事件$A$和$B$不独立。

注记：独立与互不相容没有必然联系，独立表示两件事件之间没有关系，而互不相容表示两件事件之间不可能同时发生。

$Th$：若事件$A$和$B$独立，则$A$与$\bar{B}$独立，$\bar{A}$与$B$独立，$\bar{A}$与$\bar{B}$独立。

$Proof$：$A\bar{B}=A-AB$，又因为$AB\subset A$，再由A与B的独立性知：
$P(A\bar{B})=P(A)-P(AB)=P(A)-P(A)P(B)=P(A)(1-P(B))=P(A)P(\bar{B})$
其余的类似可证。

多个事件的独立性

设有$n$个事件$A_1,A_2,\cdots A_n$，假如对所有可能的$1\leq i<j<k<\cdots \leq n$以下等式均成立：

$
\begin{cases}
P(A_iA_j)=P(A_i)P(A_j) \\
P(A_iA_jA_k)=P(A_i)P(A_j)P(A_k) \\
\cdots \\
P(A_1A_2\cdots A_n)=P(A_1)P(A_2)\cdots P(A_n) \\
\end{cases}
$

则称这$n$个事件相互独立。

注记：只满足$P(A_iA_j)=P(A_i)P(A_j)$是不可以的，我们有伯恩斯坦反例：

一个均匀的正四面体，第一面染上红色，第二面染上白色，第三面染上黑色，第四面同时染上红，白，黑三种颜色。记事件 $A,B,C$分别表示投一次均匀的正四面体出现红，白，黑颜色的事件。则$P(A)=P(B)=P(C)=1/2$，$P(AB)=P(AC)=P(BC)=1/4$，但是$P(ABC)=1/4$

本质是因为只有两两独立我们推不出$AB$和$C$独立、$A\cup B$和$C$独立。

有一个更直观的例子是波罗梅奥环，可以自行查阅。

试验的独立性

假设有$n$个试验$E_1,E_2,\cdots E_n$，假设$E_1$的任一结果，$E_2$的任一结果，$\cdots $ $ E_n$的任一结果都是相互独立的事件，则称试验 $E_1,E_2,\cdots E_n$是相互独立。如果这$n$次试验是相同的，则称其为$n$次独立重复试验。

$eg$：扔一枚硬币和扔一颗骰子是相互独立试验。

n重伯努利试验

$Def($伯努利试验$)$：只有两个结果$(A$和$\bar{A})$的试验称为伯努利试验。

在一次伯努利试验中，设发生$A$的概率为$p$，则有$P(A)=p,P(\bar{A})=1-p$

$Def(n$重伯努利试验$)$：由$n$次相同的，独立的伯努利试验组成的多随机试验成为$n$重伯努利试验。

$n$重伯努利试验可以用长度为$n$的$A$和$\bar{A}$的序列表示。

条件概率

$Def($条件概率$)$：设$A$和$B$是样本空间$\Omega$中的两个事件，且$P(B)>0$，在事件$B$已经发生的条件下，事件$A$的条件概率$P(A|B)$定义为$\frac{P(AB)}{P(B)}$。

条件概率的性质：

1.条件概率是概率，即满足概率的$3$条公理。

2.（乘法公式）：对任意两个事件$A$和$B$，有：
$$P(AB)=P(A|B)P(B)=P(B|A)P(A)$$其中第一个等式要求$P(B)>0$，第二个等式要求$P(A)>0$

怎么理解？
通俗的来说，以第一个等式为例：$P(B)$表示将样本空间$\Omega$限制在了集合$B$上，$P(A|B)$代表将集合$A$限制在了集合$B$上。

2的结论还可以推广到多个事件

3.（一般乘法公式）：对任意$3$个事件$A,B,C$，假若$P(BC)>0$，则有：$$P(ABC)=P(A)P(B|A)P(C|AB)$$

$Def$：把样本空间$\Omega$分为$n$个事件$B_1,B_2,\cdots, B_n$，假如：
（1）$P(B_i)>0,i=1,2,\cdots, n$
（2）$B_1,B_2,\cdots B_n$互不相容
（3）$\bigcup\limits_{i=1}^n B_i=\Omega$
则称事件组$B_1,B_2,\cdots B_n$为样本空间$\Omega$的一个分割。

4.（全概率公式）：设$B_1,B_2,\cdots B_n$是样本空间$\Omega$的一个分割，则对$\Omega$的任意一事件$A$，有
$$P(A)=\sum\limits_{i=1}^nP(A|B_i)P(B_i)$$

怎么理解？
把$B_i$看成每个小空间，讲$B_i$上$A$发生的概率加起来就是$A$在$\Omega$上发生的概率。

5.（贝叶斯公式）：设事件$B_1,B_2,\cdots, B_n$是样本空间$\Omega$的一个分割，且他们各自的概率皆已知且为正，又设$A$是$\Omega$中的一个事件，$P(A)>0$，且在$B_i$给定下事件$A$的条件概率$P(A|B_1),P(A|B_2),\cdots,P(A|B_n)$已知。则在$A$给定下，事件$B_k$的条件概率为：
$$P(B_k|A)=\frac{P(A|B_k)P(B_k)}{P(A)}=\frac{P(A|B_k)P(B_k)}{\sum\limits_{i=1}^n P(A|B_i)P(B_i)}$$

我们称$P(B_k|A)$为后验概率，而$P(B_k)$为先验概率。

怎么理解？
我们把$B_i$看成一个人的决策集合，$P(B_i)$代表做$B_i$的决策的概率，现在通过试验我们得到了一个结果$A$，利用$A$我们可以得到$A$发生的时候$B_i$发生的概率，这样为做决策得到了试验的依据，可以根据试验情况改变决策。

条件概率的例子

下面对于三个公式各给出一个例子

$eg1$（波利亚坛子模型）：设摊子内有$b$个黑球和$r$个红球，每次随机取出一个球， 把原球放回，还加进（与取出的球）同色的$c$个和异色球$d$个，这里$c$和$d$都是已知的整数。设$B_i$表示“第$i$次取出的是黑球”这一事件，$R_j$表示“第$j$次取出的是红球”这一事件，我们来研究下面几个事件的概率：
$$ P(B_1R_2R_3)=P(B_1)P(R_2|B_1)P(R_3|R_2B_1)=\frac{b}{b+r}\cdot\frac{r+d}{(b+c)+(r+d)}\cdot\frac{r+d+c}{(b+c+d)+(r+d+c)}$$

$$P(R_1B_2R_3)=P(R_1)P(B_2|R_1)P(R_3|B_2R_1)=\frac{r}{b+r}\cdot\frac{b+d}{(b+d)+(r+c)}\cdot\frac{r+c+d}{(b+d+c)+(r+c+d)} $$

$$ P(R_1R_2B_3)=P(R_1)P(R_2|R_1)P(B_3|R_2R_1)=\frac{r}{b+r}\cdot\frac{r+c}{(b+d)+(r+c)}\cdot\frac{b+2d}{(b+d+d)+(r+c+c)}$$

可以发现，这三个概率不一样，表明黑球出现的次序在影响着概率。

我们研究几个特殊的情况：

（1）$c>0,d=0$。这意味着每次取出球后会增加下一次也取到同色球的概率，这是一个传染病模型。每次发现一个传染病患者，以后都会增加再传染的概率。在这种情况下，上面三个概率分别为：

$$ P(B_1R_2R_3)=\frac{b}{b+r}\cdot\frac{r}{(b+c)+(r)}\cdot\frac{r+c}{(b+c)+(r+c)}$$

$$P(R_1B_2R_3)=\frac{r}{b+r}\cdot\frac{b}{(b)+(r+c)}\cdot\frac{r+c}{(b+c)+(r+c)} $$

$$ P(R_1R_2B_3)=\frac{r}{b+r}\cdot\frac{r+c}{(b)+(r+c)}\cdot\frac{b}{(b)+(r+c+c)}$$

可以发现这三个概率相同，这表明在$d=0$的时候，上述概率只与黑球和红球的次数有关，而与次序无关。

（2）$c=0,d>0$这是一个安全模型，每当发生事故（抓出红球）的时候安全工作就抓紧一些（放入黑球），否则就放松一些（放入红球），在这种情况下，上述三个概率分别为：

$$ P(B_1R_2R_3)=\frac{b}{b+r}\cdot\frac{r+d}{(b)+(r+d)}\cdot\frac{r+d}{(b+d)+(r+d)}$$

$$P(R_1B_2R_3)=\frac{r}{b+r}\cdot\frac{b+d}{(b+d)+(r)}\cdot\frac{r+d}{(b+d)+(r+d)} $$

$$ P(R_1R_2B_3)=\frac{r}{b+r}\cdot\frac{r+c}{(b+d)+(r)}\cdot\frac{b+2d}{(b+d+d)+(r)}$$

这三个概率不相同，说明出事故的顺序影响着第$k$次出事故的概率。

（3）$c=0,d=0$，这是放回模型，抽$n$次抽出红球的次数这一随机变量服从二项分布$B(n,r/(b+r))$
（4）$c=-1,d=0$，这是不放回模型，抽$n$次抽出红球的次数这一随机变量服从超几何分布。

$eg2$（敏感问题调查模型）：调查敏感问题时，有些人不愿如实回答，这时我们可以设计两个问题：

A：你的生日是否在7月1日以前？
B为敏感问题。

在问卷上我们只有是和否两个选项，同时设置一个包含红球和黑球的罐子，若抽出红球则回答A，否则回答B。且设罐中有红球$r$个，有黑球$b$个。（我们认为这个过程没有人监督，即所有填写问卷的人都如实回答。）
在调查后，我们可以得到问卷中填是的频率是$f=\frac{k}{n}$，我们用频率估计概率得到$P(是)=\frac{k}{n}$。
这里回答“是”有两种情况。一种是摸到红球回答“是”，一种是摸到黑球回答“是”。
对于第一种情况我们认为$P(是|红球)=0.5$，而对于第二种情况，我们想知道的就是$P(是|黑球)$，设为$p$。
我们可以得到：
$$P(是)=P(红球)\cdot P(是|红球)+P(黑球)\cdot P(是|黑球)$$
即：
$$\frac{k}{n}=\frac{r}{r+b}\cdot 0.5 + \frac{b}{b+r}\cdot p$$
由此我们可以直接解出$p$。

$eg3$：为提高公司产品的质量，公司经理经过考虑后增加投资来改进生产设备，但从投资效果来看，下属部门有两种意见：
$$B_1：改进生产设备后，高质量产品可以占90\%$$
$$B_2：改进生产设备后，高质量产品可以占70\%$$
经理认为两种事件发生的概率为等可能的，即$P(B_1)=P(B_2)=0.5$。
经过试验一次试验$A$，试验结果为：试制了五个产品，全是高质量产品。
经理希望用此结果去改变其对最初观点的看法。我们由贝叶斯公式可以知道：
$$P(B_1|A)=\frac{P(A|B_1)P(B_1)}{P(B_1)P(A|B_1)+P(B_2)P(A|B_2)}=\frac{0.5\cdot 0.9^5}{0.5\cdot 0.9^5+0.5\cdot 0.7^5}$$

$$P(B_2|A)=\frac{P(A|B_2)P(B_2)}{P(B_1)P(A|B_1)+P(B_2)P(A|B_2)}=\frac{0.5\cdot 0.7^5}{0.5\cdot 0.9^5+0.5\cdot 0.7^5}$$

显然$P(B_1|A)>P(B_2|A)$，所以经理对$B_1$更加信任。

注记：这个例子反映了机器学习中贝叶斯学习的过程。在机器学习中，试验$A$即为训练集中各个标签的频率，然后我们得到了后验概率后就可以在验证集中每个元素的分类。