随机变量的数学特征复习笔记
简要介绍数学期望，方差，矩，分位数
数学期望
在日常生活中，求平均值是一个很常见的一种运算，例如求平均分，平均工资等。假设我们有$n$个样本，取值分别为$x_1,x_2,\cdots ,x_n$，则他们的平均值即为：
$$\bar{x}=\frac{x_1+x_2+\cdots +x_n}{n}$$
加入我们给这些数一个权值$w_1,w_2,\cdots ,w_n$，则令
$$\bar{x}=\sum\limits_{i=1}^n w_ix_i$$
称为这$n$个样本的加权平均。
$Def$：设$X$为一离散型随机变量，它取值$x_1,x_2,\cdots $对应概率为$p_1,p_2,\cdots$，如果级数
$$\sum_{i=1}^\infty x_ip_i$$
绝对收敛，则将其称为$X$的数学期望，简称期望，或均值，记为$EX$。
注记：当$\sum\limits_{i=1}^\infty |x_i|p_i$发散时，则说$X$的期望不存在。（此时即使$\sum\limits_{i=1}^\infty x_ip_i$条件收敛，我们也可以通过调换顺序让其和为任意值。）
$Def2$：设$X$设连续型随机变量，当积分$\int_{-\infty}^\infty x p(x)dx$绝对收敛时，我们称它为$X$的数学期望，记做$EX$
从Riemann-Stieltjes积分的角度可以这么定义：
$Def3$：若$X$的分布函数为$F(x)$，则定义
$$EX=\int_{-\infty}^\infty xdF(x)$$
为$X$的数学期望（我们这里还要求上述积分绝对收敛）。
随机变量函数的数学期望
$Th$：若$g(x)$是一元博雷尔函数，且$\eta = g(\xi)$，则
$$\int_{-\infty}^{\infty}ydF_\eta(y)=\int_{-\infty}^{\infty}g(x)dF_\xi(x)$$
注记：等式左端是$\eta$的数学期望的计算公式，而右边是将$x$替换成了$g(x)$所得到的，我们可以证明这两者相等。
在离散型场合，我们有
$$Eg(\xi)=\sum\limits_{i=1}^\infty g(x_i)p(x_i)$$
在连续型场合，我们有
$$Eg(\xi)=\int_{-\infty}^{\infty}g(x)p(x)dx$$
数学期望的性质
性质1：设$a,b,c$为常数，若$a\leq \xi \leq b$，则$a\leq E\xi \leq b$，特别的$Ec=c$。
性质2：线性性：对任一常数$c_i ~ i=1,2,\cdots n$和$b$有
$$E(\sum\limits_{i=1}^n c_iX_i+b)=\sum\limits_{i=1}^n c_iEX_i+b$$
特别地
$$E(\sum\limits_{i=1}^n X_i)=\sum\limits_{i=1}^n EX_i$$
数学期望的求法
我们在这里介绍几种分布的数学期望的求法。
1.二项分布$X\sim b(n,p)$
$$Ex=\sum\limits_{k=0}^n kC_n^kp^kq^{n-k}=np\sum\limits_{k=1}^nC_{n-1}^{k-1}p^{k-1}q^{n-k}= np(p+q)^{n-1}=np$$
注记：我们用到了组合恒等式$k\cdot C_n^k=n\cdot C_{n-1}^{k-1}$和二项式定理。
2.柯西分布$p(x)=\frac{1}{\pi}\cdot \frac{1}{1+x^2}$
由于$$\int_{-\infty}^{\infty}|x|\frac{1}{\pi \cdot (1+x^2)}=\infty$$
因此柯西分布的数学期望不存在。
注记：事实上，上述积分甚至不条件收敛，但是其有柯西主值0。
3.正态分布$N(\mu,\sigma^2)$
令$Y=\frac{X-\mu}{\sigma}$，则$Y\sim N(0,1)$我们有
$$EY=\int_{-\infty}^{\infty}\frac{1}{\sqrt{2\pi}}\cdot xe^\frac{-x^2}{2}dx=0$$
那么$EX=E(\sigma Y+\mu)=\mu$
注记：正态分布的第一个分量是其数学期望。
4.超几何分布的数学期望
设想一个不放回的抽样，令
$$
x_i=\begin{cases}
1 & 第i次抽得次品 \\
0 & 第i次抽得好品
\end{cases}
$$
则$P(x_i=1)=\frac{M}{N}$，因此$EX_i=\frac{M}{N}$，而$X=X_1+\cdots + X_n$，表示$n$次不放回抽样中抽出的次品数。他服从上述超几何分布，则有
$$EX=EX_1+\cdots EX_n=\frac{nM}{N}$$
方差
$Def$：设随机变量$X$的$EX^2$存在，则称偏差$X-EX$平方的数学期望$E[X-EX]^2$为随机变量$X$的方差，记为$DX$或者$Var(X)$。
注记：
$$E(X-EX)^2=E(X^2-2X\cdot EX+(EX)^2)=EX^2-2EX\cdot EX+(EX)^2=EX^2-(EX)^2$$
在实际计算的时候我们可以用此公式$来计算
方差的性质
性质1:常数的方差为0
性质2:$D(X+c)=DX$，这里$c$是常数
性质3:$D(cX)=c^2DX$，这里$c$是常数
性质4:若$c\neq EX$，则$DX<E(X-c)^2$
$Proof$:因为
$$DX=E(X-EX)^2=E((X-c)-(EX-c))^2=E(X-c)^2-(EX-c)^2$$
所以$EX\neq c$时，$DX>E(X-c)^2$.
注记：对于随机变量$X$,若他的数学期望$EX$和方差$DX$都存在，且$DX>0$，我们有时可以考虑标准化随机变量$X^*=\frac{X-EX}{\sqrt{DX}}$，显然$EX^*=0,DX^*=1$，这正是称$X^*$为标准化随机变量的理由。
切比雪夫不等式
$Th$：对于任何具有有限方差的随机变量$X$，都有
$$P(|X-EX|\geq \epsilon)\leq \frac{DX}{\epsilon^2}$$
$Proof$：设$F(x)$是$X$的分布函数，则显然有
$$DX=\int_{-\infty}^\infty(x-EX)^2dF(x)\geq \int\limits_{|x-EX|\geq \epsilon}(x-EX)^2dF(x)\geq \int\limits_{|x-EX|\geq \epsilon}\epsilon^2 dF(x)$$
$$=\epsilon^2 P(|X-EX|\geq \epsilon)$$
注记：我们这里的积分仍然是$Riemann-Stieltjes$积分
常见分布的数学期望和方差
下面给出一些最常见的分布的数学期望和方差
离散型
| 分布名称 | 概率分布或密度函数$p(x)$ | 数学期望 | 方差 |
|---|---|---|---|
| 退化分布 | $p_c=1$ $(c$为常数$)$ | $c$ | $0$ |
| 两点分布 | $p_k=\begin{cases}q & k=0 \\ p & k=1 \end{cases},$ $~~~~ 0<p<1,q=1-p$ | $p$ | $pq$ |
| 二项分布 | $b(k;n,p)=C_n^kp^kq^{n-k} ~~~ k=0,1,\cdots n, ~~~ 0<p<1, ~~~ q=1-p$ | $np$ | $npq$ |
| 泊松分布 | $p(k;\lambda)=\frac{\lambda^k}{k!}e^{-\lambda}, ~~~ k=0,1,\cdots, ~~~ \lambda >0$ | $\lambda$ | $\lambda$ |
| 几何分布 | $g(k;p)=q^{k-1}p, ~~~ k=1,2,\cdots,~~~ 0<p<1, ~~~ q=1-p$ | $\frac{1}{p}$ | $\frac{q}{p^2}$ |
| 超几何分布 | $p_k=\frac{C_M^k C_{N-M}^{n-k}}{C_N^n}, ~~~ M\leq N,n\leq N, ~~~ k=0,1,\cdots min(M,n)$ | $ \frac{nM}{N}$ | $\frac{nM}{N}(1-\frac{M}{N})\cdot \frac{N-n}{N-1}$ |
连续型
| 分布名称 | 概率分布或密度函数$p(x)$ | 数学期望 | 方差 |
|---|---|---|---|
| 正态分布$N(\mu,\sigma^2)$ | $p(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}, ~~~ -\infty < x < \infty , ~~~ \mu ,\sigma >0$ | $\mu$ | $\sigma^2$ |
| 均匀分布 $U[a,b]$ | $p(x)=\begin{cases}\frac{1}{b-a} & a\leq x \leq b \\ 0 & otherwise \end{cases}, ~~~ a<b$ | $\frac{a+b}{2}$ | $\frac{(b-a)^2}{12}$ |
| 指数分布$Exp(\lambda)$ | $p(x)=\begin{cases}\lambda e^{-\lambda x} & x\geq 0 \\ 0 & x<0 \end{cases} ~~~ \lambda >0$ | $\frac{1}{\lambda}$ | $\frac{1}{\lambda^2}$ |
| $\chi^2$分布 | $p(x)=\begin{cases}\frac{1}{2^{n/2}\Gamma(\frac{n}{2})}x^{\frac{n}{2}-1}e^{-\frac{x}{2}} & x\geq 0 \\ 0 & x<0 \end{cases} ~~~ n\in \mathbb{Z}$ | $n$ | $2n$ |
| 柯西分布 | $p(x)=\frac{1}{\pi}\cdot \frac{\lambda}{\lambda^2+(x-\mu)^2},~~~ -\infty < x < \infty, ~~~ \lambda>0 $ | 不存在 | 不存在 |
其他数学特征
矩
$Def$：设$X$为随机变量，$c$为常数，$k$为正整数，则量$E(X-c)^k$（假如它存在）称为$X$分布关于$c$的$k$阶矩。若$c=0$，则量$EX^k$成为$X$分布的$k$阶原点矩，记为$\mu_k$，若$c=EX$，则量$E(X-EX)^k$称为$X$分布的$k$阶中心矩，记为$\nu_k$。
注记1:一阶原点矩就是数学期望，二阶中心矩就是方差。在实际应用中很少应用四阶以上的矩。
注记2:由于$|X|^{k-1}\leq |X|^k+1$故$k$阶矩存在时，$k-1$阶矩也存在，从而低于$k$阶的矩都存在。
注记3:原点矩和中心矩可以互相表出。
$$\nu_k=E(X-EX)^k=E(X-\mu_1)^k=\sum_{i=0}^k C_k^i\mu_i(-\mu_1)^{k-i}$$
$$\mu_k=EX^k=E((X-\nu_1)+\nu_1)^k=\sum_{i=0}^k C_k^i \nu_{k-i}\mu_1^i$$
分位数和中位数
$Def$：对$0<p<1$，若$F(x_p)\leq p \leq F(x_p^+)$，则称$x_p$为分布函数$F(x)$的$p$分位数。其中$x_{0.5}$称为中位数。
众数
$Def$：设$X$是离散型随机变量，则$X$的最可能取的值称为$X$分布的众数。