第十六章
概率统计与随机过程
本章扼要的介绍了概率论的重要内容,除了介绍随机事件及其概率、随机变量和分布函数、随机变量的数值特征、概率母函数、矩母函数和特征函数、大数法则和中心极限定理等基本概念外,还介绍了正态分布表和概率纸的用途。这一章着重的叙述了常用数理统计方法,包括样本及其频率分布、总体参数的区间估计、统计检验、方差分析、回归分析、正交实验设计、抽样检验、质量评估(工序控制)等八个部分;最后简述了随机过程论的基本内容,突出了较为常用的马尔科夫过程和平稳随机过程。
§1 概率论
一、
事件与概率
1.随机事件及其运算关系
[随机事件 · 必然事件 · 不可能事件] 在一定条件下,可能发生也可能不发生的试验结果称为随机事件,简称事件,用A , B , C ,···表示。随机事件有两个特殊情况,即必然事件(在一定条件下,每次试验都必定发生的事件)和不可能事件(在一定条件下,各次试验都一定不发生的事件),分别记为Ω和Φ。
[事件的运算关系]
1° 包含 当事件B发生时,事件A也一定发生,则称A包含B或B包含于A中,记作AB,或B
A。
2° 等价 如果AB且A
B,即事件A和B同时发生或不发生,则称A与B等价,记作A=B。
3° 积 表示事件A和B同时发生的事件,称为A与B的积,记作AB(或AB)。
4° 和 表示事件A或事件B发生的事件,称为A与B的和,记作AB(或A+B)。
5° 差 表示事件A发生而事件B不发生的事件,称为A与B的差,记作A \ B(或A)。
6° 互斥 如果事件A与B不可能同时发生,即AB,那末称A与B是互斥(或互不相容)的。
7° 对立 如果事件A与B互斥,又在每次试验中不是出现A就是出现B,即AB=
且A
B=Ω,那末称B为A 的对立事件,记作B=
。
8° 完备 如果事件A1 ,A2 ,
··· , An在每次试验中至少发生一个,即
,则称{A1,A2,··· ,An}构成一个事件完备组。特别当A1 ,A2 ,··· ,An又是两两互斥时,即Ai
Aj=
(i
j,i,j=1,2,··· ,n),就称{A1,A2 ,··· ,An}是两两互斥的事件完备组。
2、概率的几种定义
[频率与概率] 随机事件在一次试验中是否发生,固然是无法事先肯定的偶然现象,但当进行多次重复试验,就可以发现其发生的可能性大小的统计规律性。具体说,如果在相同条件下进行n次重复试验,事件A出现了v次,那末事件A在n次试验中出现的频率当n无限增大时呈现稳定性。这一统计规律性表明事件A发生的可能性大小是事件本身所固有的、不以人们主观意志改变的一种客观属性。事件A发生的可能性大小称为事件A的概率,记作P(A)。当试验的次数n足够大,可用事件的频率近似地表示该事件的概率,即
[概率的古典定义] 设一个随机试验(不能事先准确的预言它的结果,而且在相同条件下可以重复进行的试验)只有有限个不同的基本事件ω1 , ω2 , ··· ,ωn(基本事件也是一种事件,一般的事件总是有几个基本事件共同组成的),每个基本事件都是等可能*的,基本事件的全体记作Ω,称它为基本事件空间,如果事件A由k (kn) 个不同的基本事件组成,那末规定A的概率P(A)为
不可能事件的概率规定为
[概率的公理化定义]
定义 1 设,F
,如果F满足下面条件:
(i)F;
(ii) 若F,则
F(
);
(iii) 对于任意F (n=1,2,···),有
F
则称F是中的一个
代数。
定义2 设是
代数F上的实值集函数,如果它满足条件:
(i) 对任意F,有0
P(A)
1;
(ii) ;
(iii) 对任意F(n=1 , 2 , ···),Ai
Aj=
( i
j )
有
P(
)=
An)
则称P(A)为F上的概率测度,或简称概率。这时,称ω为基本事件,A(F)称为事件,F是事件的全体,P(A)称为事件A的概率,<
,F ,P>
称为概率空间。
3.概率的基本性质
1° 0P(A)
1
2° P(必然事件)=P(Ω)=1
3° P(不可能事件)=P()=0
4° P(AB)=P(A)+P(B)—P(A
B)
若A , B互斥,则P(AB)=P(A)+P(B)
若A1 , A2 , ··· , An两两互斥,则
P()=P(A1)+P(A2)+···+P(An)=1
5° 若AB,则P(A)
P(B)
6° 若AB,则P(A)
(B)=P(A\B)
7° 对任意事件A,P()=1
(A)
8° 若A1 , A2 ,··· , An是两两互斥的事件完备组,则
P( )=P(A1)+P(A2)+···+P(An)=1
9° 设AnF,An
An+1 ,
n=1,2,···,令A=
n , 则
P(A)= (连续性定理)
4、概率的计算公式
[条件概率与乘法公式] 在事件B发生的条件下,事件A发生的概率称为事件A在事件B已发生的条件下的条件概率,记作P(A|B)。当P(B)>0时,规定
P(A|B)=
当P(B)=0时,规定P(A|B)=0。由此得出乘法公式:
P(A=P(B)P(A|B)=P(A)P(B|A)
P(A1A2···An)=P(A1)P(A2|A1)P(A3|A1A2)···P(An|A1A2···An-1) (P(A1A2···An-1)>0)
[独立性公式] 如果事件A与B满足P(A|B)=P(A),那末称事件A关于事件B是独立的。独立性是相互的性质,即A关于B独立,B一定关于A独立,或称A与B相互独立。
A与B相互独立的充分必要条件是:
P(AB)=P(A)P(B)
如果事件A1 ,A2 ,···, An中任意m个()
都满足关系式
称A1 , A2 ,···, An是总起来独立的,简称为相互独立。
[全概率公式] 如果事件组B1 , B2 ,···满足
P()=1, P(Bi)>0 (i=1,2,···)
则对于任意一事件A,有
如果Bi只有n个,公式也成立,此时右端只有n项相加。
[贝叶斯公式] 如果事件组B1 , B2 ,···满足
(i
j)
,
则对于任一事件A(P(A)>0),有
P(Bi |A)=
如果Bi只有n个,公式也成立,此时右端分母只有n项相加。
[伯努利公式] 设一次试验中某事件A出现的概率为p,则n次重复试验中事件A出现k次的概率pn,k为
pn,k = pk(1
)n-k (k=0,1,···,n)
式中为二项系数。
当n和k都很大时,有近似公式
pn,k
式中,
。
[泊松公式] 当n充分大,且p很小时,有近似公式
pn,k
式中= np。
二、
随机变量与分布函数
[随机变量及其概率分布函数] 每次试验的结果可以用一个变量的数值来表示,这个变量的取值随偶然因素而变化,但又遵从一定的概率分布规律,这种变量称为随机变量,用
,···表示。它是随机现象的数量比。
给定随机变量,它的取值不超过实数x的事件的概率P(
x)是x的函数,称为
的概率分布函数,简称分布函数,记作F(x) ,即
F(x)=P( (
[分布函数的基本性质]
1° ,
2° 若x1<x2,则F(x1)F(x2) (单调性)
3° F(x+0)=F(x) (右连续性)
4° P(a<=F(b)
(a)
5° P(=F(a)
0)
[离散分布与概率分布列] 如果随机变量只能取有限个或可列个数值x1 ,
x2 ,···, xn ,···,就称
为离散型随机变量。若记P(
)=pk (k=1,2,···),则
取值的概率分布由{pk}完全确定。称{pk}为
的概率分布列。{pk}有以下性质:
1°
2° =1
3° 设D为实数轴上任一可测集,则P(
4° 的分布函数
F(x)=
是在处有跳跃
的阶梯函数。
[连续分布与分布密度函数] 如果随机变量的分布函数F(x)能够表示为
F(x)= (p (x)非负)
就称是连续型随机变量。p(x)称为
的分布密度函数(或分布密度)。分布密度函数具有以下性质:
1° p(x)=
2°
3° 若p (x)是连续型随机变量的分布密度,则对实数轴上的任一可测集D,有
[随机变量的函数的分布] 如果随机变量是随机变量
的函数
设随机变量的分布函数为F(x),则
的分布函数G(x)为
G(x)=
特别,当是离散型随机变量时,其可能值为x1 , x2,···,且P
,则
G(x)=
当是连续型随机变量时 ,其分布密度为p(x),则
G(x)=
[随机矢量的联合分布函数与边缘分布函数] 如果···,
联系于同一组条件下的n个随机变量,则称
···,
)为n维随机变量或随机矢量。
若(x1 , x2 ,···,xn)是n维实数空间Rn上的一点,则事件“···,
的概率
作为x1 , x2 ,···, xn的函数,称为随机矢量···,
的联合分布函数。
设(···,
是(
···,
中任意取出m(m
n)个分量构成的m维随机变量,则称(
···,
的联合分布函数为(
···,
的m维边缘分布函数。
这时,如果分别记(···,
与(
···,
的分布函数为F(x1,x2,···,xn)与
,那末
=F(
···,x
,···,
,···,x
,···,
)
[条件分布函数与独立性] 设是一随机变量,事件B满足P(B)>0,则称
F(x|B)=P (x|B)
为在事件B已发生的条件下的条件分布函数。
1° 设(,
是二维离散型随机变量,
和
的可能取值分别为xi (i=1,2,···)和yk (k=1,2,···).又记(
,
的联合分布为
P(= pik
两个一维边缘分布为
P(=
·=
(i=1,2,···)
P(=
=
则称
P(|
)=
为在条件下离散型随机变量
的条件分布。类似的,称
P(|
)=
(
>0,
k=1,2,···)
为在条件下离散型随机变量
的条件分布。
2° 设()是二维连续型随机变量,其联合分布密度是f(x,y),在点y ,
则称
为在
=y条件下的条件分布函数,在点x,
则称
为在
条件下的条件分布函数。
3° 如果(···,
的联合分布函数等于所有一维边缘分布函数的乘积,即
F(x1 , x2 ,···, xn)=
(它相当于P(,···,
n
xn)=
那末称
,···,
是相互独立的。
三、
随机变量的数字特征
[数学期望(均值)与方差] 随机变量的数学期望(或均值)记作E
(或M
),它描述了随机变量的取值中心。随机变量(
)2的数学期望称为
的方差,记作D
(或Var
),而D
的平方根称为
的均方差(或标准差),记作
=
。它们描述了随机变量的可能取值与均值的偏差的疏密程度。
1° 若是连续型随机变量,其分布密度为p(x),分布函数为F(x),则(当积分绝对收敛时)
E=
D=
2° 若是离散型随机变量,其可能取值为xk , k=1,2,···,且P(
=xk)=pk,则(当级数是绝对收敛时)
E
D=
pk
[均值与方差的几个公式]
1 ° D=E
2-(E
)2
2° Ea=a , Da=0 (a为常数)
3° E(c)=cE
, D(c
)=c2D
(c为常数)
4° E(
5° 若1 ,
2 ,···,
n为互相独立的n个随机变量,则
E(1+
2+···+
n)=E
1+E
2+···+E
n
D(1+
2+···+
n)=
6° 若1 ,
2
,···,
n为互相独立的n个随机变量,则
E(1
2···
n)=(E
1)(E
2)···(E
n)
D(1+
2+···+
n)=D
1+D
2+···+D
n
7° 若1 ,
2 ,···,
n为互相独立的随机变量,且
=0, D
k=
(k=1,2,···,n)则随机变量
的均值与方差分别为
[契贝谢夫不等式] 对任一给定的正数,有
[条件数学期望与全数学期望公式] 设F(x|B)是随机变量对事件B的条件分布函数,则
称为(当积分绝对收敛时)对事件B的条件数学期望。若
是连续型随机变量,其条件分布密度为p(x|B),则
若是离散型随机变量,其可能取值为x1 , x2 ,···,则
若B1 , B2 ,···,Bn是两两互斥的事件完备组,则有全数学期望公式
[中位数、众数与均值的关系] 满足
P(,
P(
的数m称为随机变量的中位数。换句话说,m满足下面两式:
P(
P(
使分布密度函数取值为最大,即
p()=极大值
的称为随机变量
的众数。
对于单峰对称分布函数,m==
(均值)
对于非对称单峰分布函数,m位于与
之间。
[高阶原点矩与中心矩] 当r,随机变量
和(
的数学期望(假设存在)分别称为随机变量
的r阶原点矩和r阶中心矩,分别记作
和
。特别,
为均值,
为方差。
1° 若是连续型随机变量,其分布密度为p(x),则
2° 若是离散型随机变量,其可能取值为xk (k=1,2,···),且P(
=xk)=pk ,则
3° 当r,随机变量
和
的数学期望(假设存在)分别称为随机变量
的r阶绝对原点矩和r阶绝对中心矩。且有类似公式与1°,2°对应。
4° 原点矩和中心矩
满足如下关系(r是正整数);
式中为二项系数。
[协方差与相关系数]
设随机变量和
的均值和方差都存在,则
和
的协方差
或Cov(
为
=E[(
和
的相关系数
为
=
四、
概率母函数·矩母函数·特征函数
[整数值随机变量的概率母函数] 若是只取非负整数值的随机变量,则称随机变量函数
的均值
为随机变量
的概率母函数。记P=(
=k)=pk ( k=0,1,2,···), 则
的概率母函数是
P( (-1
设,则
(1)=E
(1)=E[
···········································
P
反过来有
[矩母函数]
若是随机变量,则称随机变量函数
的均值
为的矩母函数。如果
有任意阶原点矩
···),则
1° 若是离散型随机变量,其可能值为x1, x2,···,
则
2° 若是连续型随机变量,其分布密度为p(x),则
[特征函数]
若是随机变量,称复值随机变量e
的均值
(i=
)
为的特征函数。如果
有任意阶原点矩
(k=1,2,···),则
若
是离散型随机变量,其可能值为x1 , x2 ,···, P(
,则
2° 若是连续型随机变量,其分布密度为p(x),则
[概率母函数、矩母函数和特征函数之间的关系]
P(et)=
P(eit)=
五、
常用分布函数
1、 常用离散型分布
名称记号 |
概率分布及其定义域 参数条件 |
均值 |
方差 |
概率母函数 |
矩母函数 |
特征函数 |
图 示 |
|
二项分布 |
|
|
|
|
|
|
|
|
泊松分布 |
|
|
|
|
|
|
|
|
几何分布 |
|
|
|
|
|
|
|
|
负二项分布 |
|
|
|
|
|
|
|
|
单点分布 |
|
|
|
|
|
|
|
|
名称记号 |
概率分布及其定义域 参数条件 |
均值 |
方差 |
概率母函数 |
矩母函数 |
特征函数 |
图 示 |
|
对数分布 |
|
|
|
|
|
|
|
|
超几何分布 |
|
|
( |
|
||||
2、常用连续分布
名称记号 |
分布密度及其定义域 参数条件 |
均值 |
方差 |
矩母函数 |
特征函数 |
图 示 |
均布函数 |
|
|
|
|
|
|
标准正态分布 |
|
0 |
1 |
|
|
|
正态分布 |
|
|
|
|
|
|
瑞利分布 |
|
|
|
|
|
|
指数分布 |
|
|
|
|
|
|
贝塔分布 |
|
|
|
(库默尔函数) |
|
|
伽马分布 |
|
|
|
|
|
|
对数正态分布
|
|
|
|
|
|
|
|
n为正整数 |
n |
2n |
|
|
|
|
n为正整数 |
0 (n>1) |
|
|
|
|
F分布(自由度(m,n)) F(m,n) |
|
|
|
(库默尔函数) |
|
|
威 尔 布 分 布 |
位置参数 |
|
|
|
|
|
柯 西 分 布 |
|
不存在 |
|
|
六、大数法则与中心极限定理
[大数法则]
1° 伯努利定理 随机事件A在n次独立试验中的频率依概率收敛于事件A的概率p,即对任意
,
2° 互相独立的随机变量···如果(i)存在均值方差。记E
,
···)
;或者(ii)具有相同分布,且有有限均值E。那末
依概率收敛于随机变量的均值,即对任意
,
3° 如果互相独立具有相同分布的随机变量的均值和方差都存在,记
那末
依概率收敛于随机变量的方差,即对任意
,
[中心极限定理]
1° 如果互相独立具有相同分布的随机变量的均值和方差都存在,记
,那末随机变量
渐近地遵从标准正态分布N(0,1),即
2°
在1°的条件下,有
或
七、
正态分布表的用途
实用中,很多随机现象都遵从正态分布,或经适当变换而渐近的遵从正态分布。本手册附有正态概率积分
的数值表,以及积分
(K
中值与
值对应表。利用它们可计算下列问题:
1° 遵从标准正态分布的随机变量
落在区间
内的概率为
单边概率为
(或从值与
值对应表中查出
的
值来)。
2°
已知,确定积分
中的。由对称性
从值与
值对应表中找出
,则
。
3° 遵从正态分布的随机变量
落在区间
内的概率为
单边概率为