第十六章         概率统计与随机过程

 

    本章扼要的介绍了概率论的重要内容,除了介绍随机事件及其概率、随机变量和分布函数、随机变量的数值特征、概率母函数、矩母函数和特征函数、大数法则和中心极限定理等基本概念外,还介绍了正态分布表和概率纸的用途。这一章着重的叙述了常用数理统计方法,包括样本及其频率分布、总体参数的区间估计、统计检验、方差分析、回归分析、正交实验设计、抽样检验、质量评估(工序控制)等八个部分;最后简述了随机过程论的基本内容,突出了较为常用的马尔科夫过程和平稳随机过程。

 

§1  概率论

 

一、        事件与概率

 

1.随机事件及其运算关系

[随机事件 · 必然事件 · 不可能事件] 在一定条件下,可能发生也可能不发生的试验结果称为随机事件,简称事件,用A , B , C ,···表示。随机事件有两个特殊情况,即必然事件(在一定条件下,每次试验都必定发生的事件)和不可能事件(在一定条件下,各次试验都一定不发生的事件),分别记为ΩΦ

[事件的运算关系]

     1°  包含  当事件B发生时,事件A也一定发生,则称A包含BB包含于A中,记作AB,或BA

     2°   等价  如果ABAB即事件AB同时发生或不发生,则称AB等价,记作A=B

     3°       表示事件AB同时发生的事件,称为AB的积,记作AB(AB)。

     4°     表示事件A或事件B发生的事件,称为AB的和,记作AB(A+B)。

     5°        表示事件A发生而事件B不发生的事件,称为AB的差,记作A \ B(或A)。

     6°    互斥   如果事件AB不可能同时发生,即AB,那末称AB是互斥(或互不相容)的。

     7°     对立   如果事件AB互斥,又在每次试验中不是出现A就是出现B,即AB=AB=Ω,那末称BA 的对立事件,记作B=

     8°  完备   如果事件A1 A2 , ··· , An在每次试验中至少发生一个,即 ,则称{A1A2··· An}构成一个事件完备组。特别当A1 A2 ··· An又是两两互斥时,即AiAj=ijij=12··· n),就称{A1A2 ··· An}是两两互斥的事件完备组。

2、概率的几种定义

[频率与概率]  随机事件在一次试验中是否发生,固然是无法事先肯定的偶然现象,但当进行多次重复试验,就可以发现其发生的可能性大小的统计规律性。具体说,如果在相同条件下进行n次重复试验,事件A出现了v次,那末事件An次试验中出现的频率n无限增大时呈现稳定性。这一统计规律性表明事件A发生的可能性大小是事件本身所固有的、不以人们主观意志改变的一种客观属性。事件A发生的可能性大小称为事件A的概率,记作P(A)。当试验的次数n足够大,可用事件的频率近似地表示该事件的概率,即

                        

[概率的古典定义]  设一个随机试验(不能事先准确的预言它的结果,而且在相同条件下可以重复进行的试验)只有有限个不同的基本事件ω1  , ω2  , ··· ,ωn(基本事件也是一种事件,一般的事件总是有几个基本事件共同组成的),每个基本事件都是等可能*的,基本事件的全体记作Ω,称它为基本事件空间,如果事件Ak (kn) 个不同的基本事件组成,那末规定A的概率P(A)

不可能事件的概率规定为

[的公理化定义]

    定义 1   F,如果F满足下面条件:

    iF;

     (ii)  F,则F;

     (iii) 对于任意F (n=1,2,···)

F

则称F中的一个代数。

    定义2  代数F上的实值集函数,如果它满足条件:

    i 对任意F,有0P(A)1

    ii

    iii 对任意F(n=1 , 2 , ···)AiAj=  ( ij )

             P( )=An)

则称P(A)F上的概率测度,或简称概率。这时,称ω为基本事件,A(F)称为事件,F是事件的全体,P(A)称为事件A的概率,<,F ,P>称为概率空间。

3.概率的基本性质

    1°  0P(A)1

    2°    P(必然事件)=P(Ω)=1

    3°  P(不可能事件)=P()=0

    4°   P(AB)=P(A)+P(B)P(AB)

       A , B互斥,则P(AB)=P(A)+P(B)

       A1 , A2  , ··· , An两两互斥,则

P()=P(A1)+P(A2)+···+P(An)=1

    5°    AB,则P(A)P(B)

    6°  AB,则P(A)(B)=P(A\B)

    7°  对任意事件AP()=1 (A)

    8°  A1  , A2  ,··· , An是两两互斥的事件完备组,则

P( )=P(A1)+P(A2)+···+P(An)=1

    9°   AnFAnAn+1 , n=1,2,···,A=n  ,

P(A)=    (连续性定理)

4、概率的计算公式

[条件概率与乘法公式] 在事件B发生的条件下,事件A发生的概率称为事件A在事件B已发生的条件下的条件概率,记作P(A|B)。当P(B)>0时,规定

P(A|B)=

P(B)=0时,规定P(A|B)=0。由此得出乘法公式:

P(A=P(B)P(A|B)=P(A)P(B|A)

         P(A1A2···An)=P(A1)P(A2|A1)P(A3|A1A2)···P(An|A1A2···An-1)        (P(A1A2···An-1)>0)

[独立性公式]  如果事件AB满足P(A|B)=P(A),那末称事件A关于事件B是独立的。独立性是相互的性质,即A关于B独立,B一定关于A独立,或称AB相互独立。

   AB相互独立的充分必要条件是:

                  P(AB)=P(A)P(B)

如果事件A1 ,A2 ,···, An中任意m()都满足关系式

        

A1 , A2 ,···, An是总起来独立的,简称为相互独立。

[全概率公式]  如果事件组B1 , B2 ,···满足

    

P()=1,   P(Bi)>0     (i=1,2,···)

则对于任意一事件A,有

                             

如果Bi只有n个,公式也成立,此时右端只有n项相加。

[贝叶斯公式]  如果事件组B1 , B2 ,···满足

  (ij)

,      

则对于任一事件A(P(A)>0),有

P(Bi |A)=

如果Bi只有n个,公式也成立,此时右端分母只有n项相加。

[伯努利公式]  设一次试验中某事件A出现的概率为p,则n次重复试验中事件A出现k次的概率pn,k

pn,k = pk(1)n-k      (k=0,1,···,n)

式中为二项系数。

   nk都很大时,有近似公式

pn,k

式中, 

[泊松公式]  n充分大,且p很小时,有近似公式

pn,k

式中= np

 

二、        随机变量与分布函数

 

[随机变量及其概率分布函数]  每次试验的结果可以用一个变量的数值来表示,这个变量的取值随偶然因素而变化,但又遵从一定的概率分布规律,这种变量称为随机变量,用,···表示。它是随机现象的数量比。

    给定随机变量,它的取值不超过实数x的事件的概率P(x)x的函数,称为的概率分布函数,简称分布函数,记作F(x) ,即

                 F(x)=P(  (

[分布函数的基本性质]

      1°  ,

      2°   x1<x2,则F(x1)F(x2)  (单调性)

      3°  F(x+0)=F(x)            (右连续性)

      4°  P(a<=F(b)(a)

      5°  P(=F(a)0)

[离散分布与概率分布列]  如果随机变量只能取有限个或可列个数值x1 , x2 ,···, xn ···,就称为离散型随机变量。若记P()=pk    (k=1,2,···),则取值的概率分布由{pk}完全确定。称{pk}的概率分布列。{pk}有以下性质:

   1°  

   2°  =1

   3° D为实数轴上任一可测集,则P(

   4° 的分布函数

                 F(x)=

是在处有跳跃的阶梯函数。

[连续分布与分布密度函数]  如果随机变量的分布函数F(x)能够表示为

                F(x)=  p (x)非负)

就称是连续型随机变量。p(x)称为的分布密度函数(或分布密度)。分布密度函数具有以下性质:

   1°  p(x)=

   2° 

   3°  p (x)是连续型随机变量的分布密度,则对实数轴上的任一可测集D,有

                                                 

[随机变量的函数的分布]  如果随机变量是随机变量的函数

                        

设随机变量的分布函数为F(x),则的分布函数G(x)

                     G(x)=

特别,当是离散型随机变量时,其可能值为x1 , x2···,P,则

                     G(x)=   

是连续型随机变量时 ,其分布密度为p(x),则

                     G(x)=  

[随机矢量的联合分布函数与边缘分布函数]  如果···,联系于同一组条件下的n个随机变量,则称···,)n维随机变量或随机矢量。

    (x1 , x2 ,···xn)n维实数空间Rn上的一点,则事件“···,的概率

          

作为x1 , x2 ,···, xn的函数,称为随机矢量···,的联合分布函数。

    (···,(···,中任意取出m(mn)个分量构成的m维随机变量,则称(···,的联合分布函数为(···,m维边缘分布函数。

    这时,如果分别记(···,(···,的分布函数为F(x1,x2,···,xn),那末

            =F(···,x,···, ,···,x,···,)

[条件分布函数与独立性]  是一随机变量,事件B满足P(B)>0,则称

                       F(x|B)=P (x|B)

在事件B已发生的条件下的条件分布函数。

   1° (,是二维离散型随机变量,的可能取值分别为xi (i=1,2,···)yk (k=1,2,···).又记(,的联合分布为

                            P(= pik

两个一维边缘分布为

                        P(=·=   (i=1,2,···)

                        P(==   

则称

                        P(|)=  

为在条件下离散型随机变量的条件分布。类似的,称

                        P(|)=  (>0, k=1,2,···)

为在条件下离散型随机变量的条件分布。

2°  ()是二维连续型随机变量,其联合分布密度是f(x,y),在点y ,则称

                 

=y条件下的条件分布函数,在点x则称

                       

条件下的条件分布函数。

3°  如果(···,的联合分布函数等于所有一维边缘分布函数的乘积,即

                  F(x1 , x2 ,···, xn)=

(它相当于P(,···,nxn)=那末称,···,是相互独立的。

 

三、        随机变量的数字特征

 

[数学期望(均值)与方差]  随机变量的数学期望(或均值)记作E(或M),它描述了随机变量的取值中心。随机变量()2的数学期望称为的方差,记作D(或Var),而D的平方根称为的均方差(或标准差),记作=。它们描述了随机变量的可能取值与均值的偏差的疏密程度。

   1°  是连续型随机变量,其分布密度为p(x),分布函数为F(x),则(当积分绝对收敛时)

E=

D=

  2°   是离散型随机变量,其可能取值为xk , k=1,2,···,且P(=xk)=pk,则(当级数是绝对收敛时)

E

D=pk

[均值与方差的几个公式]

   1 °  D=E2-(E)2

   2°    Ea=a , Da=0 a为常数)

   3°   E(c)=cE , D(c)=c2Dc为常数)

   4°   E(

   5°  1 , 2  ,···, n为互相独立的n个随机变量,则

                  E(1+2+···+n)=E1+E2+···+En

                  D(1+2+···+n)=

   6°  1 , 2  ,···, n为互相独立的n个随机变量,

              E(12···n)=(E1)(E2)···(En)

              D(1+2+···+n)=D1+D2+···+Dn

   7°  1 , 2  ,···, n为互相独立的随机变量,且=0, Dk=(k=1,2,···,n)则随机变量的均值与方差分别为

                      

[契贝谢夫不等式]  对任一给定的正数,有

[条件数学期望与全数学期望公式]  F(x|B)是随机变量对事件B的条件分布函数,则

称为(当积分绝对收敛时)对事件B的条件数学期望。若是连续型随机变量,其条件分布密度为p(x|B),则

是离散型随机变量,其可能取值为x1  , x2  ,···,则

B1 , B2  ,···,Bn是两两互斥的事件完备组,则有全数学期望公式

[中位数、众数与均值的关系]  满足

P(,    P(

的数m称为随机变量的中位数。换句话说,m满足下面两式:

P(

P(

   使分布密度函数取值为最大,即

p()=极大值

称为随机变量的众数。

   对于单峰对称分布函数,m==(均值)

   对于非对称单峰分布函数,m位于之间。

[高阶原点矩与中心矩]  r,随机变量(的数学期望(假设存在)分别称为随机变量r阶原点矩和r阶中心矩,分别记作。特别,为均值,为方差。

   1°  是连续型随机变量,其分布密度为p(x),则

   2°  是离散型随机变量,其可能取值为xk  (k=1,2,···),P(=xk)=pk ,则

   3°  r,随机变量的数学期望(假设存在)分别称为随机变量r阶绝对原点矩和r阶绝对中心矩。且有类似公式与1°,2°对应。

   4°   原点矩和中心矩满足如下关系(r是正整数);

 式中为二项系数。

[协方差与相关系数]  设随机变量的均值和方差都存在,则的协方差Cov(

=E[(

 的相关系数

=

 

四、        概率母函数·矩母函数·特征函数

 

[整数值随机变量的概率母函数] 是只取非负整数值的随机变量,则称随机变量函数的均值为随机变量的概率母函数。记P=(=k)=pk    ( k=0,1,2,···),  的概率母函数是

P(  (-1

    ,

                             (1)=E

(1)=E[

···········································

   P

反过来有                     

                             

[矩母函数]  是随机变量,则称随机变量函数的均值

的矩母函数。如果有任意阶原点矩···),则

   1° 是离散型随机变量,其可能值为x1, x2,···,

   2° 是连续型随机变量,其分布密度为p(x),

[特征函数]  是随机变量,称复值随机变量e的均值

  (i=)

的特征函数。如果有任意阶原点矩(k=1,2,···),则

  是离散型随机变量,其可能值为x1  , x2 ,···, P(,

   2°    是连续型随机变量,其分布密度为p(x),则

[概率母函数、矩母函数和特征函数之间的关系]

P(et)=

P(eit)=

 

五、    常用分布函数

 

1、 常用离散型分布

名称记号

概率分布及其定义域

参数条件

均值

方差

概率母函数

矩母函数

特征函数

   

二项分布

为正整数

泊松分布

为正整数

几何分布

负二项分布

为正实数

单点分布

为正整数

名称记号

概率分布及其定义域

参数条件

均值

方差

概率母函数

矩母函数

特征函数

    

对数分布

 

超几何分布

为正整数

为超几何函数)

 

2、常用连续分布

名称记号

分布密度及其定义域

参数条件

均值

方差

矩母函数

特征函数

   

均布函数

 

 

 

 

标准正态分布

 

 

0

 

1

 

 

正态分布

 

 

 

 

 

 

瑞利分布

 

 

 

 

 

指数分布

 

 

  

 

 

贝塔分布

 

  

 

 

(库默尔函数)

伽马分布

 

 

 

 

 

 

 

 

 

 

 

 

 

对数正态分布

  

 

 

 

 

 

 

 

 

 

 

 

分布(自由度为

  

n为正整数

 

 

 

n

 

 

 

2n

 

 

 

 

 

  分布(自由度为

 

n为正整数

 

 

 

 

0

(n>1)

 

 

 

 

为诺依蔓函数

 

F分布(自由度(m,n)

F(m,n)

m,n为正整数

 

 

 

 

 

 

 (库默尔函数)

 

威 尔 布 分 布

形状参数,尺度参数

位置参数

 

 

 

 

 

柯 西 分  

 

 

不存在

 

 

 

 

六、大数法则与中心极限定理

[大数法则]

    1°  伯努利定理  随机事件An次独立试验中的频率依概率收敛于事件A的概率p,即对任意

2° 互相独立的随机变量···如果(i)存在均值方差。记E,···)

;或者(ii)具有相同分布,且有有限均值E。那末

依概率收敛于随机变量的均值,即对任意

     3°  如果互相独立具有相同分布的随机变量的均值和方差都存在,记那末

依概率收敛于随机变量的方差,即对任意

[中心极限定理]

    1° 如果互相独立具有相同分布的随机变量的均值和方差都存在,记,那末随机变量   

渐近地遵从标准正态分布N(0,1),即

2°  1°的条件下,有

                  

                 

七、    正态分布表的用途

实用中,很多随机现象都遵从正态分布,或经适当变换而渐近的遵从正态分布。本手册附有正态概率积分

                   

的数值表,以及积分

                   K

值与值对应表。利用它们可计算下列问题:

1°  遵从标准正态分布的随机变量落在区间内的概率为

                 

单边概率为

                

               

(或从值与值对应表中查出值来)。

2°  已知,确定积分

                

中的。由对称性

                

值与值对应表中找出,则

3°  遵从正态分布的随机变量落在区间内的概率为

                

单边概率为

                 

                 



* (在应用中,往往当一种事件没有任何理由比另一事件更容易发生时,就认为这两个事件等可能)