1、第1章 概率论补充知识第1章 概率论补充知识1.1 概率空概率空间间1.2 随机变随机变量量1.3 特征函特征函数数1.4 多元正态分多元正态分布布1.5 随机变量序列的收敛随机变量序列的收敛性性1.6 随机变量函数的分随机变量函数的分布布1.7 条件数学期条件数学期望望习题一习题一 第1章 概率论补充知识概率论基础知识点是随机过程的基础，为此本章对其作扼要复习，以加深对概率论基本概念的理解，同时补充了特征函数、多维正态分布、多维随机向量变换和条件数学期望等知识，为学习随机过程作准备。第1章 概率论补充知识1.1 概概 率率 空空 间间在大学的概率论课程中，已经对古典概型和几何概型这两种特殊类
2、型定义了概率。在古典概型中，要求试验的可能结果是有限个且具有等可能性；对于几何概型，虽然试验的可能结果是无穷多个，但仍要求具有某种等可能性。然而，实际问题中大量的随机试验结果并不属于这两种类型，因此很有必要对一般的随机现象给出一个明确的数学定义。第1章 概率论补充知识这个问题经过人们长期探讨，并且随着测度论和积分理论的日益发展，终于由前苏联数学家柯尔莫哥洛夫()，在1933年30周岁时给出了概率论的公理化体系，明确了事件、概率等基本概念，从而使概率论成为一个严谨的数学分支。第1章 概率论补充知识第1章 概率论补充知识一般把满足上述条件的集 F 称为 域，所以事件域是一个 域，它具有下列性质:(
3、1)空集 F;(2)若对 n=1，2，An F，则它们的交集 An=F;(3)若 A，B F，则 A 与 B 的差 A-B F。事件的发生有概率。设 P(A)表示事件 A 发生的概率，作为概率它需要满足一定的条件。第1章 概率论补充知识定义定义 1.1.2 设 是样本空间，F是 的一个事件域，定义在 F 上的实值函数 P(A)如果满足以下条件：(1)非负性：A F，有 P(A)0;(2)归一性：P()=1;(3)可列可加性：若对 n=1，2，A n F，且对 i j，A i A j=;则有则称 P 是定义在二元组(，F)上的概率，而称 P(A)为事件 A 的概率。第1章 概率论补充知识至此，我
4、们引进了概率论中的三个基本概念：样本空间 ，事件域 F 和概率 P。它们是描述一个随机试验的三个基本组成部分，把三者结合起来，我们称这三元有序总体(，F，P)为概率空间。在实际问题中，如何确定样本空间 ，如何选取事件域 F，又如何在 F 上定义概率 P，要视具体情况而定。但在一般的研究中，我们总认为它们是预先给定的。概率论、随机过程、数理统计中全部的结论都是建立在概率空间之上的。第1章 概率论补充知识设(，F，P)为概率空间，则概率 P 有如下性质:(1)P()=0;(2)有限可加性:若对 i=1，2，n，A i F，且对 i j，A i A j=，则有(3)可减性:若 A F，B F，且 A
5、 B，则有 P(B-A)=P(B)-P(A);(4)单调不减性:若 A F，B F，且 A B，则有 P(A)P(B);第1章 概率论补充知识(5)次可加性：对 n=1，2，A n F，有(6)加法公式：对任意的 A k F(k=1，2，n)，有当事件两两不相交时，有加法公式对 n=也成立。第1章 概率论补充知识1.1.2 条件概率空间条件概率空间定义 1.1.3 设(，F，P)是一已知的概率空间，B F 满足 P(B)0，定义则 P(|B)是定义在 F 上的一个概率，称为在给定事件 B 的条件下的条件概率。第1章 概率论补充知识第1章 概率论补充知识下面给出条件概率本身所具有的特殊性质。(1
6、)设(，F，P A)是一条件概率空间，B F，且 P A(B)0，则有P A(C|B)=P(C|AB)=P AB(C)即在条件概率空间(，F，P A)上所定义的条件概率 P A(C|B)就等于在(，F，P)上构成的新的条件概率空间(，F，P AB)上的条件概率。第1章 概率论补充知识(2)(乘法公式)设，F，P)是一概率空间，A i F(i=1，2，n)，且 P(A 1 A 2 A n-1)0，则有(3)(全概率公式)设 A F，B i F(i=1，2，)，若 i j，B i B j=，B i A，P(B i)0，则第1章 概率论补充知识(4)(Bayes 公式)设 A F，B i F(i=1
7、，2，)满足(3)中条件，且 P(A)0，则第1章 概率论补充知识1.1.3 事件的独立性事件的独立性定义 1.1.4 设 A i F(i=1，2，n)是概率空间(，F，P)中的 n 个事件，若对任意的 m(1 m n)及任意的 1 k 1 k 2 k m n，都有则称事件 A 1，A 2，A n 是相互独立的。第1章 概率论补充知识显然，若 A 1，A 2，A n相互独立，则 A 1，A 2，A n中的任意两个都是独立的(称之为两两独立);反之，若 A 1，A 2，A n两两独立，则未必有 A 1，A 2，A n相互独立。读者不难构造反例说明。以下定理给出相互独立事件的一个充要条件。第1章
8、概率论补充知识定理定理 1.1.1 设 A i F(i=1，2，n)，则 A 1，A 2，A n相互独立的充要条件是下列 2n个式子成立：定理的证明请读者自己给出，或者参考概率论方面的教材。第1章 概率论补充知识1.2 随随 机机 变变 量量1.2.1 随机变量与随机向量随机变量与随机向量随机变量以数量的形式来描述随机现象，这给理论研究和数学运算都带来了很大的方便。设 是某一随机试验的样本空间，如果对每个 有一实数与之对应，就得到一个定义在 上的实值函数 X()。我们不仅关心 X()取什么值，而且还关心它取不同值的概率大小。第1章 概率论补充知识例如希望知道集：X()x 的概率，其中 x 是任
9、一实数，以后为简便计，常将 ：X()x 简记为 X()x 或 X x。因为我们只在事件上定义了概率，讨论 X()x 的概率，当然要求 X()x 是事件。由此，我们引入如下定义。第1章 概率论补充知识定义定义 1.2.1 设(，F，P)是一概率空间，X()是定义在 上的单值实函数，如果对任一实数 x，X x F，则称 X 为(，F，P)上的一个随机变量，进而，称 F(x)=P X x 为随机变量 X 的分布函数。不难看出，随机变量 X 的分布函数 F(x)具有以下三个基本性质:(1)单调不减性:即若 x 0，则(2)(Cauchy-Schwarz 不等式)设 X、Y 为概率空间(，F，P)上的两
10、个随机变量，若E(X 2)+，E(Y 2)0，选取足够大的 A，使得因此对 t 一致地有|f(t+h)-f(t)|0 为 B 的特征值。第1章 概率论补充知识证明证明 由于 B 是正定矩阵，故由线性代数知识知存在正交矩阵 T，使得其中 k 0(k=1，2，n)为 B 的特征值，令 Y=(X-)T，由于此线性变换的 Jacobi行列式第1章 概率论补充知识又故n 维正态向量的特征函数由以下定理给出。第1章 概率论补充知识定理定理 1.4.1 设 n 维随机向量 X N(，B)，则其特征函数为其中 t=(t 1，t 2，t n)。第1章 概率论补充知识证明证明 由引理 1.4.1 知，存在正交矩阵
11、 T，使得故由特征函数的性质知第1章 概率论补充知识因此由多元特征函数的性质 1.3.8 及 X=+YT 得第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识性质性质 1.4.2 设 X=(X 1，X 2，X n)服从 n 维正态分布 N(，B)，则 和 B 分别为 n维随机向量 X 的均值向量和协方差矩阵，即第1章 概率论补充知识证明证明 由性质 1.4.1 知 X k N(k，b kk)，因此，i=EX i且 bii=D(X i)，i=1，2，n。从而由 Cauchy-Schwarz 不等式知 X 的协方差矩阵存在，且由得性质 1.4.2 说明，n 维正态分布由它的一阶和二
12、阶矩完全确定。第1章 概率论补充知识性质性质 1.4.3 设 X=(X 1，X 2，X n)服从 n 维正态分布 N(，B)，则 X 1，X 2，X n相互独立的充要条件为它们两两不相关，即 B 为对角矩阵。证证明明(必要性)显然;(充分性)设 X 1，X 2，X n两两不相关，则对 i k，b ik=cov(X i，X k)=0;因此(X 1，X 2，X n)的特征函数为故由多元特征函数的性质 1.3.10 知，X 1，X 2，X n相互独立。第1章 概率论补充知识第1章 概率论补充知识性质性质 1.4.5 设 n 维随机向量 X 服从 n 维正态分布 N(，B)，而 C 为任一 n m 矩
13、阵，则 Y=XC 服从 m 维正态分布 N(C，CBC)。证证明明 因为对任意 m 维实值行向量 t，有这说明 Y 服从 m 维正态分布 N(C，CBC)。性质 1.4.5 表明正态变量在线性变换下还是正态变量，这个性质称为正态变量的线性变换不变性。第1章 概率论补充知识例例 1.4.1 设四维随机向量 X=(X 1，X 2，X 3，X 4)N(X，B X)，其中(1)求出(X 1，X 2)的分布;(2)求出 Y=(2 X 1，X 1+2 X 2，X 3+X 4)的分布。第1章 概率论补充知识解解(1)(X 1，X 2)服从均值向量(2，1)，协方差矩阵的二维正态分布。(2)由于第1章 概率论
14、补充知识故 Y 服从三维正态分布 Y N(Y，B Y)，其中第1章 概率论补充知识1.5 随机变量序列的收敛性随机变量序列的收敛性本节介绍随机变量序列的四种收敛性以及连续性定理。1.5.1 随机变量序列的收敛性随机变量序列的收敛性1.几乎肯定收敛定定义义 1.5.1 设 X n，n=1，2，及 X 为定义在同一概率空间(，F，P)中的随机变量，如果 P limn Xn=则称 X n 以概率 1 收敛于 X，或称 X n 几乎肯定收敛于 X，记为 X na.s.第1章 概率论补充知识定理定理 1.5.2 设X n 和 X 是概率空间(，F，P)中的随机变量，则证明证明 由数学分析的知识易知:X
15、n X 对任意的 0，存在自然数 n，使当 i n时，恒有|X i-X|0，有 P|X n-X|=0，则称X n 依概率收敛于 X，记为 X n P X。注意，依概率收敛与几乎肯定收敛的概念是完全不同的。依概率收敛是指对任意的 0，事件列|X n-X|发生的概率当 n+时以 0 为极限，也就是说，事件|X n-X|在 n 无限增大时，其发生的可能性越来越小。第1章 概率论补充知识定理定理 1.5.3证明证明 由定理 1.5.2 知第1章 概率论补充知识又因为定理 1.5.3 之逆不真，即依概率收敛未必几乎肯定收敛(反例可见参考文献 3)，但有下面的结果。第1章 概率论补充知识所以对于每一个自然
16、数 k，存在一个自然数 n k，使得当 n n k 时，恒有第1章 概率论补充知识可以假设 n 1 n 2 n k 0，有第1章 概率论补充知识由于上式对一切充分大的 k 0 都成立，故从而由定理 1.5.2 知，尽管依概率收敛弱于几乎肯定收敛，但与定理 1.5.1 相同，依概率收敛下的极限也是唯一的。第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识尽管 F n(x)是分布函数列，但 F(x)未必是分布函数。例如，分布函数列弱收敛于 F(x)0。但如果 F(x)也是分布函数，则引入如下定义。第1章 概率论补充知识第1章 概率论补充知识证证明明 设 F n(x)及 F(x)分别
17、为随机变量 X n，n=1，2，及 X 的分布函数，因为对 0，有第1章 概率论补充知识类似地可得从而在 F(x)的每一个连续点 x 处，有第1章 概率论补充知识第1章 概率论补充知识 4.r 阶收敛定定义义 1.5.5 设 X n，n=1，2，及 X 为定义在同一概率空间(，F，P)中的随机变量，满足 E|X n|r ，E|X|r 0 为常数。若则称 X n r 阶收敛于 X，记为对于 r 阶收敛，r 值越高，条件越严格，即设 0 s 0，有则称X n，n=1，2，服从弱大数定律，简称服从大数定律。定义 1.5.6 说明，若 X n，n=1，2，服从弱大数定律，则其前 n 项算术平均与相应的
18、统计平均之差依概率收敛于零。第1章 概率论补充知识定理定理 1.5.11 设X n，n=1，2，为定义在概率空间(，F，P)上的一列随机变量，若对任意的自然数 n服从大数定律。证明证明 由切比雪夫不等式得注:如果随机变量序列X n，n=1，2，相互独立，则第1章 概率论补充知识定理定理 1.5.12 (辛钦大数定律)设X n，n=1，2，是相互独立同分布的随机变量序列，则X n，n=1，2，服从大数定律的充分条件为 X1 有有限的数学期望。第1章 概率论补充知识定义定义 1.5.7 设X n，n=1，2，为定义在概率空间(，F，P)上的一列存在期望的随机变量，如果则称X n，n=1，2，服从强
19、大数定律。定义 1.5.7 说明，若X n，n=1，2，服从强大数定律，则其前 n 项算术平均与相应的统计平均之差以概率 1 收敛于零。关于强大数定律，我们有以下两个定理。第1章 概率论补充知识定理定理 1.5.13 (柯尔莫哥洛夫)设X n，n=1，2，是相互独立的随机变量序列，且则X n，n=1，2，服从强大数定律。定理定理 1.5.14 设X n，n=1，2，是相互独立同分布的随机变量序列，则X n，n=1，2，服从强大数定律的充要条件为 X 1 有有限的数学期望。特别地，记 P=P(A)为事件 A 的概率，记 X n为事件 A 在第 n 次独立重复试验中发生的次数，则强大数定律是说第1
20、章 概率论补充知识1.6 随机变量函数的分布随机变量函数的分布当随机变量 X 的分布已知时，如何求它的某个函数 g(X)的分布?一般地，当随机向量(X 1，X 2，X n)的联合分布已知时，如何求函数 Y=g(X 1，X 2，X n)的分布?更一般地，如何求 Y 1=g 1(X 1，X 2，X n)，Y 2=g 2(X 1，X 2，X n)，Y n=g n(X 1，X 2，X n)的联合分布?下面就连续型随机变量(向量)情形讨论这些问题。请读者考虑 X 1，X 2，X n为离散型时的情形。第1章 概率论补充知识1.6.1 单个随机变量函数的分布单个随机变量函数的分布设 X 为一连续型随机变量，
21、其概率密度函数为 p X(x)，有:(1)若 y=g(x)严格单调可微，其反函数为 x=h(y)，则 Y=g(X)为连续型随机变量，且其概率密度函数为其中 =min g(-)，g(+)，=max g(-)，g(+)。第1章 概率论补充知识(2)若 y=g(x)在不相重叠的区间 I 1，I 2，I n 上逐段严格单调可微，且在每一段上的反函数依次为 x=h 1(y)，x=h n(y)，其中 X 的值域 I k，则 Y=g(X)为连续型随机变量，且其概率密度函数为第1章 概率论补充知识证明证明 对于 y R，令 B k(y)=x I k|g(x)y，k=1，2，n，则 B k(y)，k=1，2，n
22、 两两互斥，故有第1章 概率论补充知识 例例 1.6.1 已知 X N(0，2)，c 0 为常数，求 Y=cX 2 的概率密度函数。解解 y=cx 2 的反函数在 x 0 及 x 0，则 X 在 Y=y 的条件下的条件概率密度函数为 p X|Y(x|y)=若为 X 在 Y=y 条件下的条件数学期望。第1章 概率论补充知识类似地，对任意的 x，若 p X(x)0，则 Y 在 X=x 条件下的条件概率密度函数为若为 Y 在 X=x 条件下的条件数学期望。第1章 概率论补充知识例例 1.7.1 设(X，Y)的概率密度函数为求 E X|y。第1章 概率论补充知识第1章 概率论补充知识1.7.2 条件数
23、学期望的性质条件数学期望的性质正如条件概率具有普通概率的全部性质一样，条件数学期望也具有普通数学期望的所有性质，如第1章 概率论补充知识当 y 固定时，E g(X)|y 是一个常数。现在我们换一个观点，把 y 看成自变量，则 E g(X)|y 是 y 的函数，记为 h(y)，则 h(Y)=E g(X)|Y 是随机变量 Y 的函数，它也是一个随机变量，也可考虑其数学期望。第1章 概率论补充知识定理定理 1.7.1 对任意的随机变量 X，Y，有特别地，若 Y 为离散型随机变量，则有离散型全期望公式若 Y 为连续型随机变量，则有连续型全期望公式第1章 概率论补充知识证明证明(1)若(X，Y)为离散型
24、随机变量，则(2)若(X，Y)为连续型随机变量，则(3)当 X，Y 中有一个是连续型，一个为离散型时，证明是类似的。全期望公式在计算随机向量函数的期望时，有类似全概率公式的作用。第1章 概率论补充知识例例 1.7.2 (随机多个随机变量的和)设在某一天内走进一个商店的人数是数学期望等于100 的随机变量，又设这些顾客所花的钱都为数学期望是 50 元的相互独立的随机变量，再设每个顾客所花钱的数量和进入该商店的总人数独立，求在给定的一天内，该店的总收入的期望值。第1章 概率论补充知识解解 设 N 表示进入该店的顾客人数，X i 表示第 i 个顾客所花的钱数，则 N 个顾客所花钱的总数为。由全期望公
25、式得说明顾客们花费在该商店钱数的期望值为 5000 元。第1章 概率论补充知识同上面的一样，设 g(x，y)是二元可测函数，则 E g(X，Y)|X 也是随机变量，它在第1章 概率论补充知识由此可证，若 E g(X，Y)存在，则特别地上面已证明了如下定理。第1章 概率论补充知识定理定理 1.7.2 E E g(X，Y)|X =E g(X，Y)。证明证明 当(X，Y)为连续型随机向量情形，我们有较为直观的证明。第1章 概率论补充知识习习 题题 一一1.设随机变量 X 服从几何分布，即 P(X=k)=pqk，k=0，1，2，。求 X 的特征函数、EX 及 DX。其中 0 p 1 时,X n几乎肯定
26、收敛于 0;(2)当 K 2 时,X n均方收敛于 0;(3)当 K 2 时,X n 不均方收敛于 0。第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率
27、论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充
28、知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第
29、1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识第1章 概率论补充知识
