概率论与随机过程随机过程课件.ppt

1、概率论与随机过程概率论与随机过程第第1212章章 随机过程及其统随机过程及其统计描述计描述1 1庄伯金庄伯金 主要内容n随机过程的概念随机过程的概念n随机过程的统计描述随机过程的统计描述n泊松过程及维纳过程泊松过程及维纳过程2 2庄伯金庄伯金 随机过程的概念n例：一个电话交换机在例：一个电话交换机在 时段内收到的呼叫次数记时段内收到的呼叫次数记为为 ，它为一个随机变量，但随着时间，它为一个随机变量，但随着时间 变化，变化，又是时间又是时间 的一个函数。的一个函数。n例：电子元器件由于其内部微观粒子的随机热骚动所引起的电例：电子元器件由于其内部微观粒子的随机热骚动所引起的电压称为热噪声电压，它在

2、任一时刻压称为热噪声电压，它在任一时刻 的取值是一随机变量，记的取值是一随机变量，记为为 。在时间区间。在时间区间 上，上，表现为一族随机变量。表现为一族随机变量。n注：随机现象随着时间的变化而变化。这种注：随机现象随着时间的变化而变化。这种“变化变化”的随机现的随机现象就是一个象就是一个随机过程随机过程。0,(0)t t txttxtt()V t0,)()V t3 3庄伯金庄伯金 随机过程的概念n假设一个随机变量假设一个随机变量 随时间随时间 而变化，则有而变化，则有n当固定时间当固定时间 时，时，是一个随机变量；是一个随机变量；n当记录某次随机试验中随机变量的结果时，其结果当记录某次随机试

3、验中随机变量的结果时，其结果 为为关于关于 的函数。的函数。n这样记录的每个这样记录的每个 称为一次称为一次样本函数样本函数或或样本曲线样本曲线。n定义：设定义：设 是一无限实数集，依赖于参数是一无限实数集，依赖于参数 的一族随机的一族随机变量（无限个）称为随机过程，记作变量（无限个）称为随机过程，记作 。n 称为参数集，常把称为参数集，常把 看作时间。看作时间。n 称为时刻称为时刻 时过程的状态，时过程的状态，称为时刻称为时刻 时过程处于时过程处于状态状态 。n对一切对一切 ，所能取得的一切值的全体称为所能取得的一切值的全体称为状态空间状态空间。()X ttt()X t()ix tt()ix

4、 tTtT(),X t tTTt()X tt1()X tx=tT()X tx1tt=4 4庄伯金庄伯金 随机过程的例n例：测量运动目标的距离时，存在随机误差，记例：测量运动目标的距离时，存在随机误差，记 表示在表示在时刻时刻 的测量误差。则的测量误差。则 为随机变量。当目标随着时间为随机变量。当目标随着时间 按一定规律运动时，测量误差按一定规律运动时，测量误差 也随时间变化。因而，测量也随时间变化。因而，测量误差误差 为随机过程，其状态空间为为随机过程，其状态空间为 。n例：考虑掷硬币的试验，例：考虑掷硬币的试验，是前是前 次出现正面的次次出现正面的次数，对于不同的数，对于不同的 ，是随机变量

5、，因而是随机变量，因而 为为随机过程，状态空间为自然数集。随机过程，状态空间为自然数集。()tet()tet()te(),0t te(,)-nX,1,2,.n n=nnX,1,2.nXn=5 5庄伯金庄伯金 随机过程的例n例：考虑掷一枚骰子，例：考虑掷一枚骰子，n设设 是第是第 次掷的点数，对于不同的次掷的点数，对于不同的 值，值，是随机变量，因此是随机变量，因此 为随机过程，称为伯努利为随机过程，称为伯努利过程或伯努利随机序列；过程或伯努利随机序列；n设设 是前是前 次抛掷中出现的最大点数，则次抛掷中出现的最大点数，则 也是随机过程。也是随机过程。n这两随机过程的状态空间均是这两随机过程的状

6、态空间均是 。nX,1,2,.n n=nnX,1,2.nXn=nYn,1,2.nY n=1,2,3,4,5,66 6庄伯金庄伯金 随机过程的分类n按过程在任一时刻的状态分按过程在任一时刻的状态分n离散型随机过程：任一时刻的状态是离散型随机变量；离散型随机过程：任一时刻的状态是离散型随机变量；n连续型随机过程：任一时刻的状态时连续型随机变量；连续型随机过程：任一时刻的状态时连续型随机变量；n按时间（参数）的类型分按时间（参数）的类型分n离散参数随机过程：时间（参数）集是离散集合，也称为离散参数随机过程：时间（参数）集是离散集合，也称为随机序列，通常记作随机序列，通常记作 。n连续参数随机过程：时

7、间集是有限或无限区间。通常将连连续参数随机过程：时间集是有限或无限区间。通常将连续参数随机过程简称为随机过程。续参数随机过程简称为随机过程。,0,1,.nXn=7 7庄伯金庄伯金 随机过程的分布函数族n如何描述随机过程？如何描述随机过程？n能否将每一时刻的状态作为多维随机变量的一个维度，用联合能否将每一时刻的状态作为多维随机变量的一个维度，用联合概率分布来描述？概率分布来描述？n由于时间集是无限的，因此简单的照搬联合概率的方法将由于时间集是无限的，因此简单的照搬联合概率的方法将失效。失效。n通常考虑有限个时刻的状态联合分布函数。通常考虑有限个时刻的状态联合分布函数。n定义：设随机过程定义：设随

8、机过程 ，对于每一个固定的，对于每一个固定的 ，随机，随机变量变量 的分布与的分布与 有关，记为有关，记为称它为随机过程的称它为随机过程的一维分布函数一维分布函数，而，而 称为称为一维一维分布函数族分布函数族。(),X t tTt()X tt(,)(),F x tP X txxR=(,),F x t tT8 8庄伯金庄伯金 随机过程的分布函数族n定义：设随机过程定义：设随机过程 ，对任意固定的，对任意固定的 个不同时个不同时刻刻 ，考虑，考虑 维随机变量维随机变量 的联合分的联合分布函数布函数称它为随机过程的称它为随机过程的 维分布函数维分布函数，为为 维分布函数族维分布函数族。n柯尔莫哥洛夫

9、定理：有限维分布函数族柯尔莫哥洛夫定理：有限维分布函数族完全刻画了随机过程。完全刻画了随机过程。(),X t tTn,1,.,it in=n1(),.,()nX tX t1111(,.,;,.,)(),.,(),nnnniF xx ttP X txX txxR=11(,.,;,.,),nniF xx tttTnn11(,.,;,.,),1,2,.,nniF xx ttntT=9 9庄伯金庄伯金 随机过程的数字特征n均值函数：给定随机过程均值函数：给定随机过程 ，固定，固定 ，为随机为随机变量，其期望为变量，其期望为 的函数，记为的函数，记为称称 为随机过程为随机过程 的的均值函数均值函数。n均

10、值函数为所有样本函数在时刻均值函数为所有样本函数在时刻 的函数值的均值，通常也的函数值的均值，通常也称为称为集平均集平均或或统计平均统计平均。n均方值函数和方差函数：随机过程在时刻均方值函数和方差函数：随机过程在时刻 状态状态 的二阶的二阶原点矩和二阶中心矩原点矩和二阶中心矩分别称为分别称为均方值函数均方值函数和和方差函数方差函数。(),X t tTt()X tt()()XtE X tm=()Xtm(),X t tTtt()X t22()()XtE XtY=22()()()()()XXXtDtVar X tEX ttsm=-1010庄伯金庄伯金 随机过程的数字特征n相关函数：对任意两时刻相关函

11、数：对任意两时刻 ，随机变量，随机变量 和和 的二的二阶混合原点矩记作阶混合原点矩记作称为随机过程的称为随机过程的自相关函数自相关函数，简称，简称相关函数相关函数，简记为，简记为n协方差函数：随机变量协方差函数：随机变量 和和 的二阶混合中心矩记作的二阶混合中心矩记作称为随机过程的称为随机过程的自协方差函数自协方差函数，简称，简称协方差函数协方差函数，简记为，简记为n注注：相关函数和协方差函数刻画了随机过程在两不同时刻的统：相关函数和协方差函数刻画了随机过程在两不同时刻的统计相关性。计相关性。12,t t1()X t2()X t1212(,)()()XXRt tE X t X t=1()X t

12、2()X t12121122(,)(),()()()()()XXXXCt tCov X tX tEX ttX ttmm=-12(,)XCt t12(,)XRt t1111庄伯金庄伯金 随机过程的数字特征n1.n2.n3.n注：均值函数和相关函数刻画了随机过程的主要统计特性，且注：均值函数和相关函数刻画了随机过程的主要统计特性，且比有限维分布函数族更容易观察和计算，因此在随机过程中具比有限维分布函数族更容易观察和计算，因此在随机过程中具有重要的作用。有重要的作用。n二阶矩过程二阶矩过程：如果对每一个：如果对每一个 ，随机过程，随机过程 的的二阶矩二阶矩 都存在，则称它为二阶矩过程。都存在，则称它

13、为二阶矩过程。n正态过程正态过程：随机过程的每一个有限维分布都是正态分布。：随机过程的每一个有限维分布都是正态分布。2()(,)XXtRt tY=121212(,)(,)()()XXXXCt tRt tttmm=-22()(,)(,)()XXXXtCt tRt ttsm=-tT(),X t tT2()E Xt1212庄伯金庄伯金 随机过程的数字特征n例：设例：设 是随机变量，求随机过程是随机变量，求随机过程 的的均值函数和自相关函数。均值函数和自相关函数。n解：解：n若若 相互独立，且相互独立，且 ，则有，则有n所以所以,A B(),X tAtB tR=+()()XtE X tm=()E At

14、B=+()()E A tE B=+1212(,)()()XRt tE X t X t=12()()E AtB AtB=+221 212()()()()t t E AttE ABE B=+,A B(0,1),(0,2)ANBU:22()0,()1,()1,()4/3,()()()0E AE AE BE BE ABE A E B=()1Xtm=121 2(,)4/3XRt tt t=+1313庄伯金庄伯金 随机过程的数字特征n例：设例：设 ，为常数，随机相位正弦波为常数，随机相位正弦波是随机过程，求其均值函数、方差函数和自相关函数。是随机过程，求其均值函数、方差函数和自相关函数。n解：解：(0,2

15、)UpQ:,aw()cos(),X tattRw=+Q()cos()XtE atmw=+Q201cos()2atdpwqqp=+0=1212(,)()()XRt tE X t X t=221201cos()cos()2attdpwqwqqp=+212cos()2attw-=122cos()2ttatwt=-=2()(,)XXtRt tY=22a=1414庄伯金庄伯金 二维随机过程n定义：设定义：设 是依赖于同一参数是依赖于同一参数 的随机过程，对的随机过程，对于不同的于不同的 ，是不同的二维随机变量，称是不同的二维随机变量，称为为二维随机过程二维随机过程。n二维随机分布函数二维随机分布函数：二

16、维随机过程：二维随机过程 ，任意，任意两组不同时刻两组不同时刻 ，维随机变量的维随机变量的分布函数分布函数称为二维随机过程的称为二维随机过程的 维分布函数。维分布函数。(),()X t Y ttTtT(),()X t Y t(),(),X t Y ttT(),(),X t Y ttT,1,.,;,1,.,ijt in tjm=nm+1111(,.,;,.,;,.,;,.,),nnmmijF xx ttyyttx yRnm+1515庄伯金庄伯金 二维随机过程n相互独立相互独立：若对任意正整数：若对任意正整数 ，以及任意两组时刻，以及任意两组时刻随机变量随机变量 与与 相互独立，则称相互独立，则称

17、随机过程随机过程 和和 相互独立。相互独立。n互相关函数互相关函数：二维随机过程：二维随机过程 ，和和 二阶混合原点矩二阶混合原点矩称为随机过程称为随机过程 和和 的互相关函数。的互相关函数。n互协方差函数互协方差函数：,n m,1,.,;,1,.,ijt in tjm=1(),.,()nX tX t1(),.,()mY tY t()X t()Y t(),(),X t Y ttT()X t()Y t121212(,)()(),XYRt tE X t Y tt tT=()X t()Y t121122(,)()()()()XYXYCt tEX ttY ttmm=-1212(,)()()XYXYRt

18、 tttmm=-1616庄伯金庄伯金 二维随机过程n若二维随机过程若二维随机过程 ，对任意的，对任意的 ，都，都有有则称则称 和和 不相关。不相关。(),(),X t Y ttT12,t tT12(,)0XYCt t=()X t()Y t1717庄伯金庄伯金 二维随机过程n例：设两随机过程例：设两随机过程 其中其中 独立，且独立，且求互相关函数。求互相关函数。n解：解：()cossinX tUtVt=+()sincosY tUtVt=+,U V222()()0,()()E UE VE UE VC=1212(,)()()XYRt tE X t Y t=1122(cossin)(sinsin)E

19、UtVtUtVt=+2121212212cos sin()(coscossinsin)()sincos()tt E UttttE UVtt E V=+212sin()Ctt=+1818庄伯金庄伯金 独立增量过程n定义：给定二阶矩过程定义：给定二阶矩过程 ，给定，给定 随机变随机变量量 为随机过程在区间为随机过程在区间 上的上的增量增量。如果对任。如果对任意选定的正整数意选定的正整数 和任意选定的时刻和任意选定的时刻 ，个增个增量量相互独立，则称相互独立，则称 为为独立增量过程独立增量过程。n由于由于所以在所以在 条件下，独立增量过程的有限维分布函数族条件下，独立增量过程的有限维分布函数族可以由

20、增量可以由增量 的分布所确定。的分布所确定。(),X t tT0st()()X tX s-(,s tn00.nttn101()(),.,()()nnX tX tX tX t-(),X t tT011()()()()kkiiiX tX tX tX t-=+-()(),0X tX sst-(0)0X=1919庄伯金庄伯金 独立增量过程n平稳性：若对任意正实数平稳性：若对任意正实数 和和 ，与与 具有相同的分布，则称增量具有平稳性。具有相同的分布，则称增量具有平稳性。n平稳性增量的分布函数只依赖于时间差，而不依赖时间本平稳性增量的分布函数只依赖于时间差，而不依赖时间本身。身。n增量具有平稳性时，称相

21、应的独立增量过程是齐次的或时增量具有平稳性时，称相应的独立增量过程是齐次的或时齐的。齐的。0sth()()X thX sh+-+()()X tX s-2020庄伯金庄伯金 独立增量过程n性质：若性质：若 为独立增量过程，且为独立增量过程，且 ，则随机，则随机过程过程 也为独立增量过程，且有也为独立增量过程，且有n性质：若性质：若 为独立增量过程，且为独立增量过程，且 ，则，则n证明：记证明：记 ，不妨设，不妨设 ，则有则有(),X t tT(0)0X=(,)(min,)XXCs tDs t=()()()XY tX ttm=-(),X t tT(0)0X=(0)0,()0,()()YXYE Y

22、tD tDt=()()()XY tX ttm=-(,)()()XCs tE Y s Y t=()(0)()()()E Y sYY tY sY s=-+2()(0)()()()E Y sYE Y tY sE Ys=-+2()E Ys=()XDs=0st2121庄伯金庄伯金 泊松过程n考察一类随着时间推移，迟早会重复发生的事件考察一类随着时间推移，迟早会重复发生的事件n自电子管阴极发射的电子到达阳极；自电子管阴极发射的电子到达阳极；n电话交换机接到呼叫电话；电话交换机接到呼叫电话；n售票窗口接到购票顾客；售票窗口接到购票顾客；n路口发生交通事故。路口发生交通事故。n一般模型：事件发生看作时间轴上质

23、点出现。一般模型：事件发生看作时间轴上质点出现。n计数过程计数过程：表示时间间隔表示时间间隔 内出现的质点数，内出现的质点数，则则 是一状态取非负整数、时间连续的随机过程，是一状态取非负整数、时间连续的随机过程，称为计数过程。称为计数过程。(),0N t t(0,t(),0N t t 2222庄伯金庄伯金 泊松过程n设设 为计数过程，记为计数过程，记 n令令n定义（泊松过程）：若定义（泊松过程）：若 满足如下条件满足如下条件n1.在不相叠区间上的增量独有独立性；在不相叠区间上的增量独有独立性；n2.对于充分小的对于充分小的 ，有，有 ，其，其中常数中常数 称为称为 的强度；的强度；n3.对于充

24、分小的对于充分小的 ，有，有n4.则称则称 为强度为为强度为 的泊松过程。的泊松过程。(),0N t t 000(,)()(),0N t tN tN ttt=-()N ttD2(,)()jjP t ttto=+D=D(0)0N=(),0N t t l2323庄伯金庄伯金 泊松过程-概率公式n增量的分布律的计算增量的分布律的计算n因为因为n所以所以n解微分方程得解微分方程得00(,)(,),0,1,2,.kP t tP N t tkk=012(,)1(,)(,)kkP t ttP t ttP t tt=+D=-+D-+D1()ttlo=-D+D000(,)(,)0P t ttP N t tt+D

25、=+D=0(,)0,(,)0P N t tN t tt=+D=000(,)(,)P t t P t tt=+D00(,)1()P t tttlo=-D+D0000000(,)()(,)lim(,)tdP t ttt P t tP t tdttlolD-D+D=-D0()00(,)t tP t tel-=2424庄伯金庄伯金 泊松过程-概率公式n又因为又因为n而而n所以所以n逐次解微分方程逐次解微分方程00(,)(,)kP t ttP N t ttk+D=+D=00(,)(,)kjP N t tkj P N t ttj=-+D=00(,)(,)kkjjjPt t P t tt-=+D022(,)

26、(,)(,)kkjjjjjPt t P t ttP t tt-=+D+D邋()xo=D0010(,)1()(,)()(,)()kkkP t tttt P t ttt Pt ttloloo-+D=-D+D+D+D+D0010(,)(,)(,)kkkdP t tP t tPt tdtll-=-+0()00()(,)!t tkktteP t tkll-=增量服从增量服从泊松分布泊松分布2525庄伯金庄伯金 泊松过程n泊松过程的等价定义：若泊松过程的等价定义：若 满足下列条件满足下列条件n1.它是独立增量过程；它是独立增量过程；n2.对任意的对任意的 ，增量，增量 。n3.则称则称 为强度为为强度为

27、的泊松过程。的泊松过程。n注：泊松分布具有平稳性。注：泊松分布具有平稳性。(),0N t t 00tt1()P N tn=-()P N tn=()0!00ktkntetktll-=-nWG1W2929庄伯金庄伯金 泊松过程n记记 表示出现第表示出现第 个质点和第个质点和第 个质个质点的点间间距，也为连续型随机变量。点的点间间距，也为连续型随机变量。n 服从什么分布？服从什么分布？n 服从指数分布；服从指数分布；n对于对于 ，先考察第，先考察第 个质点出现在时刻个质点出现在时刻 的条件的条件分布：分布：1,1,2,.iiiTWWi-=-=1i-iiT11TW=,2iT i1i-1it-|11(|

28、)|iTiiiFt tP Ttt-=i-1ti-1t111()()1|()1iiiP N ttN tN ti-=+-=-11()()1iiP N ttN t-=+-111()()0iiP N ttN t-=-+-=1()0P N t=-=1000tettl-=3030庄伯金庄伯金 泊松过程n相应条件概率密度相应条件概率密度n根据乘法公式得随机变量根据乘法公式得随机变量 和和 联合概率密度联合概率密度所以所以n结论：结论：均服从同一指数分布。均服从同一指数分布。|10(|)00itTietft ttll-=i-1tiT1it-111()0(,)00ittiiefttf t ttll-=110()

29、(,)00itTiietftf t tdttll-=iT3131庄伯金庄伯金 泊松过程n定理：强度为定理：强度为 的泊松过程的点间间距是相互独立的随机变的泊松过程的点间间距是相互独立的随机变量，且服从同一个指数分布。量，且服从同一个指数分布。n逆定理：若任意相继出现的两个质点的点间间距是相互独立，逆定理：若任意相继出现的两个质点的点间间距是相互独立，且服从同一个指数分布，则质点流构成了强度为且服从同一个指数分布，则质点流构成了强度为 的泊松过的泊松过程。程。n注注：可以采用统计的方法检验两间隔点是否独立且服从同一指：可以采用统计的方法检验两间隔点是否独立且服从同一指数分布来检验一个计数过程是否

30、为泊松过程。数分布来检验一个计数过程是否为泊松过程。ll3232庄伯金庄伯金 布朗运动n微小粒子不断的进行着无规则的运动。微小粒子不断的进行着无规则的运动。n微粒的布朗运动是大量随机的、相互独立的分子碰撞的结果。微粒的布朗运动是大量随机的、相互独立的分子碰撞的结果。n记记 表示粒子在时间段表示粒子在时间段 内的运动位移。内的运动位移。n数学模型：粒子在时间段数学模型：粒子在时间段 上的位移上的位移 可以看可以看作许多次分子碰撞的微小位移的代数和。作许多次分子碰撞的微小位移的代数和。n依据中心极限定理，可以认为依据中心极限定理，可以认为 服从正态分布；服从正态分布；n 具有独立增量；具有独立增量

31、；n 具有平稳增量。具有平稳增量。(,s t()()W tW s-()()W tW s-()W t0,t()W t()W t3333庄伯金庄伯金 维纳过程n定义：给定二阶矩过程定义：给定二阶矩过程 ，若满足下列条件，若满足下列条件n1.具有独立增量；具有独立增量；n2.对任意的对任意的 ，增量，增量n3.则称此过程为则称此过程为维纳过程维纳过程。n维纳过程是正态过程，且有维纳过程是正态过程，且有 。n数字特征：数字特征：(),0W t t()W t0ts2()()(0,()W tW sNtss-:(0)0W=2()(0,)W tNts:2()0,()WE W tDtts=2(,)(,)min,WWCs tRs ts ts=3434庄伯金庄伯金 作业1nP317 1nP317 3nP317 7nP317 83535庄伯金庄伯金 作业2nP318 10nP318 113636庄伯金庄伯金