随机过程19(4.4).ppt
- 【下载声明】
1. 本站全部试题类文档,若标题没写含答案,则无答案;标题注明含答案的文档,主观题也可能无答案。请谨慎下单,一旦售出,不予退换。
2. 本站全部PPT文档均不含视频和音频,PPT中出现的音频或视频标识(或文字)仅表示流程,实际无音频或视频文件。请谨慎下单,一旦售出,不予退换。
3. 本页资料《随机过程19(4.4).ppt》由用户(罗嗣辉)主动上传,其收益全归该用户。163文库仅提供信息存储空间,仅对该用户上传内容的表现方式做保护处理,对上传内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知163文库(点击联系客服),我们立即给予删除!
4. 请根据预览情况,自愿下载本文。本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
5. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007及以上版本和PDF阅读器,压缩文件请下载最新的WinRAR软件解压。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 随机 过程 19 4.4
- 资源描述:
-
1、四四 转移概率的稳态性能转移概率的稳态性能问题问题 马尔可夫链是否具有统计意义下的稳态性马尔可夫链是否具有统计意义下的稳态性,即要即要回答以下问题回答以下问题?,( ),1i jS当n 时, 转移概率数列( )nijp是否收敛?,( ),2i jS若( )limnijnp存在,此极限是否与初始状态i无关? (3)在怎样的条件才能保证( )limnijnp存在且与初始状态i无关?( )limijnjnp而此时, 是否为一概率分布?1. 转移概率的极限转移概率的极限由已有知识可知由已有知识可知(1)ji若 为或时,返零常返对非常有lim0nijnp( )ji是正常返且 是总假定非正常返ji和 属于
2、同或者一个正常返类但但! 又由已有知识可知又由已有知识可知(2)j当 为正常返周期状态时limnjjnp( )不存在limnijnp( )就这样讨论极限将无意义.那么那么,如何讨论如何讨论 ? ? ?由周期链的性质得到启由周期链的性质得到启发发我们讨论我们讨论()jndrijnp 当时的极限问题1,2,jrd()0( ),1,2,jndrijijjnfrfi jSrd记( )ijjfrinmdr表示系统从状态出发,在某时刻首次到达状态j的概率.()110( )()jjjddndrijijrrnfrf 且()01()jjdndrijnrf ()1mijmfijf定理定理1 设设j是正常返状态,则
3、是正常返状态,则()lim( ),1,2,jndrjijijjnjjdpfriS rd其中jj是j的平均转回时间.证明证明( )0njjjdnp不能整除 时,01jldrnvl仅当时, , ,()0jndjvrjp ()()( )1jjjijndrndrndr vvijjjvpfp ()()0jjijnldrn l djjlfp()()()0jjjijnndrldrn l dijjjlpfp即1Nn 对()()()()(1)()00jjjjjjijijijldrn l dndrldrnNl dlNnNdrjjijjjlllfppfpfNn 固定 ,让得()()()0limlimjjjijldr
4、ndrndrjijijnnljjNdfpp01()()jjijijNldrldrjlljjNdffN 再让得()lim( )jndrjijijnjjdpfr,1,2,jiS rd则推论推论 设,0,1,2,nXn 是齐次马尔可夫链,它的每个状态都是正常返正常返的,而且都有周期d,状态空间S已经被唯一地分解成1,dmmSJ,i jS(),lim0,mndjjijndi jJp若于同一否特别的,如果d=1,则,i jS( )1limnijnjjp证明证明在以上定理中取在以上定理中取 r=d, 则有则有()lim( )ndijijnjjdpfd()0( )jndrijijnfrf()1( )ndij
5、ijnfdfmijJ若, 不属于同一个()()00ndndijijpf( )0f dmijJ若, 属于同一个( )0nijdnp若 不能整除 时,()1(1( )nmijmdijijnfdffijf1即即 得到结论得到结论.证明证明(),0mijiSji jp S 不可约闭集S 的状态都是非周期S当 中有一个为非常返(或零常返状态),则均为为非常返(或零常返状态).( ),lim0nijni jSpS当 中有一个为正常返,则均为为正常返.( )1,limnijnjji jSp( )0lim1,ijnjnjjjpj, 为非常返或零常反状态正常返非周期状态定理定理3 设012,SDCCC其中D为非
6、常返状态集,0C为零常返状态集,(1,2,)mCm为正常返状态闭集,则0( )00,lim0,ijmnijjjnmlmmjDCiSfjCiSpjCiCClmjCiDC遍历,有周期,一般不存在,有周期,且此极限值与初始状态i无关,记作推论推论 设设,0,1,2,nXn 是不可约的马尔可夫链,其状态空间S中的每个状态都是正常返非周期状态正常返非周期状态,则,i jSlimnijnp( )极限存在,j即( )1limnijjnjjp定理定理4 设C 为互通的遍历状态构成的闭集,则11j Cjj证明证明( )1limnijnjjp由以上推论nijjp( )C由C是闭集limliatoumff由F引理(
7、与lim交换,且)得11j Cjjm又对 自然数 ,由-方程()( )()n mnmijikkjk CpppFatoun 令取极限,并应用引理()11(*)mkjk Cjjkkp(,*.)( )jCm 反证法证明对自然数只能是等号成立00 0()11mkjk Cj jkkjp若使得(*)j对式关于求和()11()mkjk Ckkj Cj Cjjp()1(mkjjCkCkkp1k Ckk()矛盾()11mkjk Cjjkkpm 令,并应用控制收敛定理11j Cjj定义定义 设,0,1,2,nXn 是一个马尔可夫链,如果,i jS( )111lim,0,1,nijnj Cjjjjjjp且1,jjj
8、S则则构成一概率分布,称为马尔可夫链,0,1,2,nXn 的极限分布极限分布.00limlimnnijijnnpp( )( )研究一个不可约的马尔可夫链是否为遍历,可通过对极限的讨论,由于计算困难平稳,可分以通过对布的讨论推论推论 不可约马尔可夫链是遍历链的充要条件不可约马尔可夫链是遍历链的充要条件 是极限分布存在且唯一是极限分布存在且唯一.2 平稳分布平稳分布定义定义 称概率分布,iiS是转移概率矩阵为()ijpP的马尔可夫链的一个平稳分布平稳分布.如果,jiiji SpjS( )说明说明 若齐次马尔可夫链有一个平稳分布若齐次马尔可夫链有一个平稳分布:,iiS( ),1,2,ijnjii S
展开阅读全文