书签 分享 收藏 举报 版权申诉 / 33
上传文档赚钱

类型随机过程19(4.4).ppt

  • 上传人(卖家):罗嗣辉
  • 文档编号:2040666
  • 上传时间:2022-01-19
  • 格式:PPT
  • 页数:33
  • 大小:931KB
  • 【下载声明】
    1. 本站全部试题类文档,若标题没写含答案,则无答案;标题注明含答案的文档,主观题也可能无答案。请谨慎下单,一旦售出,不予退换。
    2. 本站全部PPT文档均不含视频和音频,PPT中出现的音频或视频标识(或文字)仅表示流程,实际无音频或视频文件。请谨慎下单,一旦售出,不予退换。
    3. 本页资料《随机过程19(4.4).ppt》由用户(罗嗣辉)主动上传,其收益全归该用户。163文库仅提供信息存储空间,仅对该用户上传内容的表现方式做保护处理,对上传内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知163文库(点击联系客服),我们立即给予删除!
    4. 请根据预览情况,自愿下载本文。本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
    5. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007及以上版本和PDF阅读器,压缩文件请下载最新的WinRAR软件解压。
    配套讲稿:

    如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。

    特殊限制:

    部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。

    关 键  词:
    随机 过程 19 4.4
    资源描述:

    1、四四 转移概率的稳态性能转移概率的稳态性能问题问题 马尔可夫链是否具有统计意义下的稳态性马尔可夫链是否具有统计意义下的稳态性,即要即要回答以下问题回答以下问题?,( ),1i jS当n 时, 转移概率数列( )nijp是否收敛?,( ),2i jS若( )limnijnp存在,此极限是否与初始状态i无关? (3)在怎样的条件才能保证( )limnijnp存在且与初始状态i无关?( )limijnjnp而此时, 是否为一概率分布?1. 转移概率的极限转移概率的极限由已有知识可知由已有知识可知(1)ji若 为或时,返零常返对非常有lim0nijnp( )ji是正常返且 是总假定非正常返ji和 属于

    2、同或者一个正常返类但但! 又由已有知识可知又由已有知识可知(2)j当 为正常返周期状态时limnjjnp( )不存在limnijnp( )就这样讨论极限将无意义.那么那么,如何讨论如何讨论 ? ? ?由周期链的性质得到启由周期链的性质得到启发发我们讨论我们讨论()jndrijnp 当时的极限问题1,2,jrd()0( ),1,2,jndrijijjnfrfi jSrd记( )ijjfrinmdr表示系统从状态出发,在某时刻首次到达状态j的概率.()110( )()jjjddndrijijrrnfrf 且()01()jjdndrijnrf ()1mijmfijf定理定理1 设设j是正常返状态,则

    3、是正常返状态,则()lim( ),1,2,jndrjijijjnjjdpfriS rd其中jj是j的平均转回时间.证明证明( )0njjjdnp不能整除 时,01jldrnvl仅当时, , ,()0jndjvrjp ()()( )1jjjijndrndrndr vvijjjvpfp ()()0jjijnldrn l djjlfp()()()0jjjijnndrldrn l dijjjlpfp即1Nn 对()()()()(1)()00jjjjjjijijijldrn l dndrldrnNl dlNnNdrjjijjjlllfppfpfNn 固定 ,让得()()()0limlimjjjijldr

    4、ndrndrjijijnnljjNdfpp01()()jjijijNldrldrjlljjNdffN 再让得()lim( )jndrjijijnjjdpfr,1,2,jiS rd则推论推论 设,0,1,2,nXn 是齐次马尔可夫链,它的每个状态都是正常返正常返的,而且都有周期d,状态空间S已经被唯一地分解成1,dmmSJ,i jS(),lim0,mndjjijndi jJp若于同一否特别的,如果d=1,则,i jS( )1limnijnjjp证明证明在以上定理中取在以上定理中取 r=d, 则有则有()lim( )ndijijnjjdpfd()0( )jndrijijnfrf()1( )ndij

    5、ijnfdfmijJ若, 不属于同一个()()00ndndijijpf( )0f dmijJ若, 属于同一个( )0nijdnp若 不能整除 时,()1(1( )nmijmdijijnfdffijf1即即 得到结论得到结论.证明证明(),0mijiSji jp S 不可约闭集S 的状态都是非周期S当 中有一个为非常返(或零常返状态),则均为为非常返(或零常返状态).( ),lim0nijni jSpS当 中有一个为正常返,则均为为正常返.( )1,limnijnjji jSp( )0lim1,ijnjnjjjpj, 为非常返或零常反状态正常返非周期状态定理定理3 设012,SDCCC其中D为非

    6、常返状态集,0C为零常返状态集,(1,2,)mCm为正常返状态闭集,则0( )00,lim0,ijmnijjjnmlmmjDCiSfjCiSpjCiCClmjCiDC遍历,有周期,一般不存在,有周期,且此极限值与初始状态i无关,记作推论推论 设设,0,1,2,nXn 是不可约的马尔可夫链,其状态空间S中的每个状态都是正常返非周期状态正常返非周期状态,则,i jSlimnijnp( )极限存在,j即( )1limnijjnjjp定理定理4 设C 为互通的遍历状态构成的闭集,则11j Cjj证明证明( )1limnijnjjp由以上推论nijjp( )C由C是闭集limliatoumff由F引理(

    7、与lim交换,且)得11j Cjjm又对 自然数 ,由-方程()( )()n mnmijikkjk CpppFatoun 令取极限,并应用引理()11(*)mkjk Cjjkkp(,*.)( )jCm 反证法证明对自然数只能是等号成立00 0()11mkjk Cj jkkjp若使得(*)j对式关于求和()11()mkjk Ckkj Cj Cjjp()1(mkjjCkCkkp1k Ckk()矛盾()11mkjk Cjjkkpm 令,并应用控制收敛定理11j Cjj定义定义 设,0,1,2,nXn 是一个马尔可夫链,如果,i jS( )111lim,0,1,nijnj Cjjjjjjp且1,jjj

    8、S则则构成一概率分布,称为马尔可夫链,0,1,2,nXn 的极限分布极限分布.00limlimnnijijnnpp( )( )研究一个不可约的马尔可夫链是否为遍历,可通过对极限的讨论,由于计算困难平稳,可分以通过对布的讨论推论推论 不可约马尔可夫链是遍历链的充要条件不可约马尔可夫链是遍历链的充要条件 是极限分布存在且唯一是极限分布存在且唯一.2 平稳分布平稳分布定义定义 称概率分布,iiS是转移概率矩阵为()ijpP的马尔可夫链的一个平稳分布平稳分布.如果,jiiji SpjS( )说明说明 若齐次马尔可夫链有一个平稳分布若齐次马尔可夫链有一个平稳分布:,iiS( ),1,2,ijnjii S

    9、jS np则也有定理定理5 设,iiS是齐次马尔可夫链,0,1,2,nXn 的一个平稳分布,如果取,iiS为,0,1,2,nXn 的初始分布初始分布,即0(),iP XiiS(1) 则对任意的正整数则对任意的正整数n,都有,都有(),niP XiiS(2)并且对任意的正整数并且对任意的正整数n,m,以及以及1120, ,nntti iiS 和有和有12121212(,)(,)nntmtmtmntttnP Xi XiXiP Xi XiXi证明证明00(1)()() ()nnk SP XiP Xk P Xi Xk( )nkkik SpiiS1212(2)(,)ntmtmtmnP Xi XiXi12

    10、12(,)ntttnP Xi XiXi0121002(,)ntmtmtniSmPXi XiXXii1201002(,),ntmtmtmniSPXi XiXiXi100 112011 21()()()nnnntttttmii iiiiiiSppp121111 2()()nnnnitttti iiipp12111211()(nntttntntP Xi XiP Xi XiP Xi说明了说明了 若链有平稳分布若链有平稳分布,且以它作为初始分布且以它作为初始分布,则其绝对则其绝对分布是确定的分布是确定的,保持不变保持不变.且该链是严平稳的序列且该链是严平稳的序列.对一个齐次的马尔可夫链是否存在平稳分布对

    11、一个齐次的马尔可夫链是否存在平稳分布?一个重要的问题一个重要的问题:如果存在如果存在,是否唯一是否唯一?如何计算如何计算?在特殊情况下在特殊情况下,回答上述问题回答上述问题,即定理即定理(5.4.)6 引理引理1 设,i jS则必存在极限()10,1lim,nmijijnmjjjfpjn是非常返状态或零常返状态是正常返状态推论推论4 如果齐次马尔可夫链是不可约的,它的所有状态都是常返状态,则,i jS()111lim10nmijnmjjjjjjpn 当时,约定有定理定理6 设,0,1,2, 是齐次马尔可夫链不可约nXn其状态空间 中的每个状正常态都是返状态.S1,0,1,2,.njjjXnjS

    12、则有唯一的平稳分布特别的,特别的,若S 中的每个状态都是遍历状态遍历状态,则1,0,1,2,. 有唯一的平稳分布njjjXnjS且此时的平稳分布就是极限分布且此时的平稳分布就是极限分布.,jkkjk Skk SpjS平稳分布通过平稳分布通过求解右方程组求解右方程组其次其次 对一般的马尔可夫链对一般的马尔可夫链,如果不是不可约如果不是不可约,则极限则极限分布一定不存在分布一定不存在.平稳分布可能存在平稳分布可能存在,也可能不存在也可能不存在.若存在若存在,可能不唯一可能不唯一(有无穷多个有无穷多个)有定理有定理(5.4.)7引理引理2 设设C是周期为是周期为d的正常返状态的不可约闭集的正常返状态

    13、的不可约闭集,则则11j Cjj定理定理7 设012,HCCCQSD其中D是非常返状态集,C0是零常返状态集,(1,2,)mCm是正常返状态的不可约闭集,0,QDCHC 0,如果jjj SjS为齐次马尔可夫链的平稳分布的,使得11(2)0,(3),( )jjjjjQjC,则jjS充要条件是存在非负数列推论推论5 对于齐次马尔可夫链对于齐次马尔可夫链(1) 其其平稳分布存在的充要条件平稳分布存在的充要条件是是存在正常返状态的存在正常返状态的 不可约闭集不可约闭集.等价地等价地,不存在平稳分布的充要条件是不存在平稳分布的充要条件是 H= (2) 存在存在唯一的平稳分布唯一的平稳分布的充要条件是的充

    14、要条件是恰有一个正常恰有一个正常 返状态的不可约闭集返状态的不可约闭集.(3) 存在存在无穷多个平稳分布无穷多个平稳分布的充要条件是的充要条件是至少有两个至少有两个 不同的正常返状态的不可约闭集不同的正常返状态的不可约闭集.(4) 不可约链存在唯一的平稳分布的充要条件是不可约链存在唯一的平稳分布的充要条件是 所有所有 状态都是正常返状态状态都是正常返状态.定理定理8 不可约齐次马尔可夫链,0,1,2,nXn 具有平稳分布的充要条件是线性方程组,jiiji Szz pjS有非零的绝对收敛解,0,jjj SjS 即而且此时还有1,jii SjjjS例例 1 设状态空间为设状态空间为S=0,1,2,

    15、的马尔可夫链的马尔可夫链, 其一步其一步 转移概率矩阵为转移概率矩阵为0.50.40.10.30.40.30.20.30.5P骣= 桫试求它的极限分布试求它的极限分布解解 易知此链为不可约遍历链易知此链为不可约遍历链. 故其平稳分布就是极限分布故其平稳分布就是极限分布0121 02162p=12362p=21862p=例例2 设齐次马尔可夫链的状态空间设齐次马尔可夫链的状态空间S=0,1,2,3,4,其其一步转移概率矩阵为一步转移概率矩阵为12000331200033120003312000331200033P求它的平稳分布求它的平稳分布解解 易知是不可约链易知是不可约链,且为遍历链且为遍历链

    16、. 故其平稳分布存在且唯一故其平稳分布存在且唯一.012341 0131p=1231p=2431p=3831p=41631p=平稳分布为平稳分布为8161243131 313131=,例例3 设有状态空间设有状态空间S=0,1,2,3,4,5,6的齐次马尔可夫链的齐次马尔可夫链 其一步转移概率矩阵为其一步转移概率矩阵为0.50.50000002/ 31/ 300001/ 302/ 300000000.50.5000000.50.500000001011111117777777P(1)试对试对S进行分类,并说明各状态类型进行分类,并说明各状态类型(2) 求平稳分布,其平稳分布是否唯一?为什么?求

    17、平稳分布,其平稳分布是否唯一?为什么?(3) 求求22(10),(20)nnnnP XXP XX121713121712122312501634132312(1) 123SDCCC+=UUU60,1,23,45=UUU(2) 由由(1)知知,该链有三个不同的正常返不可约闭集该链有三个不同的正常返不可约闭集所以平稳分布不唯一所以平稳分布不唯一三个闭集对应的转移概率矩阵分别为三个闭集对应的转移概率矩阵分别为1122213311233000P骣= 桫112221122P骣=桫()31P =解方程组解方程组(1)(1)1(1)(1)(1)1231(2)(2)2(2)(2)121(3)(3)3(3)11(1)332888 , , =(2)1122 , =(3)1=11122223388238,0,llllll=平稳分布为平稳分布为12312310llllll+=, , ,(2)201(10(3)nnP XXp(2)202(20)nnP XXp11127222312=+=111236=作业作业: 3, 4, 5, 7, 9, 11, 12, 13, 14 (2), (4), (6), 15, 16.

    展开阅读全文
    提示  163文库所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    关于本文
    本文标题:随机过程19(4.4).ppt
    链接地址:https://www.163wenku.com/p-2040666.html

    Copyright@ 2017-2037 Www.163WenKu.Com  网站版权所有  |  资源地图   
    IPC备案号:蜀ICP备2021032737号  | 川公网安备 51099002000191号


    侵权投诉QQ:3464097650  资料上传QQ:3464097650
       


    【声明】本站为“文档C2C交易模式”,即用户上传的文档直接卖给(下载)用户,本站只是网络空间服务平台,本站所有原创文档下载所得归上传人所有,如您发现上传作品侵犯了您的版权,请立刻联系我们并提供证据,我们将在3个工作日内予以改正。

    163文库