第1章随机过程的基本概念课件.ppt

1、第一章第一章 随机过程的基本概念随机过程的基本概念1.1 基本概念基本概念1.2 有限维分布与柯尔莫哥洛夫定理有限维分布与柯尔莫哥洛夫定理1.3 随机过程的数字特征随机过程的数字特征1.1 基本概念基本概念 Ex.1 对某城市的气温进行对某城市的气温进行n年的连续观察年的连续观察,记录得记录得一、实际背景一、实际背景 在许多实际问题中在许多实际问题中,不仅需要对随机现象做特不仅需要对随机现象做特定时间点上的一次观察定时间点上的一次观察,且需要做多次的连续不且需要做多次的连续不断的观察断的观察,以观察研究对象随时间推移的演变过以观察研究对象随时间推移的演变过程程.,),(btatX 研究该城市气

2、温有无以年为周期的变化规律研究该城市气温有无以年为周期的变化规律?随机过程的随机过程的谱分析问题谱分析问题 Ex.2 从杂乱电讯号的一段观察从杂乱电讯号的一段观察Y(t),0 t T 中中,研究是否存在某种随机信号研究是否存在某种随机信号S(t)?)?过程检测过程检测 Ex.3 监听器上收到某人的话音记录监听器上收到某人的话音记录Z(t),t 试问他是否确实是追踪对象？试问他是否确实是追踪对象？过程识别过程识别二、随机过程定义二、随机过程定义为为(F,P)上的一个随机过程上的一个随机过程.,TttX,Tt RT 定义定义 设设(,F,P)是概率空间是概率空间,若对每个若对每个 ,tX是概率空间

3、是概率空间(F,P)上的随机变量上的随机变量,则称这族随机变量则称这族随机变量注注 1)称称T是是参数集参数集(或或参数空间参数空间)当当T=(1,2,，n),),(,21nXXXTttX 随机向量随机向量当当T=(1,2,n,),),(,21XXTttX 随机时间序列随机时间序列 随机过程是随机过程是n 维随机变量，随机变量序列的维随机变量，随机变量序列的一般化一般化,是随机变量是随机变量X(t),的集合的集合.Tt 用用E表示随机过程表示随机过程 的值域的值域,称称E为为 过程的过程的状态空间状态空间.TtXXtT ,Ex.4 设设(,F,P)是对应于抛均匀硬币的概率是对应于抛均匀硬币的概

4、率空间空间:，反反，正正 2121,2121 PP .,F21 做无穷多次抛硬币独立试验做无穷多次抛硬币独立试验,引入随机变量引入随机变量 )0,1,2,(.1,;0,21 ttX则则 是一随机过程是一随机过程.,1,2,:,ttX其参数集其参数集T=0,1,2,状态空间状态空间E=0,1.随机过程的理解随机过程的理解 ,:,TttT为集合为集合T 与与的的积集积集.称称 随机过程随机过程 可看成定义在积集可看成定义在积集 上的二上的二元函数元函数 ,tX T1)当固定当固定 是一个随机变量是一个随机变量；,Tt ),(tXXt 2)当固定当固定 ,作为作为 的函数，的函数，是一个是一个定义在

5、定义在T上的普通函数上的普通函数.Tt),(tTTX(t1,)X(t2,)X(t,1)X(t,2)X(t,3)t1t2tn 定义定义 对每一固定对每一固定 ，称，称 是随机过程是随机过程 的一个的一个样本函数样本函数.tX),(TttX 也称轨道也称轨道,路径路径,现实现实.Ex.5 利用抛硬币的试验定义一个随机过程，利用抛硬币的试验定义一个随机过程，.2,cos)(RttttX 出出现现反反面面出出现现正正面面；设出现正反面的概率相同设出现正反面的概率相同,写出写出 X(t)的所有的所有样本函数样本函数.解解记记 1=出现正面出现正面,2=出现反面出现反面,则则X(t)的所有现实为的所有现实

6、为x(1,t)=cost,和和 x(2,t)=2t.1 1、分布函数定义、分布函数定义 ,)(;RxxtXPxtF 对任意对任意 ,二维随机变量二维随机变量(X(s),X(t)联联合分布函数合分布函数Tts ,TttXXT ),(,Tt 定义定义1 随机过程随机过程 ，对，对随机变量随机变量X(t)的分布函数的分布函数 ,称为过程称为过程XT 的的一维一维分布函数分布函数.二、二、有限维分布与柯尔莫哥洛夫定理有限维分布与柯尔莫哥洛夫定理 ytXxsXPyxtsF )(,)(,;,称为称为XT 的的二维分布函数族二维分布函数族.,21Ttttn 定义定义2 过程过程 对任给的对任给的),(Ttt

7、X )(,)(,)(21ntXtXtX随机向量随机向量的联合分布函数的联合分布函数称为过程的称为过程的n 维分布函数维分布函数.记记),;,(2121nnxxxtttF)(,)(,)(2211nnxtXxtXxtXP 0,1,2,:,;,2121 nniRxTtxxxtttFFiiinn称称F为为XT 的的有限维分布函数族有限维分布函数族.定义定义3 过程过程 的的n 维特征函数定义为维特征函数定义为),(TttX n2121,;,nttt)()(11nntXtXieE 特征函数和分布函数是相互唯一确定特征函数和分布函数是相互唯一确定.1,:),;,(2121n21 nTttttttnn称称为

8、为XT 的有限维特征函数族的有限维特征函数族.2.随机过程存在定理随机过程存在定理 随机过程的有限维分布函数族满足以下随机过程的有限维分布函数族满足以下两个性质两个性质（1）对称性）对称性 对对1,2,n 的任一排列的任一排列j1,j2,jn,均有均有 nnjjjjxxxtttFxxttFnn,;,;,212111 对任意固定的自然数对任意固定的自然数mn,均有均有 mmxxxtttF,;,2121 ,;,2121mnmxxxttttF nmnxxxxxtttFnm,;,lim121,1 （2）相容性）相容性注注联合分布函数能完全确定边缘分布函数联合分布函数能完全确定边缘分布函数.因事件乘积满

9、足交换律因事件乘积满足交换律.注注类似地类似地,随机过程的有限维特征函数满足随机过程的有限维特征函数满足:1)对对1,2,n的任一排列的任一排列j1,j2,jn 有有 nnjjjjtttttnn,;,;,212111 2)对任意固定的自然数对任意固定的自然数mn,均有均有 mmttt,;,2121 ,0,0,;,2121mnmtttt 3 3、随机过程存在定理、随机过程存在定理(柯尔莫哥罗夫柯尔莫哥罗夫)如果分布函数族如果分布函数族 1,;,212121 nTtttxxxtttFnnn 满足条件满足条件(1)和和(2),则存在一个概率空间上的一则存在一个概率空间上的一个随机过程个随机过程 Tt

10、tXXT ),(,其有限维分布函其有限维分布函数族恰为数族恰为 0,1,2,:,;,2121 nniRxTtxxxtttFFiiinn nnxxxtttF,;,2121 .)(,)(11nnxtXxtXP 即有即有 在实际应用中在实际应用中,很难确定出随机过程的有限维很难确定出随机过程的有限维分布函数族分布函数族,过程的数字特征能反映其局部统计性过程的数字特征能反映其局部统计性质质.1、均值函数、方差函数及相关函数、均值函数、方差函数及相关函数 定义定义 给定随机过程给定随机过程 ,称称 TttXXT ),(TtxtxdFtXEtm,)(为过程为过程XT的的均值函数均值函数.需确定各类数字特征

11、随时间的变化规律需确定各类数字特征随时间的变化规律.三、随机过程的数字特征三、随机过程的数字特征 定义定义 给定随机过程给定随机过程 ,称称 TttXXT ),(2)(tmtXEtXDtD 为过程为过程XT的的方差函数方差函数.称称 为过程为过程XT的的均方差函数均方差函数.tDt 需要描述不同时刻过程状态的关联关系需要描述不同时刻过程状态的关联关系.s tCov X s X tEX sm sX tm t,(),()()()定义定义 给定随机过程给定随机过程 ,称称为过程为过程XT的的协方差函数协方差函数.D tt tE X tm t2,s tE X t X sm s m t,()()有有 T

12、ttXXT ),(定义定义 给定随机过程给定随机过程 ,称称 TttXXT ),(R s tE X s X t(,)()()为过程为过程XT的的自相关函数自相关函数.s tR s tm s m t,(,)有有特别当特别当 时时 0 tmXT是零均值过程是零均值过程s tR s t(,)(,)称称 (s tsts t,)为过程为过程XT的的自相关系数自相关系数.定义定义 给定两个随机过程给定两个随机过程 称称 TttXXT ),(TYY ttT(),(,)()()()()XYXYs tEX smsY tmt为为 和和 的互协方差函数。称的互协方差函数。称 TttXXT ),(TYY ttT(),

13、(,)()()XYRs tE X s Y t为为 和和 的互相关函数。的互相关函数。TttXXT ),(TYY ttT(),Ex.1 设设p,q是两个随机变量是两个随机变量,构成随机过程构成随机过程 RTtqtptX ,)(均值函数为均值函数为,)()()()(tqEpEtXEtm 自相关函数为自相关函数为)(),(qtpqspEtsR .),(,)(222RtsstqEtspqEPE 若若p,q相互独立，且均服从分布相互独立，且均服从分布N(0,1)，则，则)(),(qtpqspEtsR 221,2E PE pq stE qststs tR()(,).Ex.2 设随机过程设随机过程)cos(

14、)(tAtX 其中其中是正常数是正常数,随机变量随机变量A 与与相互独立相互独立,AN(0,1),U(0,2).试求过程的均值函数和相关试求过程的均值函数和相关函数函数.解解)cos()()(tAEtXEtmX;0)cos()(tEAE)XRs tE X s X tE Ats2(,)()()cos(cos()cos()cos()(2 stEAE 20d)(cos)(cos21st 20)2)(cos)(cos41dstst).(cos21st 随机变量函随机变量函数的数学期数的数学期望公式望公式 2、复随机过程、复随机过程 定义定义 设设 和和 是两个实随是两个实随机过程，称机过程，称 Ttt

15、X),(TttY),(,)()()(TtiYtXtZ 为为复随机过程复随机过程.1 i复随机过程复随机过程 的的均值函数均值函数为为 TttZ),(;,)(Y)(TttiEtXEtmZ 方差函数方差函数为为,)()()()()(2ZtDtDtmtZEtDYXZ 2)()(tmtZZ2)()()()(tmtYitmtXYX 22)()()()(tmtYtmtXYX 自相关函数自相关函数为为 ;,tZsZEtsRZ 自协方差函数自协方差函数为为 tZsZtsCZ,Cov,.ZtmtZsmsZEZ )()(),(2121tZsZEtsRZZ 定义定义 设设 和和 是两个复随是两个复随机过程机过程,T

16、ttZ,1 TttZ,2它们的它们的互相关函数互相关函数定义为定义为互协方差互协方差函数为函数为)()(Cov),(2121tZsZtsCZZ)()()()(2121tmtZsmsZEZZ 四、随机过程的分类四、随机过程的分类1.按状态空间和参数集进行分类按状态空间和参数集进行分类1)T,E 均为可列集均为可列集;2)T 是是可列集可列集,E 不可列不可列;3)T 不可列不可列,E 为可列集为可列集;4)T,E 均不可列均不可列.TttXXT ),(当当T为可列集为可列集,称为称为离散参数随机过程离散参数随机过程,随机随机序列序列,时间序列时间序列.当当E 为可列为可列(或有限或有限)集集,称

17、为称为离散状态随机过离散状态随机过程程.2.按概率结构进行分类按概率结构进行分类1)二阶矩过程二阶矩过程 若过程若过程 对每一个对每一个 ,的的二阶矩都存在二阶矩都存在.TttTTt ),(Tt)(tT2)平稳过程平稳过程宽平稳过程（或协方差平稳过程）宽平稳过程（或协方差平稳过程）若若,()tT D X t存在且(),cov(,)()ttE X tmXXR仅依赖仅依赖，(),X t tT称为宽平稳过程。称为宽平稳过程。严平稳过程严平稳过程有相同的联合分布，则称该过程为严平稳过程。有相同的联合分布，则称该过程为严平稳过程。若若121212,0,(,(,nnntttthththt ttThXXXX

18、XX及,)与,)LLL定义：设定义：设 为一平稳过程为一平稳过程（或平稳序列），若（或平稳序列），若(),X tt 1lim2TTTXX t dtmT或或 1lim21NNkNXX kmN则称则称X的均值具有遍历性。此处极限为的均值具有遍历性。此处极限为均方意义，即均方意义，即 21lim02TTTEX t dtmT平稳过程的平稳过程的遍历性遍历性若若 1()lim()()2()TTTX tm X tm dtT 或或 1()lim()()21()NNkNX km X kmN 则称则称X的协方差具有遍历性。的协方差具有遍历性。若一个随机过若一个随机过程的均值和协方差函数都具有遍历性，则称程的均值

19、和协方差函数都具有遍历性，则称随机过程具有遍历性。随机过程具有遍历性。定理定理（均值遍历性定理均值遍历性定理）（1）设）设X=Xn,n=0,1,2,是平稳序列，是平稳序列，其协方差函数为其协方差函数为 ，则，则X有遍历性的充要有遍历性的充要条件是条件是()t101lim()0NNttN（2）设）设X=Xt,-t+是平稳过程，则是平稳过程，则X有遍历性的充要条件是有遍历性的充要条件是201lim(1)()02TTdTT 给出连续型的证明：给出连续型的证明：222221lim21lim()41lim()()41lim()4TTTTTTTTTTTTTTTTEX t dtmTEX tm dtTE X

20、tm X sm dtdsTts dtdsT 做变换做变换tsvts 则则Jacobi行列式的值为行列式的值为1111112J:22DTvT 积分区域变为积分区域变为222222(2)22222020111lim()()4421lim()81lim()(2)41lim()(2)21lim()(1)2TTTTTDTTTTTTTTTTTTts dtdsd dvTTddvTTdTTdTdTT 所以有所以有推论推论1：若：若()t dt 则均值遍历性定理成立。则均值遍历性定理成立。证明：因为，当证明：因为，当 时，有时，有1()()2T 02T220020011()(1)()(1)2211()()0TT

21、TddTTTTddTT 推论推论2：对于平稳序列而言，若：对于平稳序列而言，若()0 ()tt 则均值遍历性定理成立。则均值遍历性定理成立。证：给出离散型情形，由证：给出离散型情形，由Stoltz定理定理101lim()lim(1)0NNNNN 10,()NNNxN y 11limlimNNNNNNNNyyyxxx令令定理定理（协方差函数遍历性定理协方差函数遍历性定理）设设X=Xt,-t+是平稳过程，其均值函数是平稳过程，其均值函数为零，则协方差函数有遍历性的充要条件是为零，则协方差函数有遍历性的充要条件是2211101lim(1)()(0)02TTBdTT其中其中111()()()()()B

22、E X tX tX tX t 例例 设设 ，则则 的均值有遍历性。的均值有遍历性。证明证明 其均值为其均值为()cos(),(0,2),0X tatU (),X t tR201()cos()02E X tatd其协方差函数为其协方差函数为22202220()()cos()cos()cos()cos()2cos(2)2)cos()cos()42E X tX tE attattdaatd所以，所以，是平稳过程。又是平稳过程。又(),X t tR20220222201lim(1)()2lim(1)cos()22sin(2)cos()24TTTTTdTTadTTaTadTT 22222sin(2)21

23、112 sin(2)cos(2)40 ()aTTaTTTTT所以，所以，的均值有遍历性。的均值有遍历性。(),X t tR3)平稳增量过程平稳增量过程 对任意实数对任意实数 h及任意及任意t1,t2有有4)独立增量过程独立增量过程 对任一正整数对任一正整数n及任意及任意 随随机变量机变量,21intttTt 2()()()()()()nnX tX tX tX tX tX t2131,相互独立相互独立.过程过程增量增量重要子类有泊松过程，维纳过程重要子类有泊松过程，维纳过程.1122()()()()dX thX tX thX t5)马尔科夫过程马尔科夫过程.6)正态过程正态过程 7)鞅过程鞅过程