第二讲随机变量的定义及分布课件.ppt

1、本章学习的目标：本章学习的目标：复习概率与随机变量的理论复习概率与随机变量的理论加深随机变量函数的理论（重点）加深随机变量函数的理论（重点）深化一些重要概念的理解深化一些重要概念的理解加深多维正态随机变量的理论加深多维正态随机变量的理论增加增加MatlabMatlab的统计分析函数的统计分析函数( (自主学习）自主学习）1.1 1.1 概率的基本术语概率的基本术语 随机试验随机试验(Random Experiment):(Random Experiment): 满足下列三个条件的试验称为随机试验：满足下列三个条件的试验称为随机试验： (1)(1)在相同条件下可重复进行；在相同条件下可重复进行；

2、 (2) (2)试验的结果不止一个，所有可能的结果能事先明确；试验的结果不止一个，所有可能的结果能事先明确； (3) (3)每次试验前不能确定会出现哪一个结果。每次试验前不能确定会出现哪一个结果。例：投掷硬币例：投掷硬币(Toss a coin)The outcome varies in an unpredictable fashion when the experiment is repeated under the same conditions.随机事件随机事件(Random Event):(Random Event):在随机试验中，对试验中可能出现也可能不出在随机试验中，对试验中可能出

3、现也可能不出现、而在大量重复试验中却具有某种规律性的现、而在大量重复试验中却具有某种规律性的事情，称为随机事件，简称为事件。事情，称为随机事件，简称为事件。如投掷硬币出现正面就是一个随机事件。如投掷硬币出现正面就是一个随机事件。基本事件基本事件(Elementary Event):(Elementary Event):随机试验中最简单的随机事件称为基本事件，随机试验中最简单的随机事件称为基本事件，如投掷骰子出现如投掷骰子出现1 1、2 2、.、6 6点是基本事件，点是基本事件，出现偶数点是随机事件，但不是基本事件。出现偶数点是随机事件，但不是基本事件。( (简单事件简单事件Simple Eve

4、nt)Simple Event)样本空间样本空间(Sample Space)(Sample Space)随机试验的所有基本事件组成的集合称为样本空间随机试验的所有基本事件组成的集合称为样本空间. .Toss a coin：S=Head, Tail=H,TToss a die: S=1,2,3,4,5,6关于样本空间的注释：关于样本空间的注释：离散的样本空间离散的样本空间Toss a die: S=1,2,3,4,5,6连续的样本空间连续的样本空间, , SR or Sa b由多次子试验构成的样本空间看下例由多次子试验构成的样本空间看下例IF we toss a coin three times

5、 and let the triplet xyz denote the outcome “x on the first toss, y on the second toss, z on the third toss”, then the sample space of the experiment isS=HHH, HHT, HTH, HTT, THH, THT, TTH, TTTThe event “ one head and two tails” is defined byE=HTT, THT, TTH关于样本空间的注释：关于样本空间的注释：离散的样本空间离散的样本空间Toss a die

6、: S=1,2,3,4,5,6连续的样本空间连续的样本空间, , SR or Sa b由多次子试验构成的样本空间由多次子试验构成的样本空间可数无穷的样本空间可数无穷的样本空间S=S1 S1 =HH, HT, TH, TT, S1=H,T频率和概率频率和概率(Frequency and Probability):(Frequency and Probability):n n次重复试验中，次重复试验中，事件事件A A发生的次数发生的次数n nA A：- -事件事件A A的的频数频数比值比值n nA A/n:-/n:- 事件事件A A发生的发生的频率频率nnAPAn lim)(概率概率频率反映了事件

7、频率反映了事件A A发生的频繁程度，若事件发生的频繁程度，若事件A A发发生的可能性大，那么相应的频率也大，反之则生的可能性大，那么相应的频率也大，反之则较小。较小。 1.2 1.2 随机变量的定义随机变量的定义(Definition of a random variable)(Definition of a random variable)设随机试验设随机试验E E的样本空间为的样本空间为S=eS=e，如果对于每一，如果对于每一个个e e S S，有一个实数，有一个实数X(e)X(e)与之对应，这样就得到与之对应，这样就得到一个定义在一个定义在S S上的单值函数上的单值函数X(e)X(e)，

8、称，称X(e)X(e)为随机为随机变量，简记为变量，简记为X X。 随机变量是定义在样本空间随机变量是定义在样本空间S S上的单值函数上的单值函数1. 1. 定义定义Interpretation of random variable:Se( )X eReal lineRandom variable is a function that assigns a numerical value to the outcome of the experiment.A coin tossSe11( )X eReal line10e22()X eMapping of the outcome of a coin

9、 toss into the set of real number1( )0eHeadX eeTailA discrete random variable is a random variable that can be take on at most a countable number of possible values根据随机变量取值的不同可以分为：根据随机变量取值的不同可以分为： 连续型随机变量连续型随机变量(Continuous random variable)(Continuous random variable) 离散型随机变量离散型随机变量(Discrete random v

10、ariable)(Discrete random variable)2. 2. 概率分布列概率分布列),.,2 , 1()(nkpxXPkkXx1x2.xnpkp1p2.pn11nkkpProbability mass function (PMF)()()(1,2,., )XkkkPxP Xxpkn(1) (0,1)(1) (0,1)分布分布 随机变量的可能取值为随机变量的可能取值为0 0和和1 1两个值，其概率分布为两个值，其概率分布为1,01(01)P XpP Xpqp 10( )1XpkPkpkPMF:( )XPkk0 11ppBernoulli random variableLet A

11、 be an event of interest in some experiment, e.g., a device is not defective. We say that a “success” occurs if A occurs when we perform the experiment.Bernoulli random variable IA is equal to 1 if A occurs and zero otherwise. 0if not in A( )1if in AAeIee(0)( )01IAPP Iep (1)( )1IAPP Iep(2) Binomial

12、独立地进行独立地进行n次贝努利试验，事件次贝努利试验，事件A发生发生m次的概率次的概率( )mn mXnPmp qm()npq刚好是刚好是 展开的第展开的第m+1项的系数项的系数例：雷达双门限检测器例：雷达双门限检测器Example: Transmission error in a binary communications channel .Let X be the number of errors in n independent transmissions. Find the PMF of X. Find the probability of one or fewer errors010

13、1 1- 1- The probability of k errors in n bits transmissions is given by the probability of an error pattern that k 1s and n-k 0s( )(1)kn kXnPkP Xkk X is a binomial random variable001111(1)(1)01(1)(1)nnnnnnP Xn 例：信息传输问题（例：信息传输问题（Message Transmissions）Let X be the number of times needs to be transmitt

14、ed until it arrivers correctly at its destination. Find the probability that X is an a even number.X is a discrete random variable taking on values from S=1,2,3,.(3) geometric random variableThe event X=k occurs if k-1 consecutive erroneous transmissions (failures) followed by a error-free one (succ

15、ess) ( )(00.01)XPkP XkP11(1)kkppqpX is called the geometric random variable21112 is even (2 )1111kXkkP XPkqppqq泊松分布泊松分布(Poisson distribution)(Poisson distribution)( )()!kXePkP Xkk,.1 , 0k0)(PX例：交通路口在单位时间内通过的车辆数例：交通路口在单位时间内通过的车辆数1.3 1.3 分布函数和概率密度函数分布函数和概率密度函数Probability Density Function, （PDF） Distri

16、bution Function or Cumulative Distribution Function, (CDF)( )()F xP Xx( )( )dF xf xdx1. 定义定义0)()(12xFxF12xx 1)(0 xF)(1)(xFxXP1221()( )( )P xXxF xF x)()()(1221xFxFxXxP右连续)()(xFxF2. 分布函数的性质（分布函数的性质（Properties of the CDF）()( )()P XxF xF x分布函数是右连续的不减函数，在负无穷处为零，分布函数是右连续的不减函数，在负无穷处为零，正无穷处为正无穷处为1 1。对于连续型随机

17、变量，取某一特定。对于连续型随机变量，取某一特定值的概率是为零的。即值的概率是为零的。即PX=x=0PX=x=0对于离散型随机变量，分布函数为阶梯函数，阶梯的对于离散型随机变量，分布函数为阶梯函数，阶梯的跳变点出现在随机变量的取值点上，跳变的高度为随跳变点出现在随机变量的取值点上，跳变的高度为随机变量取该值的概率。机变量取该值的概率。( )()()() ()kkkkXkkkkxxkF xp U xxPxP x U xx对于离散型随机变量，对于离散型随机变量，PMF与与CDF的关系为的关系为( )( )( )XkkkkkP xpF xF xP Xxkxkp( )F xx概率密度概率密度dxxdF

18、xf)()( )0f x ( )1f x dx()()( )211221xxP xXxF xF xf x dx随机变量落入(x1,x2) 的概率 ( )( ) ()()Xkkkkkf xPkxxpxx对于离散型随机变量，它的概率密度函数是一串对于离散型随机变量，它的概率密度函数是一串 函数函数之和，之和， 函数出现在随机变量的取值点，强度为取该值函数出现在随机变量的取值点，强度为取该值的概率。的概率。 ( )() ()()XkkkkkkF xPx U xxp U xx1x2xkx1p2pkp( )F xx1x2xkx1p( )f xx2pkp3. 3. 常见概率分布常见概率分布 正态分布（正态

19、分布（NormalNormal），也称高斯（），也称高斯（GaussGauss）分）分布布 222)(exp21)(xxf),(2NX-4-3-2-10123400.10.20.30.40.50.60.70.8N(0,1)N(0,1)正态分布概率密度正态分布概率密度 221()( )exp22xXxFxdx21( )exp22xxxdx标准正态分布函数标准正态分布函数瑞利分布（瑞利分布（RayleighRayleigh）瑞利分布概率密度瑞利分布概率密度 2 2 0002exp)(222xxxxxf，02468101200.050.10.150.20.250.30.350.4指数（指数（Expo

20、nentialExponential）分布）分布指数分布概率密度指数分布概率密度 000)(xxexfx，0123456700.511.5( )1xF xe 对数正态分布（对数正态分布（LogNormalLogNormal）高分辨率雷达杂波分布高分辨率雷达杂波分布01234567891000.10.20.30.40.5对数正态分布概率密度对数正态分布概率密度 为尺度参数为尺度参数 为形状参数为形状参数221()( )exp( )22lnxf xU xx1.4 1.4 多维随机变量及其分布多维随机变量及其分布 Multiple Random Variables and Distributions

21、 Multiple Random Variables and Distributions 1. 定义定义Se( ),( )X e Y exy2R ( ), ( )(, )SeX e Y eX YX2. 2. 二维分布函数和概率密度二维分布函数和概率密度 Bivariate CDF and PDF Bivariate CDF and PDF 二维分布函数图解二维分布函数图解 ,),(yYxXPyxF定义：定义：二维分布函数性质：二维分布函数性质： 1),(0yxF0),( yF0),(xF0),(F1),(F)(),(xFxFX)(),(yFyFY边缘（边缘（MarginalMarginal）分

22、布）分布由二维分布函数可以求出一维分布函数由二维分布函数可以求出一维分布函数 二维概率密度：二维概率密度： yxyxFyxf),(),(20),(yxf xydxdyyxfyxF),(),(dyyxfxfX),()(dxyxfyfY),()(由二维概率密度可以求出边缘概率密度由二维概率密度可以求出边缘概率密度( , )1f x y dxdy (, )( , )GPX YGf x y dxdy随机变量落在某个区域的概率随机变量落在某个区域的概率 3. 3. 条件分布条件分布(Conditional Distribution) (Conditional Distribution) |)|(|xXy

23、YPxyFXY条件分布函数条件分布函数yxyFxyfXYXY)|()/(|条件概率密度条件概率密度)()|()()|(),(|xfxyfyfyxfyxfXXYYYX)()(),(yfxfyxfYX称随机变量称随机变量X X、Y Y独立独立Example: Communication Channel with Discrete Input and Continuous Outputnoise voltage NU(-2,2) 通信信道通信信道X: +1 or -1Find PX=+1, Y0YSolution:1,|1 (1)P XYyP Yy XP X 1/2 1,3When the inpu

24、t X=1, the output Y is uniformly distributed in the interval Therefore( 1)1|144yyP Yy X 1 111,04 28P XY 1.5 1.5 随机变量的数字特征随机变量的数字特征 均值均值 方差方差 协方差与相关系数协方差与相关系数 协方差矩阵协方差矩阵 举例举例1. 1. 均值（均值（Mean)Mean)算术平均：算术平均： 所有可能取值等概率加权所有可能取值等概率加权统计平均值：统计平均值： 所有可能取值按概率加权所有可能取值按概率加权dxxxfXE)()(连续型随机变量：连续型随机变量：11()( )NNi

25、iiXiiiE Xx px Px离散型随机变量：离散型随机变量：性质：性质：)()(XcEcXE)()()()(2121nnXEXEXEXXXE如果如果X X和和Y Y相互独立，相互独立，)()()(YEXEXYE如果如果EXY=0，则称，则称X和和Y正交正交(Orthogonal)。2. 2. 方差方差(Variance)(Variance)()(2XEXEXD)()()(22XEXEXD方差反映了随机变量方差反映了随机变量X X的取值偏离其均值的偏离程度或的取值偏离其均值的偏离程度或分散程度，分散程度，D(X)D(X)越大，则越大，则X X的取值越分散。的取值越分散。02040608010

26、0120140160180200-10-50510020406080100120140160180200-10-50510性质：性质：0)(cD)()(2XDccXD)()()()(2121nnXDXDXDXXXD如果如果X X1 1,X,X2 2,.,X,.,Xn n相互独立。相互独立。Variance is a nonlinear operator)()(2XDccXD1212()()()()nnD XXXD XD XD X3. 3. 协方差和相关系数协方差和相关系数(Covariance and Correlation coefficient)(Covariance and Correl

27、ation coefficient)ov(, )()( )CX YEXE XYE Yov(, )()() ( )CX YE XYE X E Y)()(),cov(YDXDYXrXY1XYr如果如果X和和Y相互独立，则相互独立，则rXY=0，| rXY|=1的充要条件是的充要条件是PY=aX+b=10XYrwe define X and Y to be uncorrelatedIf ,If X and Y are independent, then X and Y are uncorrelated.X and Y are independentX and Y are uncorrelatedTr

28、ueFalseThe correlation coefficient provides a measure of how good a prediction of the value of one of the two RVs can be formed based on an observed value of the other. 1XYrYabX1 indicates a high degree of linear between X and Y+1 means b0 and -1 means b0Independent:( , )( )( )XYXYfx yfx fyUncorrela

29、ted(, )0Cov X Y Orthogonal:()0E XY 不相关就认为不相关就认为X与与Y没有关系吗？没有关系吗？例：例： 为零均值正态随机变量，为零均值正态随机变量， Y 与与X相关吗？相关吗？X2YXY是依赖于是依赖于X的的(Dependence)，但但Y与与X不相关不相关(Uncorrelated), 线性不相关的。线性不相关的。Independent implies zero covariance but zero covariance does not imply independence.Example: Uncorrelated but dependent rando

30、m variablesLet be uniformly distributed in the interval (0,2 )。LetcossinXY()( )0E XE Y()0E XY X and Y are uncorrelated but dependent(cos ,sin )yx11注意英文单词的区别注意英文单词的区别:Correlation (Uncorrelated)Dependent（Independent)21( ) 111Xfxforxx It can be shown that 4. 4. 协方差矩阵（协方差矩阵（Covariance MatrixCovariance M

31、atrix）多维随机变量通常用协方差矩阵来描述随机变量之间的相互关系。多维随机变量通常用协方差矩阵来描述随机变量之间的相互关系。),(21nXXXnnnnnnkkkkkkkkk212222111211K)()(),cov(jjiijiijXEXXEXEXXk*cov(,)()() ijijiijjkXXEXE XXE X协方差矩阵是对称（共轭对称）的；协方差矩阵是对称（共轭对称）的；如果变量之间是不相关的，则如果变量之间是不相关的，则K K是一个对角阵。是一个对角阵。例例1: (0,1)分布随机变量，分布随机变量，PX=1=p,PX=0=q=1-p, 求求X的均值和方差的均值和方差5. Exp

32、ected value of some important random variableEX=1PX=1+0 PX=0=pEX2=12 PX=1+02 PX=0=pD(X)=E(X2)-(EX)2=p-p2=pq解解:例例2 (a,b)2 (a,b)上均匀分布的随机变量，求均值和方差上均匀分布的随机变量，求均值和方差 1/()( )0baaxbf x其它221111()()()22baE Xxdxbaabbaba22332222()()()1111()()434()12baD XE XEXbaxdxababbababa例例3 3 求瑞利分布随机变量的均值和方差。求瑞利分布随机变量的均值和方差

33、。222( )exp02xxf xx22220220( )exp2exp22E Xxf x dxxxdxuudu 223222022320( )exp2exp22E Xx f x dxxxdxuudu 222()2/2(2)2D X 常用分布及其数字特征归纳常用分布及其数字特征归纳Uniform Random Variable( )1/()f xbaaxb()()/2E Xab2()() /12D Xba( )()j bj aXeejba Exponential Random Variable( )00 xf xex ()1/E X 2()1/D X ( )Xj Gaussian Random

34、 Variable()E X 2()D X 22/2( )jmXe Remark: Under a wide range of conditions X can be used to approximate the sum of a large number of independent random variable. 221()( )exp22xf xGamma Random Variable()/E X 2()/D X 1( )(1/ )Xj Remark: Chi-Square random variable with k degree of freedom: k=2 , =1/21(

35、)( )0,0,0( )xxef xx Laplacian Random Variable| |( )002c xcf xexc()0E X 2()2/D Xc222( )Xcc Rayleigh Random Variable222( )exp02xxf xx()2E X222()2/2(2)2D X 随机变量的定义与分布随机变量的定义与分布（1）概率的基本术语：）概率的基本术语：随机试验随机试验 基本事件基本事件 随机事件随机事件 样本空间，频率与概率样本空间，频率与概率（2）随机变量的定义）随机变量的定义 从样本空间到实轴的映射从样本空间到实轴的映射（3）随机变量的分布）随机变量的分布 PMF CDF PDF 典型随机变量的分布典型随机变量的分布 （4）条件分布）条件分布 小结小结随机变量的数字特征随机变量的数字特征1. 均值均值 反映随机变量取值的统计平均值反映随机变量取值的统计平均值2. 方差方差 随机变量取值偏离均值的偏离程度随机变量取值偏离均值的偏离程度3. 相关系数相关系数 X与与Y线性程度的度量线性程度的度量 注意：线性不相关并不意味他们没有关系注意：线性不相关并不意味他们没有关系 注意与独立的差别注意与独立的差别4. 协方差矩阵协方差矩阵5. 常见随机变量的数字特征常见随机变量的数字特征