机器学习数学基础：概率论基础课件.pptx

1、数学基础数学基础SXT第五讲概率论基础SXTSXT概率论初步概率论初步01.基本概念02.随机变量03.随机变量的数字特征04.大数定理大数定理和中心极限定理和中心极限定理SXT0101基本概念SXT（1）随机现象在一定的条件下可能出现也可能不出现的现象（2）随机试验进行一次试验，如果其所得结果不能完全预知，但其全体可能结果是已知的特点：可重复性可观察性随机性：SXT 随机试验的每一个可能的结果称为一个样本点，它们的全体，称为样本空间，习惯上分别用 与 表示样本点与样本空间。（3）样本空间 样本空间的任意一个子集称为随机事件,简称“事件”.记作A、B、C等（4）随机事件SXT（5）古典概型与概

2、率(1)(1)古典概型古典概型 设设为试验为试验E E的样本空间，若的样本空间，若 （有限性）（有限性）只含有限个样本点只含有限个样本点;（等概性）（等概性）每个基本事件出现的可能性相等每个基本事件出现的可能性相等;(2)(2)古典概型概率的定义古典概型概率的定义 事件A中包含的样本点数P(A)样本空间 中样本点总数knSXT概率的性质：非负性非负性规范性规范性1P 10PSXT(6)条件概率()/()P ABP B()P A B()()P ABP B,(),设为两个事件则称A BP B 0为在事件发生的条件下B事件 发生的A记作条件概率.SXT()()()()P ABP A P B AP A

3、0()()()()P ABP B P A BP B0推广推广:()()()()()nnnnP AAAP A P A AP A AAAP AAA121211211210()()()()()P ABCP A P B A P C ABP AB0,对任意事件 A B条件概率的乘法公式SXT设设A A1 1，,A,An n是是的一个划分，且的一个划分，且P(AP(Ai i)0 0，(i i1 1，n)n)，则则对任何事件对任何事件B B 有有 ()()(|)niiiP BP A P B A1（7）全概率公式SXT（7）Bayes公式()iP BA()()iP ABP A()()()()iinjjjP B

4、 P A BP BP A B1称称()iP B A为为后验概率后验概率,它是得到了信息它是得到了信息 发生发生,再对导致再对导致 A A 发生的原因发生的可能性大小发生的原因发生的可能性大小 重新加以修正重新加以修正.称称 P P(B Bi i)为为先验概率先验概率，它是由以往的经验得到的，它是由以往的经验得到的，它是事件它是事件 A A 的原因的原因.A ASXT例：一学生接连参加同一课程的两次考试，例：一学生接连参加同一课程的两次考试，第一次及格的概率为第一次及格的概率为p p，若第一次及格则第，若第一次及格则第二次及格的概率也为二次及格的概率也为p p；若第一次不及格则；若第一次不及格则

5、第二次及格的概率为第二次及格的概率为p/2p/2。若已知它第二次。若已知它第二次已经及格，求他第一次及格的概率已经及格，求他第一次及格的概率SXT定义定义:若事件若事件A A与与B B满足满足 P(AB)=P(A)P(B),P(AB)=P(A)P(B),则称则称A A与与B B相互独立，简称相互独立，简称A A与与B B独立独立。注意注意:从直观上讲从直观上讲,A,A与与B B独立就是其中任何一个事件出现的概率独立就是其中任何一个事件出现的概率不受另一个事件出现与否的影响不受另一个事件出现与否的影响.（8）事件的独立性SXT0202随机变量SXT设设E是一随机试验，是一随机试验，是它的样本空间

6、是它的样本空间，若，若则称则称 上的单值实值函数上的单值实值函数 X()为随机变量为随机变量)(X实数按一定法则（1）随机变量随机变量通常用随机变量通常用大写字母大写字母X,Y,Z或希腊字母或希腊字母,等表等表示示SXT(2)分布函数定义了一个定义了一个 x x 的实值函数，称为随机变量的实值函数，称为随机变量X X 的的分分布布函数函数，记为，记为F(x)F(x),即即定义：定义：设设 X X 为随机变量为随机变量,对每个实数对每个实数 x,x,随机事件随机事件)(xX 的概率的概率)(xXPxxXPxF),()(注注:分布函数分布函数完整地表示了随机变量的概率分完整地表示了随机变量的概率分

7、布情况布情况 .SXT(3)离散型随机变量若随机变量若随机变量X取值取值x1,x2,xn,且取这些值且取这些值的概率依次为的概率依次为p1,p2,pn,则称则称X为离散型为离散型随机变量，而称随机变量，而称PX=xk=pk,(k=1,2,)为为X的的分布律分布律或概率分布。或概率分布。SXT常见的离散型随机变量的概率分布(1)0 1 分布X X=x xk k 1 01 0P Pk k p p 1 1-p-p0 0 p p 1,1,相互相互独立独立)，且且具有相同的数学期望和方差具有相同的数学期望和方差nXXX,21,2,1,)(,)(2kXDXEkk则则0有有01lim1nkknXnP或或11

8、lim1nkknXnPSXT意义：意义：当当 n n 足够大时，算术平均值几乎就是一个常数足够大时，算术平均值几乎就是一个常数,可以用算术平均值近似地代替数学期望可以用算术平均值近似地代替数学期望.具有相同数学期望和方差的独立随机变量序列的具有相同数学期望和方差的独立随机变量序列的算术平均值依概率收敛于数学期望算术平均值依概率收敛于数学期望.SXT（3 3）辛钦大数定律）辛钦大数定律 设设,21nXXX相互独立，服从同一相互独立，服从同一分布，且具有数学期望分布，且具有数学期望 E E(X X k k)=)=,k=,k=1,2,1,2,则对任意正数则对任意正数 0 001lim1nkknXnP

9、SXT中心极限定理 1.独立同分布的中心极限定理 设随机变量序列设随机变量序列相互相互独立，服从同一分布，且有期望和方差：独立，服从同一分布，且有期望和方差：则对于任意实数则对于任意实数 x,12,nXXX2(),()0,1,2,kkE XD Xk2121lim2ntkxknXnPxedtnSXT 2.德莫佛拉普拉斯中心极限定理 设设 Y n B(n,p),0 p 1,n=1,2,则对任一实数则对任一实数 x，有，有221lim(1)2txnnYnpPxedtnpp即对任意的即对任意的 a b,221lim(1)2tbnanYnpP abedtnppY n N(np,np(1-p)(近似)SXT中心极限定理的意义 在实际问题中，若某随机变量可以看作是有相互独立的大量随机变量综合作用的结果，每一个因素在总的影响中的作用都很微小，则综合作用的结果服从正态分布.