35机器学习概论课件.ppt

1、2.2黄理灿黄理灿 2019深度学习原理与深度学习原理与Tensorflow实践实践n机器学习相关的数学知识 1.微积分2.线性代数3.概率论n机器学习方法1.监督学习2.无监督学习3.半监督学习4.强化学习n数据的预处理方法2.3黄理灿黄理灿 2019深度学习原理与深度学习原理与Tensorflow实践实践机器学习相关的数学知识机器学习相关的数学知识n深度学习相关的数学知识包括：1.导数、微分，例如，为了求极大极小。2.矩阵运算，例如为了神经网络运算。3.概率，例如，为了评估神经网络模型的效果。2.4黄理灿黄理灿 2019深度学习原理与深度学习原理与Tensorflow实践实践机器学习相关的

2、数学知识机器学习相关的数学知识导数、微分导数、微分n导数（Derivative）是微积分中的重要基础概念。当函数y=f(x)的自变量x在一点x0上产生一个增量x时，函数输出值的增量y与自变量增量x的比值在x趋于0时的极限值a如果存在，a即为在x0处的导数，记作f(x0)或df(x0)/dx。2.5黄理灿黄理灿 2019深度学习原理与深度学习原理与Tensorflow实践实践机器学习相关的数学知识机器学习相关的数学知识导数、微分导数、微分n 导数的几何意义2.6黄理灿黄理灿 2019深度学习原理与深度学习原理与Tensorflow实践实践机器学习相关的数学知识机器学习相关的数学知识导数、微分导数

3、、微分n 常用的导数公式2.7黄理灿黄理灿 2019深度学习原理与深度学习原理与Tensorflow实践实践机器学习相关的数学知识机器学习相关的数学知识导数、微分导数、微分导数法则2.8黄理灿黄理灿 2019深度学习原理与深度学习原理与Tensorflow实践实践机器学习相关的数学知识机器学习相关的数学知识导数、微分导数、微分2.9黄理灿黄理灿 2019深度学习原理与深度学习原理与Tensorflow实践实践机器学习相关的数学知识机器学习相关的数学知识导数、微分导数、微分n 2.10黄理灿黄理灿 2019深度学习原理与深度学习原理与Tensorflow实践实践机器学习相关的数学知识机器学习相关

4、的数学知识导数、微分导数、微分 偏导数的几何意义2.11黄理灿黄理灿 2019深度学习原理与深度学习原理与Tensorflow实践实践机器学习相关的数学知识机器学习相关的数学知识导数、微分导数、微分2.12黄理灿黄理灿 2019深度学习原理与深度学习原理与Tensorflow实践实践机器学习相关的数学知识机器学习相关的数学知识线性代数线性代数2.13黄理灿黄理灿 2019深度学习原理与深度学习原理与Tensorflow实践实践机器学习相关的数学知识机器学习相关的数学知识线性代数线性代数2.14黄理灿黄理灿 2019深度学习原理与深度学习原理与Tensorflow实践实践机器学习相关的数学知识机

5、器学习相关的数学知识线性代数线性代数2.15黄理灿黄理灿 2019深度学习原理与深度学习原理与Tensorflow实践实践机器学习相关的数学知识机器学习相关的数学知识线性代数线性代数矩阵乘法具有以下基本性质：矩阵乘法具有以下基本性质：n结合律即(AB)C=A(BC)n分配率即A(B+C)=AB+AC2.16黄理灿黄理灿 2019深度学习原理与深度学习原理与Tensorflow实践实践机器学习相关的数学知识机器学习相关的数学知识线性代数线性代数2.17黄理灿黄理灿 2019深度学习原理与深度学习原理与Tensorflow实践实践机器学习相关的数学知识机器学习相关的数学知识线性代数线性代数2.18

6、黄理灿黄理灿 2019深度学习原理与深度学习原理与Tensorflow实践实践机器学习相关的数学知识机器学习相关的数学知识线性代数线性代数2.19黄理灿黄理灿 2019深度学习原理与深度学习原理与Tensorflow实践实践机器学习相关的数学知识机器学习相关的数学知识线性代数线性代数2.20黄理灿黄理灿 2019深度学习原理与深度学习原理与Tensorflow实践实践机器学习相关的数学知识机器学习相关的数学知识线性代数线性代数2.21黄理灿黄理灿 2019深度学习原理与深度学习原理与Tensorflow实践实践机器学习相关的数学知识机器学习相关的数学知识概率论概率论2.22黄理灿黄理灿 201

7、9深度学习原理与深度学习原理与Tensorflow实践实践机器学习相关的数学知识机器学习相关的数学知识概率论概率论2.23黄理灿黄理灿 2019深度学习原理与深度学习原理与Tensorflow实践实践机器学习相关的数学知识机器学习相关的数学知识概率论概率论2.24黄理灿黄理灿 2019深度学习原理与深度学习原理与Tensorflow实践实践机器学习相关的数学知识机器学习相关的数学知识概率论概率论2.25黄理灿黄理灿 2019深度学习原理与深度学习原理与Tensorflow实践实践机器学习相关的数学知识机器学习相关的数学知识概率论概率论2.26黄理灿黄理灿 2019深度学习原理与深度学习原理与T

8、ensorflow实践实践机器学习相关的数学知识机器学习相关的数学知识概率论概率论2.27黄理灿黄理灿 2019深度学习原理与深度学习原理与Tensorflow实践实践机器学习相关的数学知识机器学习相关的数学知识概率论概率论2.28黄理灿黄理灿 2019深度学习原理与深度学习原理与Tensorflow实践实践机器学习相关的数学知识机器学习相关的数学知识概率论概率论2.29黄理灿黄理灿 2019深度学习原理与深度学习原理与Tensorflow实践实践机器学习方法机器学习方法机器学习可以分为：n监督学习n非监督学习n半监督学习n强监督学习2.30黄理灿黄理灿 2019深度学习原理与深度学习原理与T

9、ensorflow实践实践机器学习方法机器学习方法监督学习监督学习n监督学习(Supervised Learning)，通过训练具备既有特征(feature)又有鉴定标签(label)的训练数据，让机器学习特征和标签之间的联系。训练好了以后，可以预测只有特征数据的标签。监督学习可分为回归分析和分类。1.回归分析(Regression Analysis)：对训练数据进行分析，拟合出误差最小的函数模型y=f(x)，这里y就是数据的标签，而对于一个新的自变量x，通过这个函数模型得到标签y。2.分类(Classification)：训练数据是特征向量与其对应的标签，同样要通过计算新的特征向量得到其所属

10、的标签。2.31黄理灿黄理灿 2019深度学习原理与深度学习原理与Tensorflow实践实践机器学习方法机器学习方法监督学习监督学习 监督学习原理2.32黄理灿黄理灿 2019深度学习原理与深度学习原理与Tensorflow实践实践机器学习方法机器学习方法监督学习监督学习2.33黄理灿黄理灿 2019深度学习原理与深度学习原理与Tensorflow实践实践机器学习方法机器学习方法监督学习监督学习KNN算法的距离和k参数选取直接决定算法的效果。nKNN的距离:设定 X实例 和Y实例都包含了N维的特征，即X=（x1，x2，x3，xn），Y=（y1，y2，y3，yn）。度量两者的差异，主要有距离度

11、量和相似度度量两类。1.距离度量（Distance）借助几何空间距离概念，衡量实例的距离,距离越大，差别越大。2.相似度度量（Similarity），即计算个体间的相似程度，与距离度量相反，相似度度量的值越小，说明个体间相似度越小，差异越大。2.34黄理灿黄理灿 2019深度学习原理与深度学习原理与Tensorflow实践实践机器学习方法机器学习方法监督学习监督学习2.35黄理灿黄理灿 2019深度学习原理与深度学习原理与Tensorflow实践实践机器学习方法机器学习方法监督学习监督学习2.36黄理灿黄理灿 2019深度学习原理与深度学习原理与Tensorflow实践实践机器学习方法机器学习

12、方法监督学习监督学习2.37黄理灿黄理灿 2019深度学习原理与深度学习原理与Tensorflow实践实践机器学习方法机器学习方法监督学习监督学习2.38黄理灿黄理灿 2019深度学习原理与深度学习原理与Tensorflow实践实践机器学习方法机器学习方法监督学习监督学习 KNN 算法 k参数的影响2.39黄理灿黄理灿 2019深度学习原理与深度学习原理与Tensorflow实践实践机器学习方法机器学习方法监督学习监督学习 SVM 最大距离分割超平面2.40黄理灿黄理灿 2019深度学习原理与深度学习原理与Tensorflow实践实践机器学习方法机器学习方法监督学习（监督学习（朴素贝叶斯分类）

13、2.41黄理灿黄理灿 2019深度学习原理与深度学习原理与Tensorflow实践实践机器学习方法机器学习方法监督学习（监督学习（决策树算法）决策树学习是根据数据的属性采用树状结构建立的一种决策模型，可以用此模型解决分类和回归问题。常见的算法包括 CART,ID3,C4.5等。决策树算法主要是指对数据特征进行划分的时候选取最优特征的算法，将无序的数据尽可能变得更加有序。n决策树的决策选择最优特征常用的三个度量为:信息增益(information gain)，增益比率(gain ratio)，基尼不纯度(Gini impurity)。2.42黄理灿黄理灿 2019深度学习原理与深度学习原理与Te

14、nsorflow实践实践机器学习方法机器学习方法监督学习（监督学习（决策树信息熵）2.43黄理灿黄理灿 2019深度学习原理与深度学习原理与Tensorflow实践实践机器学习方法机器学习方法监督学习（监督学习（决策树信息增益）n信息增益为用划分前集合与划分后集合之间信息熵差值来衡量当前特征对于样本集合划分的效果。2.44黄理灿黄理灿 2019深度学习原理与深度学习原理与Tensorflow实践实践机器学习方法机器学习方法监督学习（监督学习（决策树信息增益率）2.45黄理灿黄理灿 2019深度学习原理与深度学习原理与Tensorflow实践实践机器学习方法机器学习方法监督学习（监督学习（决策树

15、基尼不纯度）2.46黄理灿黄理灿 2019深度学习原理与深度学习原理与Tensorflow实践实践机器学习方法机器学习方法监督学习（监督学习（ID3）ID3算法流程框图2.47黄理灿黄理灿 2019深度学习原理与深度学习原理与Tensorflow实践实践机器学习方法机器学习方法无监督学习无监督学习n无监督学习(Unsupervised Learning)。在只有特征没有标签的训练数据集中，通过数据之间的内在联系和相似性将他们分成若干类。聚类就是按照某个特定标准把一个数据集分割成不同的类，使得同一个类内的数据对象之间的相似性尽可能大，不同的类的数据对象之间的差异性尽可能地大；即同一类的数据尽可能

16、聚集到一起，不同类数据尽量分离。2.48黄理灿黄理灿 2019深度学习原理与深度学习原理与Tensorflow实践实践机器学习方法机器学习方法无监督学习无监督学习2.49黄理灿黄理灿 2019深度学习原理与深度学习原理与Tensorflow实践实践机器学习方法机器学习方法无监督学习无监督学习2.50黄理灿黄理灿 2019深度学习原理与深度学习原理与Tensorflow实践实践机器学习方法机器学习方法无监督学习无监督学习2.51黄理灿黄理灿 2019深度学习原理与深度学习原理与Tensorflow实践实践机器学习方法机器学习方法无监督学习无监督学习2.52黄理灿黄理灿 2019深度学习原理与深度

17、学习原理与Tensorflow实践实践机器学习方法机器学习方法无监督学习无监督学习2.53黄理灿黄理灿 2019深度学习原理与深度学习原理与Tensorflow实践实践机器学习方法机器学习方法无监督学习无监督学习2.54黄理灿黄理灿 2019深度学习原理与深度学习原理与Tensorflow实践实践机器学习方法机器学习方法无监督学习无监督学习nK-Means(K均值)聚类算法流程：1.随机地选择k个对象，每个对象初始地代表了一个簇的中心；2.对剩余的每个对象，根据其与各簇中心的距离，将它赋给最近的簇；3.重新计算每个簇的平均值，更新为新的簇中心；4.不断重复2、3，直到均值函数收敛。2.55黄理

18、灿黄理灿 2019深度学习原理与深度学习原理与Tensorflow实践实践机器学习方法机器学习方法半监督学习半监督学习 半监督学习原理示意图2.56黄理灿黄理灿 2019深度学习原理与深度学习原理与Tensorflow实践实践机器学习方法机器学习方法半监督学习半监督学习n半监督学习可以是在监督学习的基础上引入未标注数据来优化性能，也可以是在非监督学习的基础上引入监督信息来优化性能。半监督学习有生成式方法（generative methods），半监督SVM（Semi-supervised Support Vector Machine，简称S3VM），图半监督学习，基于分歧的方法（disagre

19、ement-based methods）和半监督聚类（semi-supervised clustering）等方法。2.57黄理灿黄理灿 2019深度学习原理与深度学习原理与Tensorflow实践实践机器学习方法机器学习方法强化学习强化学习强化学习示例强化学习示例2.58黄理灿黄理灿 2019深度学习原理与深度学习原理与Tensorflow实践实践机器学习方法机器学习方法强化学习强化学习学习后的奖励函数学习后的奖励函数2.59黄理灿黄理灿 2019深度学习原理与深度学习原理与Tensorflow实践实践数据的预处理方法数据的预处理步骤数据的预处理步骤n第一步：有效数据的获取n第二步：数据的数值化 n第三步：数据的标准化（Scale）和归一化（Normalization）n第四步：数据的降维 2.60黄理灿黄理灿 2019深度学习原理与深度学习原理与Tensorflow实践实践数据的预处理方法-主成分分析法PCA算法：设有m条n维数据。1）将原始数据按列组成m行n列矩阵X2）将X的每一行（代表一个属性字段）进行零均值化，即减去这一行的均值3）求出协方差矩阵4）求出协方差矩阵的特征值及对应的特征向量5）将特征向量按对应特征值大小从上到下按行排列成矩阵，取前k行组成矩阵P6）Y=PX，即为降维到k维后的数据第二章第二章 结束结束