人工智能基础课程课件.ppt

1、集团师级工业互联网培训课程 之 （高中版）课程目标1. 系统了解人工智能发展简史，掌握人工智能的基本思想和理念2. 系统了解人工智能在各行各业具体应用的场景和功能，掌握人工智能基本概念和基础知识3. 系统掌握人工智能方法和技术的具体应用，能正确理解机器学习和强化学习的方法课时安排：4H课程对象：集团全体师级干部课程安排基础篇：人工智能发展简史01应用篇：构建人工智能系统02进阶篇：人工智能与机器学习0301基础篇：人工智能发展简史 “智能+”的未来 人工智能的出现及发展 人工智能概述人工智能发展简史在现代社会便利与舒适的生活背后，是一场正在深刻地改变人们生活与社会的的科技浪潮-人工智能。十年前

2、仍是科幻小说里的场景，今天已经成为我们真实的生活经历。在人工智能浪潮的驱动下，十年之后我们会生活在什么样的世界里面呢？前言“智能+”的未来跨越时空：铭铭的一天场景1场景2场景3场景4场景5“智能+”的未来智能+未来 家庭 城市 汽车.“智能+”的未来什么是人工智能？其实，广义的人工智能，或是人工智能，是很复杂的uEx: 知识定义、知识表达、知识推理人工智能的出现及发展人工智能的横空出世u1950年，艾伦图灵（Alan Turing）在他的论文中提出了著名的“图灵测试”（Turing Test）被广泛认为是测试机器智能的重要标准。 图灵图灵测试测试：一位人类测试员会通过文字与密室一位人类测试员会

3、通过文字与密室里的一台机器和一个人对话里的一台机器和一个人对话。如果测试员无法如果测试员无法分辨与之对话的两个实体谁是人谁是机器分辨与之对话的两个实体谁是人谁是机器，参参与对话的机器就被认为通过图灵测试与对话的机器就被认为通过图灵测试。图灵测试图灵测试人工智能的出现及发展人工智能的横空出世u1951年，研究生马文闵斯基（Marvin Minsky）建立了世界上第一个神经网路机器SNARC（Stochastic Neural Analog Reinforcement Calculator）。人们第一次模拟了神经信号的传递，为人工智能奠定了深远的基础。马文闵斯基人工智能的出现及发展人工智能的横空出

4、世u1955年，艾伦纽厄尔（Alan Newell）、赫伯特西蒙（Herbert Simon）和克里夫肖（Cliff Shaw）建立了“逻辑理论家”计算机程序来模拟人类解决问题的技能，此项工作开创了一种日后被广泛应用的方法：搜索推理（reasoning）。艾伦纽厄尔赫伯特西蒙人工智能的出现及发展人工智能的横空出世u1956年，闵斯基、约翰麦卡锡（John McCarthy）、克劳的香农（Claude Shannon）和纳撒尼尔罗切斯特（Nathan Rochester）在美国达特茅斯学院组织了一次会议，此会议宣告了“人工智能”作为一门新学科的诞生。20062006年，会议五十年后，当事人重聚达

5、特茅斯。左起：年，会议五十年后，当事人重聚达特茅斯。左起：摩尔，麦卡锡，明斯基，赛弗里奇，所罗门诺夫摩尔，麦卡锡，明斯基，赛弗里奇，所罗门诺夫达特茅斯达特茅斯楼楼人工智能的出现及发展人工智能的第一次浪潮（1956-1974）u 1963年，美国高等研究计划局投入两百万美元给麻省理工学院，培养了早期的计算机科学和人工智能人才。u 1964-1966年，约瑟夫维森鲍姆（Joseph Weizenbaum）教授建立了世界上第一个自然语言对话程序ELIZA，可以通过简单的模式匹配和对话规则与人聊天。u 70年代中期，人工智能还是难以满足社会对这个领域不切实际的期待，因此进入了第一个冬天。人工智能的出现

6、及发展人工智能的第二次浪潮（1980-1987）u 80年代，由于专家系统和人工神经网络的新进展，人工智能浪潮再度兴起。u 1980年，卡耐基梅隆大学为迪吉多公司开发了一套名为XCON的专家系统，这套系统当时每年可为迪吉多公司节省4000万美元。XCON的巨大价值激发了工业界对人工智能尤其专家系统的热情。u 1982年，约翰霍普菲尔德提出了一种新型的网络形式，即霍普菲尔德神经网络，其中引入了相关存储（associative memory）的机制。u 1986年，通过误差反向传播学习表示论文的发表，使反向传播算法被广泛用于人工神经网络的训练。u 80年代后期，由于专家系统开发与维护的成本高昂，而

7、商业价值有限，人工智能的发展再度步入冬天。爱德华费根鲍姆“专家系统之父”人工智能的出现及发展人工智能的第三次浪潮（2011-现在）u 21世纪，人类迈入了“大数据”时代，此时电脑芯片的计算能力高速增长，人工智能算法也因此取得重大突破。研究人工智能的学者开始引入不同学科的数学工具，为人工智能打造更坚实的数学基础。在数学的驱动下，一大批新的数学模型和算法被发展起来，逐步被应用于解决实际问题，让科学家看到了人工智能再度兴起的曙光。u 2012年全球的图像识别算法竞赛ILSVRC（或称ImageNet挑战赛）中，多伦多大学开发的多层神经网络Alex Net取得了冠军，且大幅超越传统算法的亚军，引起了人

8、工智能学界的震动。从此，多层神经网络为基础的深度学习被推广到多个应用领域。u 2016年谷歌通过深度学习训练的阿尔法狗（AlphaGo）程序战胜围棋世界冠军李世石。人工智能的出现及发展西洋棋机器人工智能概述人工智能的定义u人工智能是通过机器来模拟人类认知能力的技术。u人工智能的核心能力：根据给定的输入作出判断或预测 人脸识别：根据输入的照片，判断照片的人是谁。 语音识别：根据人说话的音频信号，判断说话内容。 医疗诊断：根据输入的医疗影像，判断疾病的成因和性质。 电子商务：根据用户的购买记录，预测他对什么 商品感兴趣，而作出相应推荐。 金融应用：根据一支股票过去的价格和交易信息， 判断它未来的价

9、格走势。人工智能概述人工智能的应用u安防 智能视频分析技术可以代替民警做很多事情1.1. 实时从视频中检测出人和车辆实时从视频中检测出人和车辆2.2. 自动找到自动找到视频视频中异常的行为中异常的行为，并及并及时时发出发出带有具体地点方位信息的带有具体地点方位信息的警警报报3.3. 自动自动判断人群的密度和人流的方向判断人群的密度和人流的方向，提前提前发现过密人群带来的潜在危险发现过密人群带来的潜在危险，帮助帮助工作工作人员引导和管理人流人员引导和管理人流。人工智能概述人工智能的应用u医疗 为解决“看病难”的问题提供了新的思路。1.1. 对对医学影像进行自动分析技术医学影像进行自动分析技术的研

10、究和应用，可以为医生诊的研究和应用，可以为医生诊断提供参考信息，有效的减少断提供参考信息，有效的减少误诊和漏诊。误诊和漏诊。2.2. 有些新技术还能通过多张医疗有些新技术还能通过多张医疗影像影像建出人体器官的三维模型建出人体器官的三维模型，确保医生手术更加精准。确保医生手术更加精准。人工智能概述人工智能的应用u智能客服 随着互联网和电子商务的发展，我们和商家的交流变得越来越多元，为了因应这种挑战，很多企业开始引入人工智能技术打造智能客服系统。 智能客服可以像人一样和客户交流沟通，进行准确得体且个性化的回应，提升客户的体验。 对企业来说，这样的系统不仅能够提高回应客户的效率，还能自动的对客户的需

11、求和问题进行统计和分析，为之后的决策提供数据。人工智能概述人工智能的应用u自动驾驶 自动驾驶汽车自动驾驶汽车通过多种传感器通过多种传感器，包括视频摄像头包括视频摄像头、激光雷达激光雷达、卫星定位系统等卫星定位系统等，对对驾驶环境进行实时感知驾驶环境进行实时感知。 智能驾驶系统智能驾驶系统可以对多种感知信号进行综合分析可以对多种感知信号进行综合分析，实时规划驾驶路线实时规划驾驶路线，控制车子的控制车子的运行运行。 工业制造系统必须变得更加“聪明”，而人工智能则是提升工业制造系统的最强动力。人工智能概述人工智能的应用u工业制造例如：例如：品质监控是生产过程中最重要的环节品质监控是生产过程中最重要的

12、环节，传统生产线上都安排大量的检测工人用肉眼进传统生产线上都安排大量的检测工人用肉眼进行质量检测行质量检测。这种方式不仅容易漏检和误判这种方式不仅容易漏检和误判，更会给工人造成疲劳伤害更会给工人造成疲劳伤害。因此很多任务业产因此很多任务业产品公司开发使用品公司开发使用人工智能的视觉工具人工智能的视觉工具，帮助工帮助工厂厂自动检测出形态各异的缺陷自动检测出形态各异的缺陷。人工智能概述智能从何而来？u 人工智能如何自动做出判断或预测 专家系统：基于人工定义的规则来回答特定问题（局限性） 机器学习（machine learning）通过学习（learning）来获得进行预测或判断的能力， 这样的方法

13、已经成为人工智能的主流方法。人工智能概述机器学习的方法u从数据中学习 从已知数据去学习数据中蕴含的规律或判断规则，再把学到的规则应用到新数据并作出判断或预测 方式1.1. 监督学习监督学习： 要求要求为每个为每个样本样本提供提供预测量的预测量的真实值真实值2. 2. 无监督学习无监督学习： 不不要求要求为每个为每个样本样本提供预测量的真实值提供预测量的真实值3. 3. 半监督学习半监督学习： 介于介于监督学习监督学习与无监督学习之间与无监督学习之间人工智能概述机器学习的方法u在行动中学习p 在机器学习的实际应用中，还会遇到另一种类型的问题：利用学习得到的模型来指导行动。比如下棋，此时关注的不是

14、某个判断是否准确，而是行动过程中能否带来最大效益，又称为强化学习。p 强化学习模型结构： 可动态变化的可动态变化的状态状态（state） 可选取的可选取的动作动作（action） 可以和决策主体进行交可以和决策主体进行交互的互的环境环境（environment） 回报回报（reward）规则规则Q-Learning：Agent主体会根据实际环境反馈进行调整人工智能概述小结u人工智能是研究如何通过机器来模拟人类认知能力的学科，通过几十年的努力，人工智能已经获得了长足的发展，且在多个行业得到了成功的应用。u人工智能这一新兴科技正在改变我们的世界并影响着我们的生活，但这仅仅只是个开始，人工智能过去的

15、发展为我们展现了一个令人激动的前景，这个更美好的时代需要我们共同努力去创造。02应用篇：构建人工智能系统 特征与分类器 识图认物 析音赏乐 看懂视频 构建人工智能系统前言u人工智能系统处理的是各种各样的数据：图像、声音、文字、视频等等u数据(Data)是信息的载体u分类(Classification)是根据所给数据的不同特点，判断它属于哪种类别特征与分类器数据类型和相关应用数据类型示意图相关应用图像(照片、图画)详见第三章基于图像的人脸辨识、物体分类、场景理解图像处理、艺术风格转换、图片生成声音 (语音、音乐)详见第四章语音识别、机器对话、对话理解听歌识曲、自动谱曲视频 (影视)详见第五章视频

16、分类、内容理解、查找检索视频总结、自动生成视频文字详见第七章文章聚类、阅读理解自动生成文章其它数据类型详见第九章等棋谱数据在AlphaGo中使用基因测序数据辅助疾病的预测诊断特征与分类器分类的基本概念和流程例：对鸢尾花的两个品种进行分类。全世界大约有300个品种，其中，常见的有变色鸢尾(iris versicolor) 及山鸢尾(iris setosa)。如何构建一个简单的人工智能系统，它能够像人类一样区分变色鸢尾和山鸢尾？特征与分类器分类的基本概念和流程u分类器（Classifier）：能完成分类任务的人工智能系统u构建该系统的流程： 首先提取鸢尾花的特征首先提取鸢尾花的特征 然后将这些特征

17、输入到训练好的分类器中然后将这些特征输入到训练好的分类器中 分类器根据特征做出预测，输出鸢尾花的品种分类器根据特征做出预测，输出鸢尾花的品种特征与分类器提取特征的方法u特征（feature）：对事物的某方面的特点进行刻画的数字或者属性u特征的质量很大程度上决定了分类器最终分类效果的好坏p 不同类型的数据，不同的特征提取方法特征与分类器分类器u定义：分类器是一个由特征向量到预测类别的函数特征与分类器训练分类器u 让分类器学习得到合适参数的过程称为分类器的训练u 目的：提升人工智能系统的性能p 工智能系统是通过什么来进行学习工智能系统是通过什么来进行学习呢呢? ? AnsAns: : 数据数据 数

18、据数据为人工智能的支柱之一，人工智能系统的训练需要大量的数据作为支撑。训练阶段使用的数据被称为训练数据。测试阶段使用的数据被称为测试数据。在分类的过程中，训练和测试数据需要实际的类别分类。数据标注的过程是耗时耗力的，数据标注是需要相关领域的专业知识，且标注的质量会标注的质量会直接影响到训练后人工智能系统性能的好坏直接影响到训练后人工智能系统性能的好坏。特征与分类器训练线性分类器的算法u 感知器的训练过程示意图 感知器(perceptron)是一种训练线性分类器的算法特征与分类器训练线性分类器的算法u 支持向量机的训练过程示意图一般地，一个点距离分类直线的远近可以表示对分类预测的确信程度。特征与

19、分类器训练线性分类器的算法u 算法：基于数据集来训练分类器的过程，其过程是由一系列判断和计算的步骤所组成的，称之为算法(Algorithm)1. 感知器 2. 支持向量机感知器学习算法感知器学习算法 不断减少对数据误分类的不断减少对数据误分类的过过程程 利用利用被误分类的训练数据调整被误分类的训练数据调整现有的分类器的参数，使得调整后的分现有的分类器的参数，使得调整后的分类器判断更准确类器判断更准确。 参数参数更新的更新的规则规则 损失函数损失函数（度量分类器输出错误（度量分类器输出错误的数学化表示的数学化表示） 优化优化方法（调整分类器的参数方法（调整分类器的参数）SVM （support

20、vector machine) 是在特征空间上分类间隔最大是在特征空间上分类间隔最大的分类器，是对两个类别进行的分类器，是对两个类别进行分类。分类。 结论结论 一一个点距离分类直线越远，分个点距离分类直线越远，分类预测的可信程度越类预测的可信程度越高高特征与分类器测试与应用u 若想知道分类器的分类效果如何，哪一个学习算法的分类器效能最好，需透过测试阶段来进行验证p 测试：评判分类器表现的好坏，选择最优分类器p 应用：分类器在实际情况中的使用以鸢尾花的例子，测试数据中有一朵鸢尾花，它的花瓣长度是1.5厘米，宽度是0.4厘米，其测试样本的特征向量(1.5,0.4)，位于山鸢尾的一侧，故此朵鸢尾花为

21、山鸢尾。特征与分类器多类别分类由图所示由图所示,目前有三个分类器，分别为牡目前有三个分类器，分别为牡丹、荷花、梅花的分类器，它们只负责丹、荷花、梅花的分类器，它们只负责区分某一个类别的分类。区分某一个类别的分类。当输入一张图片的特征向量后，三个分当输入一张图片的特征向量后，三个分类器都可能够输出自己的预测，综合三类器都可能够输出自己的预测，综合三个预测结果，最终能够得到多分类的预个预测结果，最终能够得到多分类的预测结果。测结果。若若f1输出为正，输出为正，f2,f3输出为负，那可以输出为负，那可以确定的说类别为牡丹确定的说类别为牡丹f1,f2,f3的输出值是通过一个归一化指数的输出值是通过一个

22、归一化指数函数函数, 转他成概率转他成概率-说明输入物体属于某说明输入物体属于某一类的可能性。一类的可能性。特征与分类器二分类的应用u 感生活中遇到的是不是问题都属于二分类的范畴相机中的人脸检测癌症检测1. 首先，一张照片被切成一块块图像块2. 每一图像块皆经过人脸分类器去判别是否为人脸*人脸分类器是预先训练好的分类器人脸检测中出现多的框,撷取不同位子,尺寸的图像块,可通过融合技术,将其融合, 得至右图结果。判断生物组织样本的每一个区域是否有肿瘤认图识物基于手工特征的图像分类例：铭铭的相册中有许多图片。如何设计一个用于对图片进行分类的系统，它能够像人类一样识别照片中的物体是什么类别？问题：计算

23、机眼问题：计算机眼中的图片是什么中的图片是什么样子的？样子的？认图识物计算机眼中的图像数字组成的矩阵灰度图像和彩色图像彩色图像（R,G,B）表示颜色行数与列数（分辨率）图像(1280 X 720 X 3)在计算机中表示为三阶张量认图识物图像特征u概念：能够区分照片的特征p 手工设计了各种图像特征：图像颜色、边缘、纹理等基本性质u计算机如何提取图片特征p 图像在计算机中可以表示成三阶张量，对图像特征的提取即对该三阶张量进行运算的过程p 其中非常重要的一种运算是卷积卷积运算示例卷积运算示例认图识物基于深度神经网络的图像分类u 深度神经网络分类系统 由多个顺序连接的层组成 每一层以前一层提出的特征输

24、入，对其进行特定形式的变换 由简单到复杂，由低级到高级u深度神经网络的结构例：例：Alex Net神经网络神经网络结构示意图结构示意图认图识物基于深度神经网络的图像分类u深度神经网络的结构 卷积层：深度神经网络处理图像时十分常用的一种层深度神经网络处理图像时十分常用的一种层，当以卷，当以卷积层为主体时，称为卷积神经网络。积层为主体时，称为卷积神经网络。 全连接层：全连接层完成对特征向量的变换全连接层完成对特征向量的变换 归一化指数层：完成多类线性分类器中的归一化指数函数计算，完成多类线性分类器中的归一化指数函数计算，一般是分类网络的最后一层，输出为图像属于各个类别的一般是分类网络的最后一层，输

25、出为图像属于各个类别的概率概率。 非线性激活层：保留特征每次变换的效果保留特征每次变换的效果 池化层：在几个卷基层之后插入，降低特征图的在几个卷基层之后插入，降低特征图的分辨率分辨率u人工神经网络的训练 反向传播算法过拟合：过拟合：在训练数据上表现良好，在未知数据上表现差。在训练数据上表现良好，在未知数据上表现差。欠拟合：欠拟合：在训练数据和未知数据上表现都很差在训练数据和未知数据上表现都很差。梯度消失：优化过程失去指导，无法找到一个较好的解。梯度消失：优化过程失去指导，无法找到一个较好的解。认图识物图像分类在日常生活中的应用u 丰富的“刷脸”应用场景u人脸识别技术助力安防例如：人脸检测跟踪析

26、音赏乐声音的数字化u人耳听音p 声波由耳廓收集之后经一系列结构的传导声波由耳廓收集之后经一系列结构的传导到达耳蜗，耳蜗内丰富的听觉感受器，可到达耳蜗，耳蜗内丰富的听觉感受器，可将声音传导到听神经，最后引起听觉。将声音传导到听神经，最后引起听觉。p 频率是声音的重要特征频率是声音的重要特征，代表了发声物体代表了发声物体在一秒内振动的次数在一秒内振动的次数，单位是单位是赫兹。赫兹。u计算机听音析音赏乐声音的数字化u计算机如何“理解”声音p 频谱三要素 响度响度：最直观的乐音要素，最直观的乐音要素，代表声音的强弱，可由代表声音的强弱，可由波波形形的幅度表示的幅度表示 音调音调：表示人听到的声音表示人

27、听到的声音调子的高低，可用调子的高低，可用频谱频谱来来描述描述 音色音色：即不同的乐器演奏即不同的乐器演奏或者不同的人来演唱所产或者不同的人来演唱所产生不同的听觉效果。频谱生不同的听觉效果。频谱图中峰值之间的比例不同图中峰值之间的比例不同反映了声音音色的不同反映了声音音色的不同吉他与钢琴的波形与频谱吉他与钢琴的波形与频谱析音赏乐音乐风格的分类u音乐风格分类流程u经典的声学特征：梅尔频率倒谱系数 MFCC(Mel-Frequency Cepstral Coefficients)特征的维数很低 比频谱更加有效，可以刻画出频谱的形状 可以描画出不同频率声音的能量高低，还可以表达出声音的一个重要特征：

28、共振峰。析音赏乐音乐风格的分类u声学特征提取过程p 提取MFCC特征p 利用深度学习方法完成分类（神经网络）析音赏乐语音识别技术u语音识别的应用 语音识别（speech recognition）把人说的话转化为文字或者机器可以理解的指令，从而实现人与机器的交流u语音识别的流程 分帧：把一段语音分成若干小段 声学模型：把每一帧识别为一个状态，把状态组合成音素（声母及韵母） 语言模型：从同音字中挑选出正确的文字，将文字组成意义明确的语句析音赏乐乐曲检索技术u乐曲检索的流程 窗口扫描：在乐曲上按照时间顺序依次截取和音乐片段长度一致的段落 计算距离：计算片段和所截段落的特征并计算它们的距离，片段与乐曲

29、的距离即为上述距离的最小值 检索结果：与音乐片段距离最小的乐曲即为检索的结果Single FrameVideo看懂视频从图像到视频u视频理解技术 Video Understanding 计算机视觉领域的热门方向之一 应用领域：视频内容分析、视频监控、人机交互、智能机器人等u视频：多个图像依时间序列堆迭看懂视频视频行为识别u行为（Action） 执行某一任务所发生一连串的动作，例如：投篮、跳水 行为识别（Action Recognition）：计算器分析视频数据，辨别出用户行为的过程 运动是判断行为类别的重要特征u行为识别的挑战 距离、光影、角度等因素都会影响计算器识别视频行为的精准度 困难点

30、行为类别差异过大（例：不同的人做出的刮胡子动作不尽相同） 行为定义不明 背景差异过大（例：看电视的行为，角度、人数、位置）看懂视频运动的刻画：光流u光流（optical flow）p 描述三维的运动点投影到二维图像之后相应的投影点位置p 让计算机从序列化的图像中得到人体的运动特征u 光流直方图特征p HOF(Histograms of Optical Flow)p 对视频中的光流信息进行统计，表示出视频中物体的运动信息看懂视频运动的刻画：光流u视频行为识别p 透过光流信息该点再下一影格的位置取得位移量 得到向量得出轨迹看懂视频基于深度学习的视频行为识别u双流卷积神经网络(two-stream

31、CNN)p 静态信息物体的外观p 动态信息视频序列中物体的动态信息p 用两个不同的网络实现同时处理静态与动态讯息，非常适用于短视频（10秒）看懂视频基于深度学习的视频行为识别u时序分段网络(temporal segment networks)p 适用于长视频（几分钟）p 稀疏时间采样（ sparse temporal sampling ） 对于时间长度不同的数据，根据时间先后分成固定的对于时间长度不同的数据，根据时间先后分成固定的段落段落p 就像班上每个同学提交同一份作品，选最好的当代表，也可以是大家分工不同部分一同完成构建人工智能系统小结u分类过程三阶段p 特征提取、分类器的训练及测试应用u

32、特征提取是由数据到特征向量的过程，是传统分类方法中的重点u分类器-感知器和支持向量机训练算法u图像、声音、视频等的不同特征提取方法u人工智能系统实现图像、声音、视频的智能分类与识别的过程03进阶篇：人工智能与机器学习进阶篇：人工智能与机器学习 让人工智能更智能让人工智能更智能 无监督机器学习的方法无监督机器学习的方法 阿尔法狗背后的秘密阿尔法狗背后的秘密让人工智能更智能u监督学习p 需要训练数据的标注信息的学习过程，就是监督学习 如：分类器从数据中学会了区分鸢尾花的如：分类器从数据中学会了区分鸢尾花的品种品种 如：对图像、音频和视频的分类，都需要如：对图像、音频和视频的分类，都需要类别的标注信

33、息，都属于监督学习类别的标注信息，都属于监督学习p 没有类别的标注信息供人工智能参考时，怎么办？u无监督学习p 没有标注信息的学习过程 无类别信息指导很难判断哪一些鸢尾花是无类别信息指导很难判断哪一些鸢尾花是相同品种相同品种监督学习无监督学习“计算机能不能自动将照片整理好？”让人工智能更智能“计算机能不能自动将照片整理好？”u聚类（clustering）p 通过分析数据在特征空间的聚集情况，可以将一组数据分成不同的类。p 旨在把一群样本分为多个集合，使得同一个集合内的元素尽量“相似”或者“相近”p 是一种无监督学习过程 不需要数据的类别标注不需要数据的类别标注 不需要预先定义类别不需要预先定义

34、类别让人工智能像真正的科学家一样，自己发掘规律。无监督机器学习的方法K均值聚类算法u问题的提出p 我们希望人工智能在不知道鸢尾花品种的前提下将这N朵鸢尾花分为K类，使得同一类样本的特征相似程度高，而不同类样本的特征相似程度低。u算法主要思路p 先从任意一组划分出发，通过调整，逐步达成上述目标p 算法步骤1.先计算鸢尾花的聚类中心先计算鸢尾花的聚类中心2. 针对矛盾样本进行调整针对矛盾样本进行调整3. K均值聚类结果均值聚类结果4.重复第重复第2、3步骤，步骤，直到直到聚类中心与划分方式不再发生变聚类中心与划分方式不再发生变化化无监督机器学习的方法K均值聚类算法u聚类算法示例（鸢尾花分类问题）1

35、.先计算鸢尾花的聚类中心先计算鸢尾花的聚类中心2.针对矛盾样本进行调整针对矛盾样本进行调整3. K均值聚类结果均值聚类结果无监督机器学习的方法K均值聚类算法u相册中的人脸聚类p 只要我们能对照片中的人脸提取特征，用特征空间里的特征点表示每一张人脸，就能使用K均值算法将“相似”的人脸聚集起来了无监督机器学习的方法K均值聚类算法uK值的确定-手肘法p 聚类数量过大会导致照片划分得过细，这样就失去了实用性，需要在平均距离与聚类数量之间取得平衡p 如图，在K=3的时候，曲线产生了一个明显的拐点，拐点后随着K的增加平均距离减少得非常慢，因此K=3是个合适的选择。（elbow method）无监督机器学习

36、的方法主题模型与潜在语义分析技术u潜在语义分析技术p Latent semantic analysisp 针对文本数据“多主题”的特点而设计p 计算机可以借助该技术，从海量的文本数据中自动发掘潜在的主题，进而完成对文本内容的概括和提炼u相关专有名词p 语料库(corpus)：海量的文本数据p 文档（ document ）：语料库中独立的文本p 主题：文档的中心思想或主要内容无监督机器学习的方法主题模型与潜在语义分析技术u文本的特征p 词袋模型词袋词袋模型模型(bag-of-words model)是用于描述文本的一个简单的是用于描述文本的一个简单的数学模型，常用文本特征提取方式之一。词袋模型将

37、一篇文文件数学模型，常用文本特征提取方式之一。词袋模型将一篇文文件看作是一个看作是一个“装有若干词语的袋子装有若干词语的袋子”，只考虑，只考虑词语在文档中出现词语在文档中出现的次数的次数，而，而忽略词语的顺序以及句子的结构忽略词语的顺序以及句子的结构。p 利用词袋模型构建文本特征的基本流程无监督机器学习的方法主题模型与潜在语义分析技术u文本的特征p 中文分词对中文文本进行词袋构建之前，我们还需要藉助额外的手段拆分词语，这项技术对中文文本进行词袋构建之前，我们还需要藉助额外的手段拆分词语，这项技术称为中文分词。中文分词方法大多基于匹配和统计学方法。称为中文分词。中文分词方法大多基于匹配和统计学方

38、法。p 停止词与低频词停止停止词：词：是是文档常出现的，构成中文句子的基本字词，对区分不同文文件的主文档常出现的，构成中文句子的基本字词，对区分不同文文件的主题没有任何题没有任何帮助（帮助（不不携带任何主题信息的高频携带任何主题信息的高频词词）低频低频词：词：通常通常是一些不常用的专有名词，只出现于特定的文章中是一些不常用的专有名词，只出现于特定的文章中(比如姓名比如姓名)，不能代表某一不能代表某一主题主题。p 词频率与逆文档频率 反映一个词语对于一篇文档的重要性的两个指标反映一个词语对于一篇文档的重要性的两个指标 一个词语在一篇文文件中出现的频率即为词频率一个词语在一篇文文件中出现的频率即为

39、词频率(team frequency) 借助逆文档频率（借助逆文档频率（inverse document frequency）来修正每个词语在每篇文档中）来修正每个词语在每篇文档中的重要性的重要性无监督机器学习的方法主题模型与潜在语义分析技术u发掘文本中潜在的主题p 主题模型（topic model） 是描述语料库及其中潜是描述语料库及其中潜在主题的一类数学模型在主题的一类数学模型 将文将文文档词频、主题比文档词频、主题比重、主题词频重、主题词频三者的关三者的关系表示为：系表示为：D = WT，这个等式建立了语料库这个等式建立了语料库与潜在主题之间的关系，与潜在主题之间的关系，是主题模型的核心

40、。是主题模型的核心。 通过主题模型，我们建通过主题模型，我们建立了语料库与其中潜在立了语料库与其中潜在主题之间的关系主题之间的关系无监督机器学习的方法生成对抗网络u概述 generative adversarial network, GAN 由“生成”、“对抗”和“网路”三个词语构成。 其中“生成”是指它是一个生成模型（generative model），即它可以随机生成观测数据 生成对抗网络由生成网络（generative network）和判别网络（discriminative network）两部分构成生成网络：用于生成数据生成网络：用于生成数据判别网络：用来分辨数据是真还是假判别网络：

41、用来分辨数据是真还是假 基本思想：通过生成网络和判别网络之间的相互“对抗”来学习无监督机器学习的方法生成对抗网络u数据空间与数据分布 数据空间（data space）是数据所在的空间假定输入图片的分辨率为假定输入图片的分辨率为128x128，此时的数据空间就，此时的数据空间就是所有形状为是所有形状为128x128x3的张的张量的集合。此时每张图片都量的集合。此时每张图片都是此空间里的一个点（数据是此空间里的一个点（数据点点） 数据分布（data distribution）是数据点在空间的分布情况无监督机器学习的方法生成对抗网络u生成网络 生成器（generator） 把潜在空间中的分布变换为图

42、像空间中的分布（生成分布） 生成网络生成的点就叫做生成点分类网路与生成网路工作方式的比较无监督机器学习的方法生成对抗网络u判别网络 判别器（discriminator） 判断一张图片究竟是来自真实数据还是由生成网络所生成 训练判别网络训练数据训练数据标注标注输入图片来自真实数据：标注数值输入图片来自真实数据：标注数值1，输入图片来自生成网路：标注数值输入图片来自生成网路：标注数值0输出结果用一个数值来指示空间中的一个点来自真实数据输出结果用一个数值来指示空间中的一个点来自真实数据的可能性（概率）的可能性（概率）例：用判别网络分辨点的来源无监督机器学习的方法生成对抗网络u生成网络的训练 包含两个

43、交替进行的阶段固定生成网路，训练判别固定生成网路，训练判别网路网路1.给定二分类数据集：真实图片给定二分类数据集：真实图片/随机生成随机生成图片图片2.目标：使判别网路对真实图片的预测接近目标：使判别网路对真实图片的预测接近1，而对生成图片的预测接近而对生成图片的预测接近0固定固定判别网路，训练生成判别网路，训练生成网路网路1.生成网路利用判别网路给出的反馈讯息来调生成网路利用判别网路给出的反馈讯息来调整网路整网路参数参数2.目标目标：使生成网路输出更接近真实图片的生：使生成网路输出更接近真实图片的生成成图片图片对抗过程对抗过程阿尔法狗背后的秘密棋类计算机程序的发展深蓝vs卡斯帕罗夫阿尔法狗v

44、s李世石强化学习（强化学习（reinforcement learning）功不可没）功不可没阿尔法狗背后的秘密阿尔法狗的走棋网络u走棋网络 又被称为策略网络（policy network） 该网络接受当前棋盘局面作为输入，并输出在当前局面下选择每个位置的落子概率。 策略网络监督学习策略网络监督学习策略网络强化学习策略网络强化学习策略网络 价值网络阿尔法狗背后的秘密监督学习策略网络输入局面（3000万样本）深度卷积神经网络落子概率预测（s,as,a）s:s:当前棋局局面状态当前棋局局面状态 a:a:人类的落子方案人类的落子方案监督学习决策网络可以模仿人类的风格下棋，监督学习决策网络可以模仿人类的

45、风格下棋，可人类棋手的水平高低不一，并非每个样本可人类棋手的水平高低不一，并非每个样本都是好的落子方案，网络把好的坏的都学了，都是好的落子方案，网络把好的坏的都学了，如何提高棋力？如何提高棋力？阿尔法狗背后的秘密强化学习策略网络u 强化学习的目的是找到一个最佳策略，从而使得主体发出一系列动作后，收到的累计回报最多u 策略梯度的强化学习技术监督学习策略网络监督学习策略网络强化学习策略网络强化学习策略网络A强化学习策略网络强化学习策略网络B初始化初始化自我对弈自我对弈强化学习网络在训练时的目标不再是模拟人类棋手的风格，而是以最强化学习网络在训练时的目标不再是模拟人类棋手的风格，而是以最终赢棋为目标终赢棋为目标阿尔法狗背后的秘密阿尔法元概述阿尔法元是阿尔法狗的加强版，结构更简洁，摒弃了人类棋谱的影响，完全通过自我博弈的强化学习算法训练自己，与阿尔法狗的对弈中，以100：0完胜阿尔法狗，3：0战胜柯洁阿尔法元只以棋盘当阿尔法元只以棋盘当局作为网络输入，使局作为网络输入，使用策略迭代的强化学用策略迭代的强化学习算法去更新网络参习算法去更新网络参数，神经网络同时预数，神经网络同时预测当前局面落子概率测当前局面落子概率分布和局面胜率评估分布和局面胜率评估值。值。未来已来，共同开启智能时代！