人工智能深度学习基础知识培训课件.ppt

1、走 进 人 工 智 能0 0引言引言第一次第一次信息革命信息革命第二次第二次信息革命信息革命第三次第三次信息革命信息革命第四次第四次信息革命信息革命第五次第五次信息革命信息革命第六次第六次信息革命信息革命语言的创造语言的创造猿人信息得以交流和传递文字文字的的出现出现信息可以被储存在文字中进行传播，解决了语言的时间和空间的局限性印刷术的发明印刷术的发明扩大了信息的交流、传递的容量和范围无线电的发明无线电的发明电磁波传播信息，速度增长几十亿倍电视电视的的出现出现声音、图片影像、文字实现同时远距离实时传播（摘自人民出版社大数据领导干部读本）（摘自人民出版社大数据领导干部读本）计算机与互联网的使用计算

2、机与互联网的使用突破了人类大脑及感觉器官加工利用信息的能力，人类进入信息社会时代0 0引言引言第七次信息革命第七次信息革命？现在我们正经历着一场信息革命信息革命。这不是在技术上、机器设备上、软件上或速度上的一场革命，而是一场“概念”上的革命。以往50年信息技术的重点在“技术”上，目的在于提升信息传播范围、传播能力和传播效率。而新的信息革命的重点将会在“信息”上。彼得德鲁克 21世纪的管理挑战什 么 是 人 工 智 能2.1人 工 智 能 典 型 应 用2.2人 工 智 能 技 术 体 系2.32 人工智能篇总结与展望2.4时代背景：新一代人工智能发展规划的提出为抢抓人工智能发展的重大战略机遇，

3、构筑我国人工智能发展的先发优势，加快建设创新型国家和世界科技强国，日前国务院印发新一代人工智能发展规划。 -2017.7.8规划指出：立足国家发展全局，准确把握全球人工智能发展态势，找准突破口和主攻方向，全面增强科技创新基础能力，全面拓展重点领域应用深度广度，全面提升经济社会发展和国防应用智能化水平。AlphaGo到底有多厉害？2016年，AlphaGo围棋程序就在19*19棋盘上无条件战胜了人类棋王。研制AlphaGo的团队DeepMind正在投入AlphaSC的研发，未来将于人类顶尖高手在星际争霸游戏中一较高下。AlphaGo怎么做到的？lAlphaGo使用两种不同的深度神经网络：第一种是

4、策略网络，目标是选择在哪里落子。第二种则是价值网络，价值网络的作用是衡量走这一步对最终输赢的影响。lAlphaGo成功的关键在于:u海量对弈数据：6000万局对弈数据。u算法创新：深度神经网络+“左右手互搏”。u计算能力出众：打败李世石的AlphaGo Lee 的芯片为 50 TPU,搜索速度为10k位置/秒。监督式学习监督式学习强化学习强化学习AlphaGo绝非一帆风顺3月13日李世石九段“神之一手”“AlphaGo远非人工智能的终点。” 微软研究院著名机器学习专家John Langford批评了Wired和Slashdot等媒体对于“实现人工智能”夸大其词的相关报道。Langford认为这

5、些进展本是好事，但报道的时候产生了偏差，这容易导致失望和人工智能寒冬。John Langford国际机器学习大会ICML2016程序主席“AlphaGo以为自己做的很好，但在87手迷惑了，有麻烦了”“错误在第79手，但AlphaGo到第87手才发觉”从AlphaGo到AlphaGo Master0500100015002000250030003500400045005000ZeAlAlAl60-0 vs 顶级专业人士（在线游戏）等级分专业级业余级入门级2017年7月9日,柯洁携20连胜,等级分冲至3675分，世界排名第一2.1 什么是人工智能人工智能的定义人工智能：Artificial Int

6、elligence英文缩写：AI简单来说，就是想生产出一种能以人类智能相似的方式做出反应的智能机器。是计算机科学的一个分支，研究包括机器人、语音识别、图像识别、自然语言处理和专家系统等。机器人仅仅是人工智能的一个分支人工智能的评判标准阿兰图灵英国数学家、逻辑学家，被视为计算机科学之父。阿兰图灵在1950年发表的一篇名为计算机器与智能的论文，提出著名的“图灵测试”，测试者在与被测试者（一个人和一台机器）隔开的情况下，通过一些装置（如键盘）向被测试者随意提问。如果机器能够让30%的测试人相信它是人类，那么这台计算机就可以被认为具有人类的思考能力。图灵测试 图灵测试额外加分项：说服测试者，令他认为自

7、己是电脑。人工智能发展简史混沌初生 开天辟地百家争鸣 百花齐放物竞天择 适者生存达特茅斯会议的召开标志着人工智能的诞生。（1956年）图灵测试的提出标志人工智能进入萌芽阶段。以DENDRAL系统为代表的专家系统大量涌现。（19701980）浅层机器学习模型兴起，SVM、LR、Boosting算法等纷纷面世。（19902000）多伦多大学教授Hinton开启深度学习在学术界和工业界的浪潮（2006）人工智能出现新的研究高潮，机器开始通过视频学习识别人和事物，AlphaGo战胜围棋冠军（2011今）随着新的算法和模型不断涌现，学科交叉现象日趋明显，人工智能的研究进入了新的阶段。奠定了人工智能的数学

8、基础，出现了人工智能历史上的第一个应用。-西蒙和纽厄尔提出了“Logic Theorist”自动定理证明系统。大数据时代的到来给人工智能的发展带来契机，人工智能全面融入人们的社会生活几个概念间的关系人工智能机器学习深度学习有监督无监督概率Deep learning深度学习概念(1/2)Deep learning深度学习概念（2/2）Deep learning深度学习千万规模u越来越复杂的网络u越来越多的训练样本：u越来越短的迭代要求u推理的要求越来越多Why GPU？GPU设计哲学：1、SIMD/SIMT，单指令多数据2、众多线程，人多力量大项目CPUGPU内核最多只有 22 个几千个核心并行

9、为一步步的连续计算而设计为高度并行的运行方式而设计带宽内存带宽内存带宽场景文字处理交易型数据库网络应用DNA排序物理建模图片分析视频编解码最好的时代？美国人工智能战略中国新一代人工智能发展规划企业脑计划：Google/MS/fb/Baiduu政府/企业空前重视u大数据发展带来海量数据u硬件发展带来计算能力革命性提升GPU/TPU深度学习理论发展海量数据的标注对数据量较少的场景支持不力2.2 人工智能典型应用人工智能应用：语音识别Skype语音聊天实时翻译微软Cortana/小冰人工智能应用：计算机视觉u计算机视觉u人脸识别LFW测试准确率近100%u图像识别ImageNet测试识别率超过人u目

10、标检测u以图搜图u看图说话uu各大公司“军备竞赛”uMS，Google，fb，baiduu1000类目标图像识别u20%-10%-6%5%-4%人工智能主要应用领域人工智能2465317人工智能应用领域2.3 人工智能技术体系人工智能技术体系机器学习 Machine LearningMachine Leaning = Machine + Learning 机器学会“人识别事物的方法 ”LearningtrainingRecognitionRedRoundyellowlongorangeRoundapplebananaorangeFeatureExtraction机器学习 Machine Lea

11、rningMachine Leaning = Machine + Learning 机器学会“人识别事物的方法 ”MachineLearningtrainingFeatureExtractionRecognitionRedRoundyellowlongorangeRoundapplebananaorange机器学习处理过程Raw DataFeature ExtractionProcessed DataData AnalysisAnomaly DetectionDimension ReductionRegressionLinear regressionClassificationNave Bay

12、esSVMNeutral NetworkClusterK MeansMixture of GaussianTraining AlgorithmsValidationNew DataTraining ModelFinal ModelresultRegularization4 5 6 0 1 3 5 76 8 5 70 0 2 0Feature Extraction特征提取(1/2)图像的特征提取Feature Extraction特征提取(2/2) APP特征提取unzipdecompilePermission android.permissioin.BRICKPackage .wifiData

13、 collectionmatrixData Analysis数据分析(1/2)高斯分布剔除异常数据(inches)(cm)数据降维Data Analysis数据分析(2/2) Supervised LearningLinear regressionLogistic regressionNave BayesiansNeutral NetworkSVMDecision TreeK-NN Unsupervised LearningK-MeansMixture of Gaussians Reinforcement LearningTrain algorithms算法/模型训练Model Constru

14、ctionJ() ComputationGradient DescentGet optimized Final Training ModelTrain algorithms算法/模型训练Train algorithms 模型训练：梯度下降算法（GD）Problem:The training model is good or bad?Underfitting ? Overfitting?After get the training model: is fit or not ?Model Validation模型验证Model Validation模型验证深度学习处理过程Raw DataFeatu

15、re ExtractionProcessed DataData AnalysisAnomaly DetectionDimension ReductionRegressionLinear regressionClassificationNave BayesSVMNeutral NetworkClusterK MeansMixture of GaussianTraining AlgorithmsValidationNew DataTraining ModelFinal ModelresultRegularization4 5 6 0 1 3 5 76 8 5 70 0 2 0DNNCNNRNNLS

16、TM几种深度学习网络深度神经网络Deep Neural Network卷积神经网络convolutional neural network循环神经网络Recurrent Neural Net长短时记忆Long Short Term Memoery深度神经网络DNN（Deep Neural Network）2006年 Geoffrey Hinton利用预训练方法缓解了局部最优解问题，将隐含层推动到了7层神经网络真正意义上有了“深度” ReLU、maxout等传输函数代替了 sigmoid仍然是全连接卷积神经网络CNN（convolutional neural network）数据输入层/ Inp

17、ut layer 卷积计算层/ CONV layer ReLU激励层 / ReLU layer 池化层 / Pooling layer 全连接层 / FC layer 卷积计算层：参数共享机制：每个神经元连接数据窗的权重是固定的每个神经元只关注一个特性需要估算的权重个数减少一组固定的权重和不同窗口内数据做内积: 卷积深度/depth 步长/stride 填充值/padding LeNet，最早用于数字识别的CNNAlexNet，2012 ILSVRC比赛远超第2名的CNN，比LeNet更深，用多层小卷积层叠加替换单大卷积层GoogleNet，2014 ILSVRC比赛冠军VGGNet，2014

18、 ILSVRC比赛中的模型，图像识别略差于GoogleNet，但是在很多图像转化学习问题(比如object detection)上效果奇好ResNet，2015年 ILSVRC比赛的冠军，微软打造，层次极深(152层)典型CNN网络CNN：Convolutional Layer卷积层卷积计算层：参数共享机制：每个神经元连接数据窗的权重是固定的每个神经元只关注一个特性需要估算的权重个数减少一组固定的权重和不同窗口内数据做内积: 卷积CNN：Pooling Layer池化层循环神经网络RNN(Recurrent Neural Net）为什么有了DNN、CNN，还需要RNN？ 传统神经网络(包括CN

19、N)，输入和输出都是互相独立的 图像上的数字、车、人是分隔开的，但有些识别任务后续的输出和之前的内容是相关的，例如：“我的家乡在南京，位于长江中下游” 主要应用于NLPRNN引入了“记忆”的概念 每个元素都执行相同的任务，但是输出依赖于输入和“记忆”自然语言理解Google翻译Baidu翻译长短时记忆 LSTM（Long Short Term Memory）LSTM是RNN一种，大体结构一致，其“记忆细胞”改造过，需要的话某些信息会一直传递下去看电影的时候，某些情节的推断需要依赖很久以前的一些细节随着时间间隔不断增大时，RNN 会丧失学习到久远之前信息的能力也就是说RNN记忆容量是有限的，离得

20、越远的东西忘得越多RNN解决了之前的信息保存的问题，无法解决长期依赖的问题 翻译语言 控制机器人 文档摘要 语音识别 图像识别Apple SiriAmazon AlexaGoogle AlloCaffe源于Berkeley的主流CV工具包支持C+,python,matlabModel Zoo中有大量预训练好的模型供使用Mxnet对显存利用率高定义网络层简单TensorFlowGoogle的深度学习框架TensorBoard可视化很方便，实时监控数据和模型并行化好，速度快工业深度学习框架工业深度学习框架比较2.4 人工智能总结与展望人工智能阶段划分弱人工智能 擅长于单个方面的人工智能人类级别的人

21、工智能，可以替代大部分人类工作强人工智能 在几乎所有领域都比最聪明的人类大脑都聪明很多，包括科学创新、通识和社交技能。超人工智能 人工智能的发展机遇（1）-大数据时代为人工智能提供了广阔的数据资源l大数据价值利用的最大瓶颈不是千万亿次的计算能力和千兆级的网络通信能力，而是智能化的信息处理能力。“目前，全球数据总量每年都以倍增的速度增长，预计到年将达到万亿，中国数据量到年将占全球数据总量的近。” -中国科学院院长白春礼人工智能是发掘数据金矿的钥匙，数据资源和识别任务的不断快速增长为人工智能提供了燃料和方向人工智能的发展机遇（2）-深度学习等新技术提供了方法创新2007年前后逐渐发展起来的深度神经

22、网络，深度置信网络以及对抗神经网络等多种网络模型结构，并在语音识别、图像识别等领域得到广泛应用。通过运用这一类技术，人类首次在图像识别领域战胜人类，首次在围棋正式比赛中战胜人类冠军。深度学习技术的不断发展为人工智能提供了引擎和动力。人工智能的发展机遇（3）-学科领域交叉与渗透人工智能的广泛应用使得若干传统学科的研究方法出现了巨大创新。而相关领域在大数据时代的研究成果也能够对人工智能理论与方法带来影响，进而推动人工智能学科与其他学科的协同创新。常常识识性性推推理理演演绎绎、问问题题求求解解逻逻辑辑心心理理学学知知识识的的模模型型化化和和表表示示认认识识论论心心理理学学A AI I系系统统和和语语

23、言言系系统统程程序序设设计计计计算算机机语语言言启启发发式式搜搜索索现现代代控控制制理理论论图图论论运运筹筹学学基基本本方方法法和和技技术术近近期期主主要要应应用用领领域域近近期期主主要要应应用用领领域域信信息息处处理理心心理理学学逻逻辑辑控控制制理理论论心心理理学学语语言言学学自自然然语语言言系系统统声声学学语语音音学学机机器器视视觉觉光光学学模模式式识识别别心心理理学学 图图示示学学机机器器人人工工业业自自动动化化控控制制理理论论空空间间研研究究自自动动程程序序设设计计系系统统程程序序设设计计算算法法分分析析计计算算原原理理逻逻辑辑自自动动定定理理证证明明数数学学逻逻辑辑学学教教学学、科科

24、学学和和工工程程辅辅助助博博弈弈管管理理科科学学有有关关学学科科符符号号操操作作图图示示学学学科领域交叉与渗透为人工智能的未来提供了无限可能人工智能威胁论“人工智能可能是人类生存的最大威胁。短期内，最直接的威胁是人工智能将取代人类工作。马斯克称，在未来20年，驾驶人员的工作将被人工智能所颠覆。之后，全球12%至15%的劳动力将因为人工智能而失业。”有些人是因为对人工智能的原理不理解而导致恐惧，有些人是为了个人名望而宣扬人工智能威胁论，有些人则是为了商业利益而推动人工智能威胁论。”Yann LeCun Facebook AI负责人特斯拉CEO 马斯克指数式增长，波浪式增长，哪种才是AI的未来？总

25、结与展望1、逻辑（logical）2、语言文字（linguistic）3、空间（spatial）4、音乐（musical）5、肢体动作（kinesthetic）6、内省（intra-personal）7、人际（inter-personal）8、自然探索（naturalist）9、图形图像（Graphics）伴随大数据时代的到来，计算能力的大幅提升，人工智能技术在越来越多的领域取得了突破或者长足的进步。AI离人类智能还有多远？对比哈佛大学心理学家加德纳的多元智能理论，在空间、音乐和肢体运动方面有差距，在内省、人际和自然探索方面尚无可比性。历史是螺旋进步的，人工智能走到今天并非一帆风顺，经历了三个

26、浪潮。语音识别图像识别自然语言处理明天今天昨天未来，已来这些力量并非命运，而是轨迹它们提供的并不是我们将去往何方的预测只是告诉我们，在不远的将来我们会想哪些方向前行必然而然3 大数据驱动的人工智能时代下的智慧xx建设BD/AI项目业务组织智能安全性能数据集中智能精准实时高吞吐分布式训练数据安全自主掌控数据采集（文件/数据库/日志/实时流)档案、语音、视频、位置、语音分析人脸识别车辆识别数据存储（结构化/非结构化）目标检测高性能分布式训练分布式计算引擎位置分析关联分析精准画像分析预测能力开放应用1应用2延伸阅读Tom White - Hadoop权威指南李航 -统计学习方法 周志华 -机器学习伊恩古德费洛、约书亚本吉奥、亚伦库维尔 -深度学习维克托迈尔舍恩伯格 -大数据时代吴军 -智能时代 凯文 凯利 -必然T H A N K Y O UFOR YOUR TIME