第八章-自然语言处理PPT课件.ppt
- 【下载声明】
1. 本站全部试题类文档,若标题没写含答案,则无答案;标题注明含答案的文档,主观题也可能无答案。请谨慎下单,一旦售出,不予退换。
2. 本站全部PPT文档均不含视频和音频,PPT中出现的音频或视频标识(或文字)仅表示流程,实际无音频或视频文件。请谨慎下单,一旦售出,不予退换。
3. 本页资料《第八章-自然语言处理PPT课件.ppt》由用户(三亚风情)主动上传,其收益全归该用户。163文库仅提供信息存储空间,仅对该用户上传内容的表现方式做保护处理,对上传内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知163文库(点击联系客服),我们立即给予删除!
4. 请根据预览情况,自愿下载本文。本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
5. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007及以上版本和PDF阅读器,压缩文件请下载最新的WinRAR软件解压。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 第八 自然语言 处理 PPT 课件
- 资源描述:
-
1、1第八章 自然语言处理概述2012年10月15日2概况一点击此处输入相关文本内容点击此处输入相关文本内容整体概述概况三点击此处输入相关文本内容点击此处输入相关文本内容概况二点击此处输入相关文本内容点击此处输入相关文本内容3语言的习得之谜当今的语言学界都承认这样一个基本事实:“任何一位四、五岁的儿童都能无师自通地很好掌握包含数不清语法规则变化的本民族口头语言”(只是对于“儿童为何只用几年时间就能无师自通掌握本民族口头语言”这样一个问题,目前语言学界还有各种不同的说法和争论)。4 古埃及关于语言起源的故事 希腊史学家希罗多图斯的载有一段埃及的故事: 古埃及的一位国王曾为探究人类最初的语言词汇到底是
2、什么而采取出人意料的办法。有一次,一个孩子降生,他就下令让一个牧人把孩子放到荒郊野外,命令他不许和孩子说任何话,还要一边放羊,一边照顾这个孩子,等这个孩子说第一个词时马上来报告。一年多以后,孩子说出第一个词汇bekos。国王立即召集学者研究这个词的出处,后来发现是弗吉里亚语中面包的意思,国王就认为人类最早开始说的词就是面包。一次科学实验 5巴别塔 n据圣经创世记第11章记载,是当时人类联合起来兴建,希望能通往天堂的高塔。为了阻止人类的计划,上帝让人类说不同的语言,使人类相互之间不能沟通,计划因此失败,人类自此各散东西。 6内容提纲8.1 自然语言处理概述8.2 自然语言处理的基本技术8.3 自
3、然语言处理技术路线8.4 实例与系统演示78.1自然语言处理概述n基本语言学知识n自然语言处理概念n自然语言理解n研究目标n研究内容nNLPNLP应用n发展历史8自然语言的概念n什么是自然语言n语言是人类交际的工具,是人类思维的载体n人造语言:编程语言,包括C+, BASIC等 世界语n自然语言:n形式:口语、书面语、手语n语种:汉语、英语、日语、法语n语言学是研究语言规律的科学9网络语言“昨晚,我的JJ带着他的青蛙BF到我家来吃饭。在饭桌上,JJ的BF一个劲儿地对我妈妈PMP,说她年轻的时候一定是个漂亮MM,那酱紫真是好BT,7456” JJ : 姐姐 酱紫:这样子 BF : boy fri
4、end青蛙:长相不好的男朋友 PMP:拍马屁MM:妹妹BT:变态7456:气死我了10语言词汇语法词熟语词法句法词素构形法构词法词组构造法造句法语言词汇语法词熟语词法词素句法构形法构词法词组构造法语言词汇语法词熟语词法词素造句法句法构形法构词法词组构造法语言词汇语法词熟语词法词素语言的构成11自然语言处理的层次n语音分析:从语音流中区分出一个一个声音单元-音素n词法分析:从句子中切分出单词、找出词汇的各个词素,确定单词的词性、词义等。n句法分析:对句子和短语的结构进行分析,找出词、短语等的相互关系及在句子中的作用等。n语义分析:识别一句话所表达的实际意义。n语用分析:研究语言所在的外界环境对语
5、言使用所产生的影响。12语义与语用n同一词语在不同的“语境”中具有不同“语义”n例如:中国奥运史上十大女杰的精彩“转身” n病毒 n计算机领域:计算机病毒n医学领域:生物学病毒13自然语言处理的概念n自然语言处理( Natural Language Processing,NLP )n也称自然语言理解或计算语言学;n主要研究如何让机器进行自然语言信息处理,即人类语言活动中,信息成分的发现、提取、存储、加工与传输。nNLP是计算机科学、语言学、人工智能与数学等学科的交叉学科和边缘学科。n计算语言学是从计算角度处理语言n将人们对语言的结构规律的认识用精确的、形式化的、可计算的方式(计算模型)加以表示
6、。14中文信息处理n中文信息处理的研究内容是利用计算机对汉语的音、形、义等语言文字信息进行的加工和操作,包括:对字、词、短语、句、篇章的输入、输出、识别、转换、压缩、存储、检索、分析、理解和生成等各方面的处理技术。15自然语言理解的困难n自然语言具有多样性(不同语种、不同地域、不同人群)n自然语言具有进化性n自然语言的模糊性n自然语言的歧义性 处理歧义问题是NLP的核心问题。自然语言处理过程就是各种歧义现象的消解过程。1617机器能够理解人的语言吗?n很难!n什么是理解?n结构主义:机器的理解机制与人相同(白盒)n问题:人类语言理解机理尚未清楚n功能主义:机器的表现与人相同即可(黑盒)n图灵测
7、试n如果通过自然语言的问答,一个人无法识别和他对话的是人还是机器,那么就应该承认机器具有智能18n给计算机输入一段自然语言文本,如果计算机能n问答(question-answering)(question-answering)机器能正确地回答输入 文本中的有关问题;n文摘生成(summarizing)(summarizing)机器有能力产生输入文本 的摘要;n复述(paraphrase)(paraphrase)机器用不同的词语和语句复述输入文本;n翻译(translation)(translation)机器把一种语言( (源语言) )翻译为 另一种语言( (目标语言) )理解自然语言的准则19
8、自然语言处理的研究目标 n弱人工智能目标:建立一个足够精确的语言数学模型使计算机通过编程来完成自然语言的相关任务。如:听、读、写、说,释义,翻译,回答问题等;n强人工智能目标:让用户能通过自然语言与计算机自由对话;20NLP研究内容应用系统数字图书馆、电子商务、电子政务、远程教育、语言学习基础研究分词、词性标注、短语切分、句法分析、语义分析、篇章理解等应用技术研究自动问答、机器翻译、信息检索、文本挖掘、自动校对、信息抽取资源建设语料库资源建设语言学知识库建设语言学家NLP研究者软件企业21NLP 的应用nNLP应用前景n据统计,日常工作中80%的信息来源于语言,处理文本的需求在不断增长n文本是
9、人类知识最大的存储源,并且文本的数量在不停地增长n电子邮件、新闻、网页、科技论文、 用户抱怨信nNLP典型应用n智能搜索引擎、自动问答、信息获取、语义网n语音识别,文字识别、输入法n机器翻译,自动文摘,跨语言检索n文本分类、文本聚类、文本分析(结构、内容、情感)、文本挖掘(主题跟踪:人物跟踪,企业跟踪)、文本过滤222013年973重点支持方向n互联网环境中文信息处理与深度计算的基本理论与方法n研究互联网规模中文深度计算的理论与模型,包括中文信息表示理论与模型、句子与篇章的结构分析和语义理解等方法;n研究言语多通道感知机理,包括多言语识别、翻译、合成与融合、开放式多类型语言知识大规模获取与组织
10、等方法;n研究中文信息所承载中国文化元素的获取、传承和呈现等方法;n构建大规模中文文本语义体系和语料库,开发相应软件系统原型。23文本校对正确的用法错误的用法正确的用法错误的用法执著 执着其他其它思维 思惟想像想象唯一惟一好像好象唯心惟心侍者恃者 伺者磨炼磨练承事承侍历事练心历事炼心降伏降服做主作主调伏调服 做一位智者作一位智者噩梦恶梦叫做叫作摄受摄授24NLP 应用趋势n智能接口n功能:n把现实世界中的信息送入电子世界n主要成果n拼音输入、手写输入、语音合成、语音输入,手机输入n知识处理n功能:n对于已进入电子世界中的信息进行加工处理获得知识n知识经济的时代已经到来!n知识就是力量知识就是财
展开阅读全文