第六章网络信息检索课件.ppt

1、第六章网络信息检索第六章网络信息检索第一节搜索引擎概述第一节搜索引擎概述第二节常用中文搜索引擎第二节常用中文搜索引擎第一节搜索引擎概述第一节搜索引擎概述搜索引擎的定义与类型搜索引擎的定义与类型搜索引擎的定义搜索引擎的定义搜索引擎，英文为搜索引擎，英文为Search Engine是指根据一定的策略、运用特是指根据一定的策略、运用特定的计算机程序搜集互联网上的信息，在对信息进行组织和处理定的计算机程序搜集互联网上的信息，在对信息进行组织和处理后，为用户提供检索服务的系统。后，为用户提供检索服务的系统。搜索引擎的类型搜索引擎的类型搜索引擎种类繁多，它可以按照内容组织方式和工作机理等进行搜索引擎种类繁

2、多，它可以按照内容组织方式和工作机理等进行区分。区分。下一页返回第一节搜索引擎概述第一节搜索引擎概述按内容组织方式划分按内容组织方式划分第一类是全文检索第一类是全文检索(Full Text Search)的搜索引擎，用户能够对各的搜索引擎，用户能够对各网站的每个网站的每个主主页中的每个词进行搜索。全文搜索引擎的优点是查页中的每个词进行搜索。全文搜索引擎的优点是查询全面而充分。当全文搜索引擎遇到一个网站时，会将该网站上询全面而充分。当全文搜索引擎遇到一个网站时，会将该网站上所有开放的网页全部获取下来，并收入到引擎的数据库中。所有开放的网页全部获取下来，并收入到引擎的数据库中。第一类是建立在分类学

3、基础上的目录分类式搜索引擎。它通过人第一类是建立在分类学基础上的目录分类式搜索引擎。它通过人工方式将所收入的站点进行分类而建立数据库，以提供查询。目工方式将所收入的站点进行分类而建立数据库，以提供查询。目录分类式搜索引擎当遇到一个网站时，先将该网站划分到某个分录分类式搜索引擎当遇到一个网站时，先将该网站划分到某个分类下，再记录一些摘要信息对该网站进行概述性的介绍。类下，再记录一些摘要信息对该网站进行概述性的介绍。下一页上一页返回第一节搜索引擎概述第一节搜索引擎概述按工作机理划分按工作机理划分第一类是机器人搜索引擎，由一个称为蜘蛛第一类是机器人搜索引擎，由一个称为蜘蛛(Spider)的机器人的机

4、器人程序按设计者和网站定制的策略自动在匀程序按设计者和网站定制的策略自动在匀_联网中抓取相应的联网中抓取相应的信息，并通过分析抓取的网页文件获取网页中存在的新的信息，并通过分析抓取的网页文件获取网页中存在的新的URL链接，以此达到层层深入抓取的日的，抓取结束后采用单机存链接，以此达到层层深入抓取的日的，抓取结束后采用单机存储或分布式存储的方式进行磁盘存储，然后由索引器为搜集到储或分布式存储的方式进行磁盘存储，然后由索引器为搜集到的信息建立索引，根据用户的查询输入检索索引库，并将查询的信息建立索引，根据用户的查询输入检索索引库，并将查询结果返回给用户。该类搜索引擎的优点是信息量大，更新及时，结果

5、返回给用户。该类搜索引擎的优点是信息量大，更新及时，无需人工干预无需人工干预;缺点是返回多而杂，必须进行人工筛选。缺点是返回多而杂，必须进行人工筛选。第二类是元搜索引擎，这类搜索引擎没有自己的数据，而是将第二类是元搜索引擎，这类搜索引擎没有自己的数据，而是将用户的查询请求同时向多个搜索引擎递交，将返回的结果进行用户的查询请求同时向多个搜索引擎递交，将返回的结果进行重复排除、重新排序等处理后，作为自己的结果返回给用户。重复排除、重新排序等处理后，作为自己的结果返回给用户。下一页上一页返回第一节搜索引擎概述第一节搜索引擎概述搜索引擎的工作原理搜索引擎的工作原理搜索引擎构成搜索引擎构成搜索引擎广义上

6、是一种基于互联网的信息查询系统。一个网搜索引擎广义上是一种基于互联网的信息查询系统。一个网络搜索引擎一般由搜索器、索引器、检索器和用户接口四部络搜索引擎一般由搜索器、索引器、检索器和用户接口四部分组成。分组成。搜索器就是帮助用户查找到特定信息的一种工具。而搜索引搜索器就是帮助用户查找到特定信息的一种工具。而搜索引擎中的搜索器却承担了另一个网络数据抓取功能。只有准确擎中的搜索器却承担了另一个网络数据抓取功能。只有准确地获取、表示、存储、组织信息，同时提供便利的访问方式，地获取、表示、存储、组织信息，同时提供便利的访问方式，才能方便用户进行准确的查询。才能方便用户进行准确的查询。下一页上一页返回第

7、一节搜索引擎概述第一节搜索引擎概述需要一种方法对文档进行预处理，在文档间建立一种便于检需要一种方法对文档进行预处理，在文档间建立一种便于检索的数据结构，以此来提高信息检索的速度，这种数据结构索的数据结构，以此来提高信息检索的速度，这种数据结构就是索引。而索引器的工作就是建立一个包含关键信息的索就是索引。而索引器的工作就是建立一个包含关键信息的索引库以备查询。索引器的策略在很大程度上影响了搜索引擎引库以备查询。索引器的策略在很大程度上影响了搜索引擎的效率与准确性。的效率与准确性。检索软件负责提供用户使用搜索引擎的接口。检索软件一般检索软件负责提供用户使用搜索引擎的接口。检索软件一般是一个是一个W

8、eb应用程序，其主要工作包括获取用户制定的搜索应用程序，其主要工作包括获取用户制定的搜索规则规则;查询索引库查询索引库;计算网页搜索请求的关联度计算网页搜索请求的关联度;提供排序后的提供排序后的搜索结果返回。搜索结果返回。用户接口的作用是为用户提供可视化的查询输入和结果输出用户接口的作用是为用户提供可视化的查询输入和结果输出界面，其主要目的是方便用户使用搜索引擎获取有效信息，界面，其主要目的是方便用户使用搜索引擎获取有效信息，可以分为简单接口和复杂接口两种。可以分为简单接口和复杂接口两种。下一页上一页返回第一节搜索引擎概述第一节搜索引擎概述搜索原理搜索原理其搜索原理主要分为四个步骤其搜索原理主

9、要分为四个步骤:从网络上抓取网页，搜索引擎主动派出从网络上抓取网页，搜索引擎主动派出“蜘蛛蜘蛛”程序访问程序访问Internet，对一定，对一定IP地址范围内的互联网站或者网站拥有者主地址范围内的互联网站或者网站拥有者主动向搜索引擎提交的网址进行检索，并将搜集到的信息和网动向搜索引擎提交的网址进行检索，并将搜集到的信息和网页收集到服务器上。页收集到服务器上。建立索引数据库，由索引系统程序对收集到网页进行分析，建立索引数据库，由索引系统程序对收集到网页进行分析，提取相关网页信息提取相关网页信息(包括网页所在包括网页所在URL,编码类型、页面内容编码类型、页面内容包含的关键词、生成时间、大小、相关

10、链接关系等包含的关键词、生成时间、大小、相关链接关系等)，根据一，根据一定的相关度算法进行大量复杂计算，得到每个网页针对页面定的相关度算法进行大量复杂计算，得到每个网页针对页面内容及链接中每个关键词的相关度，然后用这些相关信息建内容及链接中每个关键词的相关度，然后用这些相关信息建立网页索引数据库。立网页索引数据库。下一页上一页返回第一节搜索引擎概述第一节搜索引擎概述在索引数据库中搜索，当用户输入关键词搜索后，分解搜索在索引数据库中搜索，当用户输入关键词搜索后，分解搜索请求，由搜索系统从网页索引数据库中找到符合该关键词的请求，由搜索系统从网页索引数据库中找到符合该关键词的所有相关网页。所有相关网

11、页。对搜索结果进行处理排序，所有相关网页针对关键词的相关对搜索结果进行处理排序，所有相关网页针对关键词的相关信息在索引库中都有记录，通常根据网页中关键词的匹配程信息在索引库中都有记录，通常根据网页中关键词的匹配程度，出现的位置、频次、链接质量等计算出各网页的相关度度，出现的位置、频次、链接质量等计算出各网页的相关度及排名等级，然后根据关联度高低，按顺序将这些网页链接及排名等级，然后根据关联度高低，按顺序将这些网页链接返回给用户。返回给用户。下一页上一页第一节搜索引擎概述第一节搜索引擎概述搜索引擎的语法规则与检索式的构建搜索引擎的语法规则与检索式的构建语法规则语法规则搜索引擎的语法规则主要包括基

12、本数学规则、限制搜索语法、搜索引擎的语法规则主要包括基本数学规则、限制搜索语法、辅助搜索语法以及布尔逻辑算符。辅助搜索语法以及布尔逻辑算符。基本数学规则基本数学规则连接符号连接符号连接符号主要有连接符号主要有(+)和减号和减号(-)。在检索词前面使用。在检索词前面使用“+”时候，表时候，表示所有检索结果的页面都必须包含该词。检索式为示所有检索结果的页面都必须包含该词。检索式为“+A+B，表示所查的该页面中应出现表示所查的该页面中应出现“A”和和“B”方面的信息。而检索方面的信息。而检索式式“A+B”则表示检索结果页面中一定含有则表示检索结果页面中一定含有+B;，但是不一定包，但是不一定包含有含

13、有“A”的信息。检索词前面使用的信息。检索词前面使用“-”，表示任何检索结果的，表示任何检索结果的页面都不能包含该词语。页面都不能包含该词语。下一页返回第一节搜索引擎概述第一节搜索引擎概述空格、逗号、括号和引号的作用空格、逗号、括号和引号的作用空格的作用与逻辑空格的作用与逻辑“与与”的作用相同。逗号的作用类似于逻的作用相同。逗号的作用类似于逻辑辑“或或”，也是查找那些至少包含一个指定关键词的页面，也是查找那些至少包含一个指定关键词的页面，区别在于检索结果输出时，包含指定关键词越多的页面，其区别在于检索结果输出时，包含指定关键词越多的页面，其排列顺序位置越靠前。括号的作用是使括号内的运算符优先排

14、列顺序位置越靠前。括号的作用是使括号内的运算符优先执行，用来改变复杂检索式中固有逻辑运算符优先级的次序。执行，用来改变复杂检索式中固有逻辑运算符优先级的次序。引号的作用是将引在其中的多个词被当作一个短语来检索。引号的作用是将引在其中的多个词被当作一个短语来检索。下一页上一页返回第一节搜索引擎概述第一节搜索引擎概述限制搜索语法限制搜索语法限制搜索语法是从不同角度限定网络搜索的功能性词语和符限制搜索语法是从不同角度限定网络搜索的功能性词语和符号，对搜索结果起到定向作用和控制作用。主要包括标题搜号，对搜索结果起到定向作用和控制作用。主要包括标题搜索索(Title Search)、网站搜索、网站搜索(

15、Site Search)、网址搜索、网址搜索(URL Search),链接搜索链接搜索(Link Search)、文件搜索、文件搜索(Fileype Search）检索式的构建检索式的构建检索式是指搜索引擎能够理解和运算的查询串，由关键词、检索式是指搜索引擎能够理解和运算的查询串，由关键词、逻辑运算符、搜索语法等构成。关键词是检索式的主体，逻逻辑运算符、搜索语法等构成。关键词是检索式的主体，逻辑运算符和搜索指令根据具体的查询内容，力求使关键词与辑运算符和搜索指令根据具体的查询内容，力求使关键词与内容描述词一致。准确选择关键词，需要对查询内容有一定内容描述词一致。准确选择关键词，需要对查询内容有

16、一定了解，有一个根据搜索结果从模糊到准确的逐步调整关键词了解，有一个根据搜索结果从模糊到准确的逐步调整关键词的练习过程。在使用逻辑运算的练习过程。在使用逻辑运算上一页返回第二节常用中文搜索引擎第二节常用中文搜索引擎百度百度概述概述百度百度(http:/)是由百度公司于是由百度公司于1999年底在美年底在美国硅谷成立的，是目前全球最优秀的中文信息检索与传递技国硅谷成立的，是目前全球最优秀的中文信息检索与传递技术供应商。术供应商。使用百度搜索引擎，其基本检索页面由功能模块和检索输入使用百度搜索引擎，其基本检索页面由功能模块和检索输入框及检索按钮三部分组成，如框及检索按钮三部分组成，如图图6-1所示

17、所示下一页返回第二节常用中文搜索引擎第二节常用中文搜索引擎检索方法和技巧检索方法和技巧百度支持布尔逻辑检索，支持通配符的使用百度支持布尔逻辑检索，支持通配符的使用支持逻辑支持逻辑“与与”，检索时不需要使用，检索时不需要使用“AND”或者或者“+”，只，只需要在输入的多个检索词之间以空格加以隔开，系统会自动需要在输入的多个检索词之间以空格加以隔开，系统会自动在各检索词之间添加在各检索词之间添加“+”;支持逻辑支持逻辑“非非”，运算符为，运算符为“一一”，注意前一个关键词和减号之间必须有空格，否则减号会被当注意前一个关键词和减号之间必须有空格，否则减号会被当少戊连字符处理，而失去减号语法功能。减号

18、和后一个关键少戊连字符处理，而失去减号语法功能。减号和后一个关键词之间，有无空格均可。词之间，有无空格均可。下一页上一页返回第二节常用中文搜索引擎第二节常用中文搜索引擎百度支持搜索位置的限定百度支持搜索位置的限定检索时，有如下命令检索时，有如下命令:intitle关键词在网页标题中，把查询内容范围限定在网关键词在网页标题中，把查询内容范围限定在网页标题中，有时能获得良好的效果。页标题中，有时能获得良好的效果。Fileype对搜索对象做格式限制，使用方法是在对搜索对象做格式限制，使用方法是在“Fileype”后跟文件格式。后跟文件格式。Inurl限定在限定在URL链接中搜索，网页链接中搜索，网页

19、url中的某些信息，常中的某些信息，常常有某种有价值的含义，用户可通过对搜索结果的常有某种有价值的含义，用户可通过对搜索结果的url做某种做某种限定来获得良好的效果。限定来获得良好的效果。下一页上一页返回第二节常用中文搜索引擎第二节常用中文搜索引擎百度支持任意的关键词检索，无论中文、英文、数字，还是百度支持任意的关键词检索，无论中文、英文、数字，还是各种形式文字的混合各种形式文字的混合在输入多个检索词时，应用空格隔开。要想精确搜索，有两在输入多个检索词时，应用空格隔开。要想精确搜索，有两个符号可以用到，双引号个符号可以用到，双引号(“”)和书名号和书名号()。若输入的查。若输入的查询词很长，百

20、度在经过分析后，给出的搜索结果中的查询词，询词很长，百度在经过分析后，给出的搜索结果中的查询词，可能是拆分的。用户可以给查询词加上双引号而尝试让百度可能是拆分的。用户可以给查询词加上双引号而尝试让百度不拆分查询词。书名号是百度独有的一个特殊查询语法。不拆分查询词。书名号是百度独有的一个特殊查询语法。百度提供相关检索百度提供相关检索如果用户无法确定输入什么词语能找到满意资料，可以试用如果用户无法确定输入什么词语能找到满意资料，可以试用相关检索，先输入一个简单词语，搜索引擎会在页面结果第相关检索，先输入一个简单词语，搜索引擎会在页面结果第一页下方提供一页下方提供“相关搜索相关搜索”做参考，这时，只

21、击要单击其中做参考，这时，只击要单击其中一个搜索词，就能得到那个相关搜索词的搜索结果。一个搜索词，就能得到那个相关搜索词的搜索结果。下一页上一页返回第二节常用中文搜索引擎第二节常用中文搜索引擎依据检索需要，用户可以通过高级检索中提供的各种条件限依据检索需要，用户可以通过高级检索中提供的各种条件限制来精确检索范围，从而提高检索的查准率制来精确检索范围，从而提高检索的查准率在百度高级检索中，如在百度高级检索中，如图图6-3所示，用户可以限制某一检索必所示，用户可以限制某一检索必须包含或者排除某些特定的关键词或短语，也可以定制搜索须包含或者排除某些特定的关键词或短语，也可以定制搜索结果页面所含的条目

22、数量，还可以限定所搜索网页的时间、结果页面所含的条目数量，还可以限定所搜索网页的时间、地区、语言、格式及关键词在结果中出现位置等。地区、语言、格式及关键词在结果中出现位置等。下一页上一页返回第二节常用中文搜索引擎第二节常用中文搜索引擎其他特色功能其他特色功能目前百度网页搜索的特色功能包括百度快照、相关搜索、拼音提目前百度网页搜索的特色功能包括百度快照、相关搜索、拼音提示、错别字提示、英汉互译词典、计算器和度量衡转换、股票、示、错别字提示、英汉互译词典、计算器和度量衡转换、股票、列车时刻表和飞机航班查询、天气查询、高级搜索、地区搜索和列车时刻表和飞机航班查询、天气查询、高级搜索、地区搜索和个性设

23、置等个性设置等百度快照百度快照每个被收录的网页，在百度上都存有一个纯文本的备份，称为每个被收录的网页，在百度上都存有一个纯文本的备份，称为“百度快照百度快照”。相关搜索相关搜索搜索结果不佳，有时候是因为选择的检索词不是很妥当。百度使搜索结果不佳，有时候是因为选择的检索词不是很妥当。百度使用相关检索词智能推荐技术，即在用户第一次检索后，会在搜索用相关检索词智能推荐技术，即在用户第一次检索后，会在搜索结果页的下方提示相关的检索词，帮助用户查找更相关的结果，结果页的下方提示相关的检索词，帮助用户查找更相关的结果，统计表明其可以促进检索量提升统计表明其可以促进检索量提升10%20%下一页上一页返回第二

24、节常用中文搜索引擎第二节常用中文搜索引擎拼音与错别字提示拼音与错别字提示如果只知道某个词的发音，却不知道怎么写，或者嫌某个词如果只知道某个词的发音，却不知道怎么写，或者嫌某个词拼写输入太麻烦，可通过百度拼音提小来解决问题。拼写输入太麻烦，可通过百度拼音提小来解决问题。英汉互译词典英汉互译词典随便输入一个英语单词，或者输入一个汉字词语，留意一下随便输入一个英语单词，或者输入一个汉字词语，留意一下搜索框上方多出来的词典提小。如搜索搜索框上方多出来的词典提小。如搜索“apple“计算器和度量衡转换计算器和度量衡转换Window系统自带的计算器功能过于简陋，尤其是无法处理系统自带的计算器功能过于简陋，

25、尤其是无法处理一个复杂计算式，很不方便。一个复杂计算式，很不方便。下一页上一页返回第二节常用中文搜索引擎第二节常用中文搜索引擎股票、列车时刻表和飞机航班查询股票、列车时刻表和飞机航班查询在百度搜索框中输入股票代码、列车车次或者飞机航班号，在百度搜索框中输入股票代码、列车车次或者飞机航班号，用户就能直接获得相关信息。用户就能直接获得相关信息。天气查询天气查询百度支持全国多达百度支持全国多达400多个城市和近百个国外著名城市的天多个城市和近百个国外著名城市的天气查询。气查询。百度搜霸百度搜霸百度搜霸是一款免费的浏览器工具条，下载后安装在百度搜霸是一款免费的浏览器工具条，下载后安装在IE浏览浏览器的

26、工具栏内用户无需登陆百度搜索引擎，即可以利用该工器的工具栏内用户无需登陆百度搜索引擎，即可以利用该工具条进行即时检索。具条进行即时检索。下一页上一页返回第二节常用中文搜索引擎第二节常用中文搜索引擎谷歌谷歌概述概述谷歌是谷歌是Google中文名。中文名。Google(www.G)是一个是一个搜索引擎，由斯坦福大学的两个博士生搜索引擎，由斯坦福大学的两个博士生Larry Page与与Sergey Brin于于1998年年9月发明，月发明，Google Inc.于于1999年创立。年创立。基本检索基本检索Google的页面十分简单，如的页面十分简单，如图图6-4所示，在检索输入框下面所示，在检索输入

27、框下面排列着几大功能模块，分别是视频、图片、生活、地图、音排列着几大功能模块，分别是视频、图片、生活、地图、音乐、翻译、乐、翻译、265导航。导航。下一页上一页返回第二节常用中文搜索引擎第二节常用中文搜索引擎高级检索高级检索Google提供的高级检索功能可以为检索附加多种限制条件，提供的高级检索功能可以为检索附加多种限制条件，从而使检索结果更精确，同时也在一定程度上避免用户由于从而使检索结果更精确，同时也在一定程度上避免用户由于对检索式构造不够熟悉而造成的错检、漏检等现象。对检索式构造不够熟悉而造成的错检、漏检等现象。Google高级搜索提供了输入项、网页语言、网页区域、文件高级搜索提供了输入

28、项、网页语言、网页区域、文件格式、日期、关键词位置、网域、权限等自定义搜索结果，格式、日期、关键词位置、网域、权限等自定义搜索结果，如如图图6-6所示。所示。下一页上一页返回第二节常用中文搜索引擎第二节常用中文搜索引擎检索方法与技巧检索方法与技巧空格、空格、OR和减号和减号(-)用户输入的关键词之间如果不加其他修饰符号而只留空格的用户输入的关键词之间如果不加其他修饰符号而只留空格的话，话，Google会默认关键词之间为会默认关键词之间为“and”的关系，就会对所的关系，就会对所有的关键词同时进行搜索并只返回那些符合全部查询条件的有的关键词同时进行搜索并只返回那些符合全部查询条件的网页。网页。双

29、引号双引号(“”)和通配符和通配符(*)在在Google中，可以通过添加英文双引号来搜索短语。双引号中，可以通过添加英文双引号来搜索短语。双引号中的词语在查询到的文档中将作为一个整体出现。中的词语在查询到的文档中将作为一个整体出现。下一页上一页返回第二节常用中文搜索引擎第二节常用中文搜索引擎其他功能其他功能Google除了上述特点外，还具备相当多的功能，包括网页快除了上述特点外，还具备相当多的功能，包括网页快照、类似网页、错别字改正、中英文字典、照、类似网页、错别字改正、中英文字典、google学术搜索，学术搜索，天气查询、股票查询、邮编区号、手机号码等。下面介绍其天气查询、股票查询、邮编区号

30、、手机号码等。下面介绍其中几个。中几个。google学术搜索学术搜索Google提供可广泛搜索学术文献的简便方法。提供可广泛搜索学术文献的简便方法。google生活搜索生活搜索切换到生活搜索，输入关键字后，点击搜索，用户希望的结切换到生活搜索，输入关键字后，点击搜索，用户希望的结果就会出现。果就会出现。下一页上一页返回第二节常用中文搜索引擎第二节常用中文搜索引擎google地图搜索地图搜索Google发布了地图搜索服务，它结合本地搜索和卫星图片，发布了地图搜索服务，它结合本地搜索和卫星图片，可以让用户看到建筑物或地形的二维图像。可以让用户看到建筑物或地形的二维图像。Google 工具条工具条为了方便搜索者，为了方便搜索者，Google提供了工具条，集成于浏览器中，提供了工具条，集成于浏览器中，用户无需打开用户无需打开Google主页就可以在工具条内输入关键词进行主页就可以在工具条内输入关键词进行搜索。搜索。上一页返回图图6-1百度首页百度首页返回图图6-3百度高级检索页面百度高级检索页面返回图图6-4 Google基本搜索界面基本搜索界面返回图图6-6 Google高级搜索界面高级搜索界面返回