爬虫入门获取节点和解析节点课件.pptx

1、Python爬虫入门BeautifulSoup4解析网页网络爬虫的基本处理流程保存数据发起请求获取响应内容解析内容通过URL向服务器发起request请求，请求可以包含额外的header信息如果服务器正常响应，会收到一个response（所请求的网页内容），如HTML、JSON字符串或者二进制的数据（视频、图片）等HTML代码网页解析器解析JSON数据转换成JSON对象二进制的数据保存到文件保存到本地文件或保存到数据库（MySQL、Redis、MongoDB等）12234BeautifulSoup4Requests网络爬虫的基本处理流程获取响应内容解析内容如果服务器正常响应，会收到一个resp

2、onse（所请求的网页内容），如HTML、JSON字符串或者二进制的数据（视频、图片）等HTML代码网页解析器解析JSON数据转换成JSON对象二进制的数据保存到文件223BeautifulSoup4Requests使用requests 库获取HTML 页面并将其转换成字符串后，需要进一步解析HTML页面格式，提取有用信息，这需要处理HTML 和XML 的函数库。beautifulsoup4 库，也称为Beautiful Soup 库或bs4 库，用于解析和处理HTML和XML。BeautifulSoup4 BeautifulSoup提供简单的、Python式的函数用来处理导航、搜索、修改分析

3、树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据。由于使用简单，所以不需要多少代码就可以写出一个完整的应用程序。BeautifulSoup已成为和lxml、html5lib一样出色的Python解析器。BeautifulSoup3目前已经停止开发，不过它已经被移植到BS4了，推荐使用BeautifulSoup4，导入时写为import bs4。BeautifulSoup将复杂的HTML文档转换成树形结构，每个节点都是Python对象。解析网页的核心可以归结为两点：获取节点和从节点中提取信息。提取信息提取信息任务：提取出第1个段落的文本 Hellosoup.psoup.p.stri

4、ngfrom bs4 import BeautifulSoupsoup=BeautifulSoup(HelloBeautifulSoup,lxml)print(soup)#Helloprint(type(soup.p)#print(soup.p)#Helloprint(soup.p.name)#pprint(soup.p.string)#Hello节点文本在标签唯一的情况下，可直接使用标签作为属性值来获得节点。如果有多个同类标签，如这里有两个段落，则soup.p只能代表第一个。标签任务：从超链接中提取属性html=春天soup=BeautifulSoup(html,lxml)print(sou

5、p.a.string)#春天print(soup.li.string)#春天print(soup.ahref)#spring.htmlprint(soup.aclass)#season,greenprint(soup.a.attrs)#字典类型 class:season,green,href:spring.html春天标签名 name属性 attrs文本 string节点3要素：标签名 name、属性 attrs 和文本 string 获取节点获取节点获取节点的主要方式 BeautifulSoup提供了多种方式来获取节点，主要有两种：方法find_all和find；CSS选择器。由于每个节点有

6、3个属性：标签名、属性、文本，方法find_all和find也针对这3个属性来搜索节点。从名字上也能看出来，find_all搜索所有满足要求的节点，find搜索满足要求的第一个节点。class season red id summer href summer.html夏天标签名 name属性 attrs文本 string从超文本中提取出夏天html=一年有四个季节：春天 夏天 秋天 冬天find_all(name,attrs,recursive,string,limit,*kwargs)标签名属性文本方法1：找出所有季节（标签a）html=一年有四个季节：春天 夏天 秋天 冬天soup=Bea

7、utifulSoup(html,lxml)print(soup.find_all(a)1.string)print(soup.find_all(a,class_=season)1.string)print(soup.find_all(a,class:season)1.string)print(soup.find_all(a,attrs=class:season)1.string)#完整形式方法2：精准定位（find）html=一年有四个季节：春天 夏天 秋天 冬天print(soup.find(a,id=summer).string)print(soup.find(a,href=summer.

8、html).string)print(soup.find(a,id:summer).string)print(soup.find(a,href:summer.html).string)print(soup.find(string=夏天).string)print(soup.find(string=pile(夏).string)方法2：定位（find_all）html=一年有四个季节：春天 夏天 秋天 冬天print(soup.find_all(a,id=summer)0.string)print(soup.find_all(a,href=summer.html)0.string)print(s

9、oup.find_all(a,id:summer)0.string)print(soup.find_all(a,href:summer.html)0.string)print(soup.find_all(string=夏天)0.string)print(soup.find_all(string=pile(夏)0.string)方法3：CSS选择器html=一年有四个季节：春天 夏天 秋天 冬天print(soup.select(a)1.string)print(soup.select(ul a)1.string)print(soup.select(.season)1.string)print(soup.select(.red)0.string)print(soup.select_one(.red).string)#使用 select_one 获取第1个print(soup.select(ul.season)1.string)print(soup.select(#summer)0.string)print(soup.select(li .season)1.string)#在子标签中查找print(soup.select(ul li)1.string)#在子标签中查找