Python爬虫程序设计KC25.pptx

1、2.5.1 使用使用CSS语法语法2.5.1 使用使用CSS语法语法BeautifulSoup除了可以用find与find_all函数查找HTML文档树的节点元素外，还可以采用CSS类似的语法来查询，规则是：tag.select(css)其中tag是一个bs4.element.Tag对象，即HTML中的一个element节点元素，select是它的查找方法，css是类似css语法的一个字符串，一般结构如下：tagNameattName=value其中.部分是可选的；tagName是元素名称，如果没有指定就是所有元素；attName=value是属性名称，value是它对应的值，可以不指定属性，

2、在指定了属性后也可以不指定值；tag.select(css)返回一个bs4.element.Tag的列表，哪怕只有一个元素也时一个列表；例例2-5-1：soup.select(a)查找文档中所有查找文档中所有元素节点；元素节点；soup.select(p a)查找文档中所有节点下的所有元素节点；soup.select(pclass=story a)查找文档中所有属性class=story的节点下的所有元素节点；soup.select(pclass a)查找文档中所有具有class属性的节点下的所有元素节点；soup.select(aid=link1)查找属性id=link1的节点；soup.s

3、elect(body head title)查找下面下面的节点；soup.select(body class)查找下面所有具有class属性的节点；soup.select(body class a)查找下面所有具有class属性的节点下面的节点；下面的节点；例例2-5-2：查找查找HTML文档中所有文档中所有下面的下面的的链接的链接from bs4 import BeautifulSoupdoc=The Dormouses storyThe Dormouses storyOnce upon a time there were three little sisters;and their nam

4、es wereElsie,Lacie andTillie;and they lived at the bottom of a well.soup=BeautifulSoup(doc,lxml)tags=soup.select(pclass=story a)for tag in tags:print(taghref)程序结果：http:/ 另外我们通过tags=soup.select(p a)tags=soup.select(a)tags=soup.select(pclass a)等也可以得到一样的结果。2.5.2 属性的语法规则属性的语法规则在CSS结构中的attName=value中表示属性

5、attrName与value相等，也可以指定不等、包含等运算关系，具体运算如下表：选择器选择器描述描述attName用于选取带有指定属性的元素。attName=value用于选取带有指定属性和值的元素。attName=value匹配属性值以指定值开头的每个元素。attName$=value匹配属性值以指定值结尾的每个元素。attrName*=value匹配属性值中包含指定值的每个元素。因此：soup.select(ahref=http:/ select查找子孙节点查找子孙节点2.5.3 select查找子孙节点查找子孙节点在select(css)中的css有多个节点时，节点元素之间用空格分开，

6、就是查找子孙节点，例如soup.select(div p)是查找所有节点下面的所有子孙节点。例例2-5-3：查找子孙节点：查找子孙节点from bs4 import BeautifulSoupdoc=ABCsoup=BeautifulSoup(doc,lxml)tags=soup.select(div p)for tag in tags:print(tag)程序结果：ABC其中tags=soup.select(div p)是查找下面的所有子孙节点，因此包含下面的B。2.5.4 select查找直接子节点查找直接子节点2.5.4 select查找直接子节点查找直接子节点在select(css)中

7、的css有多个节点时，节点元素之间用 分开(注意的前后至少包含一个空格)，就是查找直接子节点，例如soup.select(div p)是查找所有节点下面的所有直接子节点，不包含孙节点。例例2-5-4：查找直接子节点：查找直接子节点from bs4 import BeautifulSoupdoc=ABCsoup=BeautifulSoup(doc,lxml)tags=soup.select(div p)for tag in tags:print(tag)程序结果：AC其中tags=soup.select(div p)是查找下面的直接子节点，因此不包含下面的B。2.5.5 select查找兄弟节点

8、查找兄弟节点2.5.5 select查找兄弟节点查找兄弟节点在select中用 连接两个节点表示查找前一个节点后面的所有同级别的兄弟节点（注意号前后至少有一个空格），例如soup.select(div p)查找后面的所有同级别的兄弟节点。在select中用+连接两个节点表示查找前一个节点后面的第一个同级别的兄弟节点（注意+号前后至少有一个空格）例例2-5-5：查找兄弟节点：查找兄弟节点from bs4 import BeautifulSoupdoc=demoAXBCDsoup=BeautifulSoup(doc,lxml)print(soup.prettify()tags=soup.select(div p)for tag in tags:print(tag)print()tags=soup.select(div+p)for tag in tags:print(tag)程序结果：BD其中tags=soup.select(div p)找到后面同级别的所有节点，不包含中的C，因为它与不同级别。而tags=soup.select(div+p)要找的下一个兄弟节点，但是的下一个兄弟节点是X，不是节点，因此没有找到，注意结果不是B。