首先引入bs4库，也就是BeautifulSoup在Python中的模块。

    好了，我们来看一下官方提供的例子，这段例子引自《爱丽丝漫游记》。

#FormatImgID_1#

假设以上html_doc就是我们已经下载的网页，我们需要从中解析并获取感兴趣的内容。

首先的首先，我们需要创建一个BeautifulSoup的文档对象，依据不同需要可以传入“字符串”或者“一个文件句柄”。

传入“字符串”

传入“文件句柄”，打开一个本地文件

文档首先被转换为Unicode，如果是解析html文档，直接创建对象就可以了（像上面操作那样），这时候BeautifulSoup会选择一个最合适的解析器对文档进行解析。

但同时，BeautifulSoup也支持手动选择解析器，根据指定解析器进行解析（也就是我们安装上面html5lib和lxml的原因）。

手动指定解析器如下：

如果仅是想要解析HTML文档，只要用文档创建 BeautifulSoup 对象就可以了。Beautiful Soup会自动选择一个解析器来解析文档。但是还可以通过参数指定使用那种解析器来解析当前文档。

BeautifulSoup 第一个参数应该是要被解析的文档字符串或是文件句柄，第二个参数用来标识怎样解析文档。如果第二个参数为空，那么Beautiful Soup根据当前系统安装的库自动选择解析器,解析器的优先数序: lxml, html5lib, Python标准库。在下面两种条件下解析器优先顺序会变化:

1. 要解析的文档是什么类型: 目前支持, “html”,
   “xml”, 和 “html5”

2. 指定使用哪种解析器: 目前支持, “lxml”, “html5lib”, 和 “html.parser”

Beautiful Soup将复杂HTML文档转换成一个复杂的树形结构,每个节点都是Python对象,所有对象可以归纳为4种:

• Tag
  

• NavigableString

• BeautifulSoup

• Comment

<Tag>

Tag就是html或者xml中的标签，BeautifulSoup会通过一定的方法自动寻找你想要的指定标签。查找标签这部分会在后面“遍历查找树”和“搜索查找树”中介绍，这里仅介绍对象。

Tag标签下也有对象，有两个重要的属性对象：name和attributes。

Name

Name就是标签tag的名字，以下简单操作便可获取。

Attributes

我们都知道一个标签下可能有很多属性，比如上面那个标签b有class属性，属性值为boldest，那么我们如何获取这个属性值呢？

其实标签的属性操作和Python中的字典操作一样的，如下：

也可以通过“点”来获取，比如：

<NavigableString>

NavigableString是可遍历字符串的意思，其实就是标签内包括的字符串，在爬虫里也是我们主要爬取的对象之一。

在BeautifulSoup中可以非常简单的获取标签内这个字符串。

就这么简单的完成了信息的提取，简单吧。要说明一点，tag中包含的字符串是不能编辑的，但是可以替换。

<BeautifulSoup>

BeautifulSoup对象表示的是一个文档的全部内容。大部分时候，可以把它当作Tag对象。

BeautifulSoup对象不是一个真正的tag，没有name和attributes，但是却可以查看它的name属性。如上所示，“[document]”为BeautifulSoup文档对象的特殊属性名字。

<Comment>

还有一些对象也是我们需要特殊注意的，就是注释。其实comment对象是一个特殊类型的NavigableString对象，请看下面。

这和NavigableString的使用是一样，同样使用 .string 对标签内字符串进行提取。但是，请看上面comment这个例子，里面字符串是一个comment，有<!--comment-->这样的格式，一样使用了 .string 对其进行提取，得到的结果是去掉了comment标志的里面的字符串。这样的话，当我们并不知道它是否是comment，如果得到以上的结果很有可能不知道它是个comment。

因此，这可能会让我们得到我们不想要的comment，扰乱我们的解析结果。

为了避免这种问题的发生，可以在使用之前首先通过以下代码进行一个简单的判断，然后再进行其它操作。

仍然用最开始的《爱丽丝》中的一段话作为例子。

子节点

子节点有 .contents 和 .children 两种用法。

contents

content属性可以将标签所有子节点以列表形式返回。

这样就可以返回一个子节点标签了。当然你也可以通过soup.title来实现，但是当文档结构复杂的时候，比如有不止一个title的话，那这样就不如contents使用来的快了。

head下只有一个标签title，那么如果我们查看一下body下的子标签。

你会发现这些子节点列表中有很多“\n”，这是因为它把空格包括进去了，所以这里需要注意一下。

children

也可以通过 .chidren 得到相同的结果，只不过返回的children是一个生成器（generator），而不是一个列表。

看到这是一个生成器，因此我们可以for..in..进行遍历，当然也可以得到以上同样的结果。

子孙节点

子孙节点使用 .descendants 属性。如果子节点可以直接获取标签的直接子节点，那么子孙节点则可以获取所有子孙节点，注意说的是所有，也就是说孙子的孙子都得给我找出来，下用面开一个例子。

title是head的子节点，而title中的字符串是title的子节点，title和title所包含的字符串都是head的子孙节点，因此被循环递归的查找出来。.descendants 的用法和 .children 是一样的，会返回一个生成器，需要for..in..进行遍历。

父节点

父节点使用 .parents 属性实现，可以得到父辈的标签。

获得全部父节点则使用 .parents 属性实现，可以循环得到所有的父辈的节点。

可以看到a节点的所有父辈标签都被遍历了，包括BeautifulSoup对象本身的[document]。

兄弟节点

兄弟节点使用 .next_sibling 和 .previous_sibling 属性。

兄弟嘛，不难理解自然就是同等地位的节点了，其中next_sibling 获取下一个兄弟节点，而previous_sibling 获取前一个兄弟节点。

兄弟节点可以通过 .next_siblings 和 .previous.sibling 获取所有前后兄弟节点，同样需要遍历获取每个元素。

回退和前进

当然还有一些其它用法，如回退和前进 .next_element 和 .previous_element,它是针对所有节点的回退和前进，不分辈分。

因为使用了回退，将会寻找下一个节点对象而不分辈分，那么这个<a>标签的下一个节点就是它的子节点Elsie，而上一个节点就是上一个标签的字符串对象。find用法会在后续搜索文档树里面详细介绍。

回退和前进也可以寻找所有的前后节点，使用 .next_elements 和 .previous_elements。

返回对象同样是生成器，需要遍历获得元素。其中使用了if判断去掉了不需要的None。

节点内容

前面提到过NavigableString对象的 .string 用法，这里在文档遍历再次体会一下其用法。

如果tag只有一个NavigableString 类型子节点,那么这个tag可以使用 .string 得到子节点，就像之前提到的一样。而如果一个tag里面仅有一个子节点（比如tag里tag的字符串节点）,那么这个tag也可以使用 .string 方法,输出结果与当前唯一子节点的 .string 结果相同（如上所示）。

但是如果这个tag里面有多个节点，那就不灵了。因为tag无法确定该调用哪个节点，如下面这种。

如果tag中包含多个字符串,可以使用 .strings 来循环获取，输出的字符串中可能包含了很多空格或空行，使用 .stripped_strings 可以去除多余空白内容。

上面提介绍的都是如何遍历各个节点，下面我们看看如何搜索我们我们真正想获取的内容，如标签属性等。

搜索文档树有很多种用法，但使用方法都基本一致。这里只选择介绍一种 .find_all。

find_all()

find_all() 方法可以搜索当前标签下的子节点，并会经过过滤条件判断是否符合标准，先随便看个例子。

通过以上例子，可以发现，我们只要设定好我们的过滤条件，便可轻松的解析我们想要的内容。这些条件如何设定呢？

就是通过find_all()的这些参数来设置的，让我们来看看。

Name参数

name参数就是标签的名字，如上面的例子寻找所有标签<a>，name参数可以是字符串、True、正则表达式、列表、甚至具体方法。

下面举个正则表达式的例子。

可以看到正则表达式的意思是匹配任何以“t”开头的标签名称，就只有title一个。

使用“True”会匹配任何值，使用“列表”会匹配列表中所有的标签项，如果没有合适的过滤条件，还可以自定义一个“方法”。

Keyword参数

就如同Python中的关键字参数一样，我们可以搜索指定的标签属性来定位标签。

找到了id属性为link2的标签<a>。

找到了href属性里含有“elsie”字样的标签<a>。

也可以同时定义多个关键字条件来过滤匹配结果。

text参数

通过text参数可以搜索匹配的字符串内容，与name的用法相似，也可以使用字符串、True、正则表达式、列表、或者具体方法。

limit参数

limit参数可以限制返回匹配结果的数量，看下面这个例子。

文档中本来有三个<a>标签，但是通过限制只得到了两个。

recursive参数

find_all()会寻找符合匹配条件的所有子孙节点，如果我们只想找直接的子节点，就可以设置recursive参数来进行限制，recursive=False。

上面是两种使用recursive和没有使用recursive的情况，可以发现它的作用。

以上就是find_all()所有参数的介绍，其它方法如find(),find_parents()等更多方法与find_all()基本一致，可以举一反三。

以上就是BeautifulSoup的使用方法介绍，主要记住三个部分内容：

• BeautifulSoup对象种类

• BeautifulSoup的遍历文档树

• BeautifulSoup的搜索文档树

更多内容请参考官网文档：#/software/BeautifulSoup/bs4/doc.zh/