【爬虫入门01】我第一只由Reuests和BeautifulSoup4供养的Spider
广东职业技术学院 欧浩源
1、引言
网络爬虫可以完成传统搜索引擎不能做的事情，利用爬虫程序在网络上取得数据，经过数据清洗和分析，使非结构化的数据转换成结构化的数据，其结果可以存储到数据库，也可以进行数据的可视化，还能根据分析数据的基础获得想要的结果。除了利用urllib.request和正则表达式或者利用Scrapy框架实现网络爬虫之外，利用Requests和BeautifulSoup4技术也可能很方便的实现网络爬虫。前者很多技术书籍和网络博文都有细述，后者目前的资料并不太多。
本文将以一个具体例子，详细介绍利用Requests和BeautifulSoup4技术开发网络爬虫的技术要点和实现步骤。
2、爬虫的功能需求
爬虫的目标：
将“内涵吧”里面的内涵段子从第1页开始，逐页将段子爬出来，并将其文本存储到E盘的duanzi.txt文件下。
爬虫的功能：
1、爬虫启动后，显示版本信息。
2、每按一下回车键，爬去一页段子并保存。
3、输入“exit”退出网络爬虫。
网址：http://www.neihan8.com/article/
3、爬虫程序的设计思路
首先使用Requests模块的get方法连接网页并获取网络资源，在这里需要爬取网页的URL。通过分析，发现“内涵吧”的网页URL中，处理第1页之外，其他每页都有规律可循。
即：res = requests.get(myurl)
接着利用BeautifulSoup模块使用lxml解析器将网络资源取出 放到变量中。
即：soup = BeautifulSoup(res,'lxml')
然后通过BeautifulSoup模块中的方法，过滤网络信息并将目标内容取出。
最后将目标内容存储到指定的文件中。
4、网络爬虫的基本功能
首先，用最简单的方法，实现将目标URL的内容爬取出来，如果这个步骤不能实现，后续的所有工作都是没有意义的。
上面代码虽然只有区区几行，实际上，已经实现一个网络爬虫了。
从获得的网络信息来看，很多地方出现乱码。这个问题是编码的问题。在获取的内容中，可以看到这样的信息：chaRset=utf-8。
在读取网络信息之前，将其编码格式指定为utf-8即可。
指定正确的编码方式后，获取的结果中没有乱码出现了。
到这里，是不是就完美结束了呢？
理论上可以，实际上还不行。现在很多网站对于非正常请求是拒绝访问的。所以，必须给爬虫穿上一个合法的外衣。最理想的做法是，将爬虫的访问模拟成浏览器的请求。
至此，一个完美的网络爬虫基本结构就出来了。
5、将目标内容过滤出来
通过对爬取到的网页信息分析，在漫漫的信息海洋中，发现目标段子内容在div标签中，并且class属性为desc。
因此，可以通过BeautifulSoup模块的faind_all()方法将其内容取出，其返回一个内容列表。
item_list = soup.find_all("div", {"class":"desc"})
在返回的内容列表中，还有一部分标签的信息，这是我们不需要的，可以只读取文本内容，把这些无关的信息过滤掉：
print(item.text)
6、网络爬虫的基本框架
对网络爬虫的几个主要功能测试成功后，就可以开始构思的爬虫的基本框架了。
首先定义一个网络爬虫类Spider，在该类中实现一个装载网页内容的方法load_and_deal_page(self,page)，将指定页的内容读出装载到指定的变量中,并通过BeautifulSoup模块将所需内容过滤出来。
再写一个将目标内容写入文件的方法write_to_file(self,text)，将指定内容以追加的方式写入到固定的文件中。
接着实现一个控制程序流程的方法begin_to_work(self)，实现按下回车键爬取下一页和输入“exit”退出网络爬虫的功能。
然后在类的__init__(self)方法中，实现基本信息的打印和相关变量的定义。
最后在main函数中，实现一个网络爬虫的对象实例，并启动。
7、网页装载及处理的方法
在网页装载的时候，需要获得该页面的URL地址。通过观察，除了“内涵吧”的首页地址之外，其他页面的URL均有规律可循。
因此，可以使用if语句对其做适当的处理。
该方法是本网络爬虫的核心代码，其实现可以如下：
8、将内容写入文件的方法
首先使用open方法以追加方式打开文件，接着用write方法就指定内容写入，最后用close方法关闭文件即可。
9、初始化与流程控制的方法
在初始化函数中，除了打印基本信息之外，还要定义两个变量，enable用于控制爬虫是否启动，page用于控制爬取的页面。
在流程控制的方法中，通过判断外部输入的信息，以实现网络爬虫的控制，如果收到回车键则爬取下一页网页信息，如果收到"exit"则退出网络爬虫。
10、main函数的实现
当所有的功能模块实现时候，main方法是最简单的事情了。在这里，实现一个Spider的对象实例，并启动网络爬虫。
11、网络爬虫的运行结果
网络爬虫启动后，在控制端口可以看到运行的信息并可以控制程序的继续和退出。
打开指定写入的文件，可以看到从“内涵吧”爬去出来的段子内容。
12、小结
网络爬虫可以帮你收集和处理大量数据，让你可以一次查看几千甚至几万个网页，并通过数据分析获得目标结果。Python语言拥有强大的第三方库，从Requests和BeautifulSoup入手学习网络爬虫是一个非常不错的选择。