python爬虫零基础入门

思路讲解+代码解释
注释以后的代码。
代码不足之处
相关链接

关于爬虫相关理论认识
下载安装BeautifulSoup，请移步

思路讲解+代码解释

尽管现在是2014年了，但是百度or google出来的大部分爬虫小程序都是基于py2.7的，我于是便想直接出一个py3.4最新版本的教程。在学习之前大致看一下第一篇了解一下的一些概念性的东西以及bs4第三方库的使用。请参考文末。

我们的第一个小程序的相关要求：

目标：抓取一个网站的两千张搞笑图片。（本文先下载一张，多张的处理在这个过程中会出现一些麻烦，所以以后再说）

需要的工具：chrome浏览器，python3,第三方库BS4。Notepad++。至于安装方法，请自己百度。

当然，实现一个非常牛逼的爬虫的理想是远大的，但是我们在跑之前，先要自己好好的修炼一下基本功——先从获取一张图片开始。

我们发现这个网站比较符合我的要求。

http://www.76xh.com/tupian/1174.html

我们打开一个网页，按下f12，研究一番以后，发现如下规律。

1. 每一个网页有一张图片。其图片质量不算高。

2. 由于是一个网址对应一个图片地址，

而且网址链接有这样子的规律。

http://www.76xh.com/tupian/1174.html

。。。

http://www.76xh.com/tupian/3111.html

也就是我们可以从上面的链接中下载相关的html文件，进而我们从html这个文件中提取出相关图片的链接。接着把相关的图片内部数据下载到内存中，接着写成相关文件放在硬盘中。

由此看来，我们的获取一张图片的步骤分成这样的几步。

S1.发起含有图片链接的html。（urllib.request）

S2.解析出图片地址（通过bs4这个强大的html解析工具）

S3.发起图片数据的请求（urllib.request）

S4.把图片保存下来。（os）

我们从这个链接开始讲起。打开IDLE，调整成shell模式，逐行输入

from bs4 import BeautifulSoup
import os,urllib.request
pageUrl = 'http://www.76xh.com/tupian/1111.html'
htmlDoc =urllib.request.urlopen(pageUrl).read()
#这条命令将链接的请求内容返回到htmlDoc

我们可以用print(htmlDoc)不过强力不推荐这种方法输出，太慢了.强烈建议另一种BeautifulSoup的prettify方法

打印出来的东西依稀可以看出这东西的确是html文件的具体内容。

当然，我们要这一堆垃圾是没有用的，我们要从中解析出所需的图片。用chrome浏览器打开相关网页，然后看到图片右击点击审查元素。我们在这里可以看出我们的具体链接位置。

这里采用的是相对地址，

<img src="/d/file/middle/c/483368.jpg"data-bd-imgshare-binded="1">

身在远程的我们只能通过绝对地址来访问。

http://www.76xh.com/d/file/middle/c/483368.jpg

而这个相对链接

/d/file/middle/c/483368.jpg则是藏在深深地html角落里，怎么获取？我勒个去，我总不能使用查找字符串的方式来查找这东西吧。正则表达式完全不懂啊有木有！

好吧，我们既然暂时没有办法使用正则表达式。那么我们猜想一下，会不会有这么一个第三方库之类的东西是专门用来操作这个html文件，进而提取其中的数据呢的呢？

有的，BeautifulSoup4.安装以及介绍方法请移步。

输入

Soup = BeautifulSoup(htmlDoc)

将htmlDoc的所有内容转换成BeautifulSoup对象，

我们这个时候可以输入

Print(soup.prettify())

查看格式化的html文件。

输入

soup.find_all("div",class_="pic_text")

我们便可以将我们需要的图片链接大致范围确定下来了。

Find_all返回一个list。

接着我们使用下面两行代码

divHtml =soup.find_all("div",class_="pic_text")
imgUrl = 'http://www.76xh.com' +divHtml[0].img.attrs['src']

输入以上代码便可以提取出我们需要的图片链接。可以print看一下内容

这时候我们发现了一件事情。就是html文档的标题可以用来做文件名。

于是请求，保存下来。

data =urllib.request.urlopen(imgUrl).read()
fileName = soup.title.contents[0] + '.jpg'
filePath = os.path.join('C:/img',fileName)
image = open(filePath,'wb')
image.write(data)
image.close()

所有有效代码如下。

注释以后的代码。

【自写小脚本-抓取【www.76xh.com】V0.1.py】

        pageUrl = 'http://www.76xh.com/tupian/1111.html'
        htmlDoc = urllib.request.urlopen(pageUrl).read() #发起请求并将内容存入htmlDoc
        soup = BeautifulSoup(htmlDoc)
        #print (soup.prettify())
        divHtml = soup.find_all("div",class_="pic_text")
        imgUrl = 'http://www.76xh.com' + divHtml[0].img.attrs['src']
        data = urllib.request.urlopen(imgUrl).read() <span style="font-family: Arial, Helvetica, sans-serif;">#发起请求并将内容存入htmlDoc</span>
        fileName = soup.title.contents[0] + '.jpg'
        filePath = os.path.join('C:/img',fileName)
        image = open(filePath,'wb')
        image.write(data)
        image.close()

代码不足之处

程序不足之处，虽然短小精悍，但是明显不够健壮，

1.如果不存在C:/img文件夹会报错

2.如果解析html错误会报错

3.只能下载一张。

4.居然把面向对象的语言写成了面向过程。。。
嘿嘿，没事，咱们慢慢来

相关链接

关于爬虫相关理论认识 http://blog.csdn.net/column/details/why-bug.html (看其中的前三篇就可以了)
下载安装BeautifulSoup，请移步 http://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.html

吐槽：csdn的这排版功能有点影响心情呀

秒客网

python爬虫零基础入门

相关文章