用Python抓取网页并解析

时间:2022-03-28 17:12:39

软件版本


python:2.7.12

网页抓取库


网页抓取库为requests,

github地址为:https://github.com/requests/requests

文档地址为:http://docs.python-requests.org/en/master/

安装很简单,直接使用pip

pip install requests

网页解析库


网页解析库使用beautifulsoup4,其支持多种html解析器,如html5lib,lxml,需要一并安装,推荐使用lxml网页解析器

安装过程如下:

pip install beautifulsoup4
pip install lxml
pip install html5lib

使用方法:

soup = BeautifulSoup(html_content, "lxml", from_encoding="utf-8")

详细使用方法见《Beautiful Soup 4.4.0 文档》及他人博文《python:BeautifulSoup 模块使用指南