使用Beautiful Soup编写一个爬虫 系列随笔汇总

时间:2023-03-08 17:32:05
使用Beautiful Soup编写一个爬虫 系列随笔汇总

这几篇博文只是为了记录学习Beautiful Soup的过程,不仅方便自己以后查看,也许能帮到同样在学习这个技术的朋友。通过学习Beautiful Soup基础知识 完成了一个简单的爬虫服务:从allitebooks.com抓取书籍的书名和每本书对应的ISBN码,然后通过ISBN码去amazon.com抓取对应的价格。

第一部分 Beautiful Soup的基础知识

Beautiful Soup的安装和查找、浏览的方法。

第二部分 爬虫服务的实现过程

讲解了如何创建Beautiful Soup的项目,如何分析一个网站的HTML结构并编写查找代码。

我们处于大数据时代,对数据处理感兴趣的朋友欢迎查看另一个系列随笔: 利用Python进行数据分析 基础系列随笔汇总
接下来打算学习Scrapy库,Scrapy是一个采集工具,它可以帮你大幅降低网页查找和识别工作,轻松采集一个或多个域名的信息。有兴趣的朋友欢迎关注本博客,也欢迎大家留言进行讨论。