图
scrapy+webkit：
如结构图③。
scrapy不能实现对javascript的处理，所以须要webkit解决问题。开源的解决方式能够选择scrapinghub的scrapyjs或者功能更强大的splash.
关于scrapy+webkit的使用后期进行分析。
scrapy+django:
如结构图④。
django实现的配置界面主要是对抓取系统的管理和配置，包含：网站feed、页面模块抽取、报表系统的反馈等等。
请直接參考：
[1]高速构建实时抓取集群
[2]淘宝摘星
文章链接：http://blog.csdn.net/u012150179/article/details/38227079
版权声明：本文博客原创文章，博客，未经同意，不得转载。