scrapy爬虫学习系列一:scrapy爬虫环境的准备

时间:2023-12-19 08:19:20

系列文章列表:

scrapy爬虫学习系列一:scrapy爬虫环境的准备:       http://www.cnblogs.com/zhaojiedi1992/p/zhaojiedi_python_007_scrapy01.html

scrapy爬虫学习系列二:scrapy简单爬虫样例学习:  http://www.cnblogs.com/zhaojiedi1992/p/zhaojiedi_python_007_scrapy02.html

scrapy爬虫学习系列三:scrapy部署到scrapyhub上:   http://www.cnblogs.com/zhaojiedi1992/p/zhaojiedi_python_004_scrapyhub.html

scrapy爬虫学习系列四:portia的学习入门:      http://www.cnblogs.com/zhaojiedi1992/p/zhaojiedi_python_010_scrapy04.html

scrapy爬虫学习系列五:图片的抓取和下载:                 http://www.cnblogs.com/zhaojiedi1992/p/zhaojiedi_python_011_scrapy05.html

scrapy爬虫学习系列六:官方文档的学习:                     https://github.com/zhaojiedi1992/My_Study_Scrapy

1.scrapy简介

Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。

官方简介地址:https://docs.scrapy.org/en/latest/topics/architecture.html

中文的简介地址:http://scrapy-chs.readthedocs.io/zh_CN/0.24/topics/architecture.html    这个版本才旧了,不建议看了(英文的是1.4的, 这个是0.24)

1.1 scrapy基础架构

scrapy爬虫学习系列一:scrapy爬虫环境的准备

1.2 各个组件简介

Scrapy Engine

引擎负责控制数据流在系统中所有组件中流动,并在相应动作发生时触发事件。 详细内容查看下面的数据流(Data Flow)部分。

调度器(Scheduler)

调度器从引擎接受request并将他们入队,以便之后引擎请求他们时提供给引擎。

下载器(Downloader)

下载器负责获取页面数据并提供给引擎,而后提供给spider。

Spiders

Spider是Scrapy用户编写用于分析response并提取item(即获取到的item)或额外跟进的URL的类。 每个spider负责处理一个特定(或一些)网站。 更多内容请看 Spiders

Item Pipeline

Item Pipeline负责处理被spider提取出来的item。典型的处理有清理、 验证及持久化(例如存取到数据库中)。 更多内容查看 Item Pipeline

下载器中间件(Downloader middlewares)

下载器中间件是在引擎及下载器之间的特定钩子(specific hook),处理Downloader传递给引擎的response。 其提供了一个简便的机制,通过插入自定义代码来扩展Scrapy功能。更多内容请看 下载器中间件(Downloader Middleware)

1.3数据流(Data flow)

Scrapy中的数据流由执行引擎控制,其过程如下:

  1. 引擎打开一个网站(open a domain),找到处理该网站的Spider并向该spider请求第一个要爬取的URL(s)。
  2. 引擎从Spider中获取到第一个要爬取的URL并在调度器(Scheduler)以Request调度。
  3. 引擎向调度器请求下一个要爬取的URL。
  4. 调度器返回下一个要爬取的URL给引擎,引擎将URL通过下载中间件(请求(request)方向)转发给下载器(Downloader)。
  5. 一旦页面下载完毕,下载器生成一个该页面的Response,并将其通过下载中间件(返回(response)方向)发送给引擎。
  6. 引擎从下载器中接收到Response并通过Spider中间件(输入方向)发送给Spider处理。
  7. Spider处理Response并返回爬取到的Item及(跟进的)新的Request给引擎。
  8. 引擎将(Spider返回的)爬取到的Item给Item Pipeline,将(Spider返回的)Request给调度器。
  9. (从第二步)重复直到调度器中没有更多地request,引擎关闭该网站。

2.环境准备(主要是在window下)

安装指南:https://docs.scrapy.org/en/latest/intro/install.html

中文的安装指南:http://scrapy-chs.readthedocs.io/zh_CN/0.24/intro/install.html

2.1 安装python版本

  可以从https://www.anaconda.com/download/下载一个python,省了后期各种麻烦。

2.2 安装scrapy

使用conda安装

conda install -c conda-forge scrapy

或者使用pip安装

pip install Scrapy

如果网络不好, 可以参考下这个地址: https://www.cnblogs.com/microman/p/6107879.html

2.3 下载为win32

从http://sourceforge.net/projects/pywin32/ 选择和python版本和操作系统对应的版本下载安装。

官方描述了为何需要win32 :You need to install pywin32 because of this Twisted bug.

详细信息可以看看官方网页:https://docs.scrapy.org/en/latest/faq.html#scrapy-crashes-with-importerror-no-module-named-win32api

2.4提示c++ build(可选)

请安装cmd终端的提示,去指定的网址提示去下载build exe安装程序,安装后重新启动下,我们使用的python是cpython,所以依赖c的环境,如果你的电脑安装有vs2015,vs2017
这些c的环境都是有的。这里就可以不用安装了。

如果提示有这个信息。  error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools

你可以参考下这个地址: https://*.com/questions/29846087/microsoft-visual-c-14-0-is-required-unable-to-find-vcvarsall-bat

如果twisted无法安装,建议去这个地方https://pypi.python.org/pypi/Twisted/下载,自行安装。然后去安装scrapy。

2.5 配置环境变量

将你的python.exe 所在的目录和子目录Scripts目录都添加到PATH环境变量中去。

比如C:\Python2.7\;C:\Python2.7\Scripts\;

2.6 测试python 和scrapy

C:\Users\Administrator>python
Python 3.6. |Anaconda custom (-bit)| (default, May , ::) [MSC v. bit (AMD64)] on win32
Type "help", "copyright", "credits" or "license" for more information.
>>> import scrapy
>>>

2.7 ipython  或者bpython的安装

ipython和bpython都是python的解析器,在cmd终端下提供

ipython的安装相对简单,使用如下命令即可安装

C:\Users\Administrator>conda install ipython
或者
C:\Users\Administrator>pip install ipython

如果你是在linux下编译安装ipython可以参考下我的另一篇博客:http://www.cnblogs.com/zhaojiedi1992/p/zhaojiedi_python_001.html

bpython的安装有点问题:

可以参看我的另一篇博客:http://www.cnblogs.com/zhaojiedi1992/p/zhaojiedi_python_006_bpython.html

环境准备好了。 那我们就可以开始scrapy的入门学习了。

2.8开发环境

我这里使用pycharm 软件去开发python, 当然小伙伴们也是可以使用其他的开发环境, 我这里推荐下打开也可以试试vs code 去搭建python开发环境。