Python爬虫框架--Scrapy安装

时间:2024-03-17 20:28:49

Linux平台:

步骤:(编译安装)

 1.新建一个文件夹:比如mkdir python3

2. cd bin/

3. 选择python的环境

4.cd ..

5. vim .bashrc (这个文件里写你的python3和pip3的别名alias)

6.pip3 install scrapy

7.(需要root身份)如果出现说需要TLS/SSL。就安装SSL模块:yum install -y openssl-devel。然后执行pip3 install scrapy.

8. 还是会报错第7步,因为python是编译进行安装的,需要我们去兼容SSL模块,重新编译一下python即可。进入你的python安装模块,找到你的python安装目录。然后pwd拷贝路径。在安装包下面输入 ./configure --prefix='你刚刚拷贝的路径' --with-ssl

9.输入 make,如果缺少gcc环境,自己安装即可。

10.输入make install.

11.然后重新安装下scrapy:pip3 install scrapy

12.如果遇到Twisted等类似错误。,搜索pypi网站,输入要找的模块,然后下载该模块并导入到环境中去。输入rz命令导入,然后”mv 文件名 目标文件夹“移动到你想要移动的地方。然后解压 tar -xvjf进行解压缩。然后然后进入到里面会有xxxsetup.py等字样,python3 xxxsetup.py install 即可。

13.然后继续安装pip3 install scrapy。

(缺什么找什么,到pypi网站)

14.进入vim .bashrc,编辑alias scrapy = 'scrapy的安装路径'

15.输入source .bashrc进行编译。

16.输入scrapy看到一大堆文字就表示安装成功。

 


Windows下安装Scrapy:

步骤如下:

1.打开cmd窗口,进入Script目录:cd Python37\Scripts
2.安装libxlm2dom包,输入pip install libxlm2dom
3.安装wheel,输入pip install wheel

4.安装 lxml,输入pip install lxml
5.安装PyOpenssl 包,输入pip install PyOpenssl
6.安装inzope.interfnce,输入pip install inzope.interfnce
7.安装twisted,输入pip install twisted,出现了Microsoft Visual C++ 14.0 is required的错误,网上搜索得知,需要自己去下载twisted(whl文件)并安装
8.先明确要下载的whl文件版本:在cmd输入 python,有显示python版本,可以根据此版本得知对应的whl文件版本(pyhton3.7对应为cp37,操作系统64对应amd64);或者接着输入impor pip._internal回车,再输入print(pip._internal.pep425tags.get_supported()),显示出你支持的版本,根据这个版本下载相应的whl文件。
Python爬虫框架--Scrapy安装

 

9.接着我点击链接地址https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted进入下载页面,结果发现最新版本python37压根下载不了,图示如下:Python爬虫框架--Scrapy安装

Python爬虫框架--Scrapy安装

再之后进入Twisted官网 https://pypi.org/project/Twisted/ ,发现只有cp27版本可供下载,与我所需版本不符。

Python爬虫框架--Scrapy安装

再搜索一番后查询到 http://fstab.net/pypi/simple/twisted/ 可以找到twisted历史版本

Python爬虫框架--Scrapy安装

下载上述文件到 Python 项目文件(我放置在D:\Python37\Scripts)中,输入pip install Twisted-18.7.0-cp37-cp37m-win_amd64.whl,正常安装.

继续安装 pywin32,输入pip install pywin32.

安装 scrapy,输入pip install scrapy.

验证scrapy是否安装成功:

Python爬虫框架--Scrapy安装