基于python的scrapy环境搭建

时间:2023-03-09 19:45:54
基于python的scrapy环境搭建

0.1安装python软件

32位机的电脑安装python-3.6.3.exe

64位机的电脑安装python-3.6.3-amd64.exe

0.1.1 python环境搭建

执行安装程序

基于python的scrapy环境搭建

选择Add Python 3.6 to PATH,然后点击Customize installation

基于python的scrapy环境搭建

确保所有的选项都被选中,然后点击Next

基于python的scrapy环境搭建

选择Install for all users,然后定制自己的安装路径。点击Install按钮

安装完成后,启动cmd命令行(需要在管理员界面进入)。

基于python的scrapy环境搭建

输入python命令,如果出现>>>提示符,就表示python程序已经安装正确并程序进入python命令行。

基于python的scrapy环境搭建

编写helloworld程序。

print('hello')

基于python的scrapy环境搭建

如果想要退出python命令,回到DOS命令行,可以在python命令行中按Ctrl+Z回车。

基于python的scrapy环境搭建

0.1.2安装python插件

假设我们需要安装一个插件ipython,在cmd命令行下(需要管理员权限),输入

前者从国外的网站装,后者从国内网站装,

pip install ipython

pip install ipython -i http://pypi.douban.com/simple --trusted-host pypi.douban.com

pip install numpy -i http://pypi.douban.com/simple --trusted-host pypi.douban.com

如果能够成功安装,启动ipython,在命令运行

ipython

尝试打印hello字样

ipython中通过exit命令退出。

基于python的scrapy环境搭建

pip本身可以更新,使用如下命令:

python -m pip install --upgrade pip

基于python的scrapy环境搭建

0.1.3安装ipython

IPython可以理解为网页版的python,安装步骤如下:

pip install ipython

基于python的scrapy环境搭建

此时,输入ipython,即可进入ipython的命令行

基于python的scrapy环境搭建

要使用网页版本,则需要安装jupyter

pip install jupyter

基于python的scrapy环境搭建

然后输入

jupyter notebook

即可打开python的网页版本。

Jupyter的主窗口显示的路径一般是你启动notebook时位于的路径下(通常在你的用户目录下)。主界面如下所示:

基于python的scrapy环境搭建

若要创建一个新的notebook,只需鼠标左击New,在下拉选项中选择一个你想启动的notebook类型即可。

基于python的scrapy环境搭建

比如选择python3

然后在新的页面进行程序的编辑

基于python的scrapy环境搭建

注意该文件的后缀名为ipynb

另外,也可以把其他人写好的ipynb文件拷贝到当前工作区下。刷新打开即可。

0.1.4安装selenium插件

前者从国外的网站装,后者从国内网站装,

pip install selenium

pip install selenium -i http://pypi.douban.com/simple --trusted-host pypi.douban.com

0.1.5安装lxml库

如果需要在python程序中应用xpath规则。使用lxml库(LXML)

pip install lxml

pip install lxml -i http://pypi.douban.com/simple --trusted-host pypi.douban.com

0.1.6安装scrapy框架

0.1.6.1安装pip3

地址:

https://blog.****.net/zytbft/article/details/72566197

python3.6 安装pip3 官网下载,

https://pypi.python.org/pypi/pip#downloads

(也就是安装包中:pip-18.1.tar.gz 文件,)

基于python的scrapy环境搭建

然后解压到一个文件夹,用CMD控制台进入解压目录,依此输入:

1、python setup.py install

2、setup.py install

然后,添加环境变量,我们在PATH最后添加:

D:\Python36\Scripts

安装scrapy 最保守的方法

参考网址    https://www.cnblogs.com/dalyday/p/9277212.html

0.1.6.2安装 pywin32(文件夹中有)

下载并安装 pywin32:

进入https://sourceforge.net/projects/pywin32/files/,在目录点击pywin32,选择Build 221,找到自己对应版本的pywin32点击连接即可自己下载,

安装:点击运行,按默认步骤点击下一步即可

pywin32的作用:因为Python没有自带访问windows系统API的库的,需要下载第三方库。库的名称叫pywin32,可以从网上直接下载

参考网址     https://sourceforge.net/projects/pywin32/files%2Fpywin32/

(下载适合你的Python版本。

比如build220里面的pywin32-221.win-amd64-py3.6.exe,并安装)

0.1.6.3安装 wheel

输入以下命令即可

pip3 install wheel

0.1.6.4下载twisted文件

进入https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

点击对应版本下载,cmd进入下载目录,cmd执行一下命令

64位机

pip install Twisted-18.9.0-cp36-cp36m-win_amd64.whl

32位机

pip install Twisted-18.9.0-cp36-cp36m-win32.whl

即可安装

0.1.6.5安装scrapy
0.1.6.6确认是否安装成功

1 在cmd中进入 python

2 >>>import twisted

3 >>>import scrapy

基于python的scrapy环境搭建

没有异常则说明安装成功

三个步骤下来可以正常引入,即表明正常安装, 0.1.7运行python程序的方式

目前运行python程序有3种方式:

方式一:交互式编程

在DOS命令行中输入python命令后,将进入python命令行(前面有3个大于号提示符的)

基于python的scrapy环境搭建

在python命令行下,即可输入python命令。如:

基于python的scrapy环境搭建

交互式编程一般只适用于测试简单的程序。比如通过pip install安装了某个包后,通过交互式命令行import 该包,看是否能正常导入之类的。交互式终端不适宜进行大量复杂的逻辑运算。

方式二:脚本式编程。

创建一个后缀名为py的脚本文件,在该文件中编写python脚本。比如创建hello.py,内容如下:

print("hello")

然后,通过python解释器执行。命令如下:

python hello.py

即可。

方式三:在脚本中声明解释器(一般在Linux操作系统下使用)

hello.py

#!/usr/bin/python

print("hello")

然后,修改该脚本的权限为可执行。

$ chmod +x hello.py

再执行该脚本

$ ./test.py

0.1. 8 PyCharm

PyCharm官网为: https://www.jetbrains.com/zh/pycharm/specials/pycharm/pycharm.html

点击“立即下载”可以下载最新版pycharm。

基于python的scrapy环境搭建

下载后点击安装。并选择安装目录

基于python的scrapy环境搭建

选择64位系统(需要与python解释器对应),选择py后缀名。

基于python的scrapy环境搭建

安装完成后启动pycharm。首次启动需要把滑动条滑动到底部并同意协议

基于python的scrapy环境搭建

接下来需要输入激活码。在License Server中输入下面的其中一项。

http://idea.imsxm.com/

或打开该网址,找到注册码。

注意:最近lanyu的激活码好像被封杀了。可以修改hosts文件(Windows的在C:\Windows\System32\drivers\etc\hosts),添加下面一行到hosts文件,目的是屏蔽掉Pycharm对激活码的验证

0.0.0.0 account.jetbrains.com

目前这个激活码有效期到2018年10月14日,之后再继续更新

选择白底黑词或黑底白字(看个人习惯)

基于python的scrapy环境搭建

如果需要的话,可以选择下注需要的特征插件(featured plugins)。

基于python的scrapy环境搭建

点击右下角Start using PyCharm

启动PyCharm后,选择Create New Project

基于python的scrapy环境搭建

选择Pure Python,和指定的安装目录

基于python的scrapy环境搭建

编写helloworld程序,首次运行时需要配置python解释器。点击编辑框右上角的提示,或通过File——Setting打开。

基于python的scrapy环境搭建

在Project interpreter对应的下拉列表中选择对应的解释器版本。

基于python的scrapy环境搭建

如果没有可以通过右上角的齿轮图案下拉选择Add Local。

基于python的scrapy环境搭建

并选择python解释器安装的路径。

基于python的scrapy环境搭建

配置成功后,即可运行程序了(首次运行可能会稍微的耗点时间)