Scrapy安装在Python2.7环境下
1、配置环境变量:
2、安装基础软件 4个(64位系统)
![Scrapy安装方法 Scrapy安装方法](https://image.shishitao.com:8440/aHR0cHM6Ly9pbWFnZXMyMDE3LmNuYmxvZ3MuY29tL2Jsb2cvMTE0MjIyNy8yMDE3MDgvMTE0MjIyNy0yMDE3MDgyMDE4NTMxNjQ3NS04MDg3NDI1MjcucG5n.png?w=700&webp=1)
安装twisted:
C:\Users\Administrator>pip install -i https://pypi.doubanio.com/simple/ --trusted-host pypi.doubanio.com twisted==13.1.0
twisted版本不能太高,装最新17版的会无故报错,很无语!
3、安装scrapy
C:\Users\Administrator>pip install -i https://pypi.doubanio.com/simple/ --trusted-host pypi.doubanio.com Scrapy
验证:C:\Users\Administrator>Scrapy
![Scrapy安装方法 Scrapy安装方法](https://image.shishitao.com:8440/aHR0cHM6Ly9pbWFnZXMyMDE3LmNuYmxvZ3MuY29tL2Jsb2cvMTE0MjIyNy8yMDE3MDgvMTE0MjIyNy0yMDE3MDgyMDE4NTQ0ODYzMS00NDA5ODg5MjcucG5n.png?w=700&webp=1)
图示标识安装成功!
4、查看scrapy组件信息:
命令行:scrapy version -v
![Scrapy安装方法 Scrapy安装方法](https://image.shishitao.com:8440/aHR0cHM6Ly9pbWFnZXMyMDE3LmNuYmxvZ3MuY29tL2Jsb2cvMTE0MjIyNy8yMDE3MDgvMTE0MjIyNy0yMDE3MDgyMDE4NTUyODA2OC00MzM5NjYyNDcucG5n.png?w=700&webp=1)
基础命令:输入的格式 scrapy+命令
help:scrapy的基本命令,用于查看帮助信息。
version:查看版本信息,可见-v参数查看各组件的版本信息;
startproject name:用于新建一个工程
genspider name :新建一个爬虫
list:列出工程中都有那些spider
view: +url 查看也页面源码在浏览器中显示的样子
parse:+url 解析页面的指定函数
shell:+url 一个非常有用的命令,可用于调试数据、检测xpath、查看页面源码,等等。
runspider:运行自包含的爬虫
bench:执行一个基准测试;可用来检测scrapy是否安装成功;
另外一种快捷安装方法:
安装anaconda数据挖掘平台
进入anaconda 下载需要的对应Python版本和操作系统的anaconda
安装好后,进入它的shell环境
![Scrapy安装方法 Scrapy安装方法](https://image.shishitao.com:8440/aHR0cHM6Ly9pbWFnZXMyMDE3LmNuYmxvZ3MuY29tL2Jsb2cvMTE0MjIyNy8yMDE3MDgvMTE0MjIyNy0yMDE3MDgyMDE4NTcwODUyMS0xMzQzMjQyNjc1LnBuZw%3D%3D.png?w=700&webp=1)
输入命令:conda install -c sprapinghub scrapy
进入对应的Python版本环境中,
import scrapy,可看到scrapy安装成功!