scrapy的命令行

时间:2022-04-17 06:16:52

scrapy --help 列出帮助信息以及常用命令
scrapy version 列出scrapy版本
scrapy version -v 列出详细的scrapy版本以及各组件信息

scrapy startproject projectname 创建项目

cd projectname 切换到项目目录下

scrapy genspider baidu.com www.baidu.com 创建爬虫

scrapy crawl baidu.com 运行爬虫

scrapy check 检查当前爬虫语法

scrapy list 返回当前目录下spider的名称

scrapy fetch 相当于requests.get,用于请求网页

scrape view www.baidu.com 请求网页并且保存成文件,然后用浏览器打开

scrapy shell +网址 打开shell及时交互response为请求响应,可以进行调试

scrapy parse + url 解析网页

scrape settings 获取配置信息

scrapy bench测试爬取速度