爬虫Scrapy指令学习

时间:2023-03-09 03:23:32
爬虫Scrapy指令学习

1、新建一个新的爬虫项目指令 scrapy startproject xxx

2、在项目/spider目录下创建一个名为XXX的爬虫,并指定爬取域的范围  scrapy genspider XXX "www.XXX.com"

3、执行运行命令 scrapy crawl itcast

4、保存execl数据 scrapy crawl XXX -o XXX.csv

5、保存json数据 scrapy crawl XXX -o XXX.json