爬虫-windows下安装Scrapy及scrapy模块介绍

时间:2023-03-09 04:22:02
爬虫-windows下安装Scrapy及scrapy模块介绍

一:安装wheel

   wheel介绍

二:安装twisted

  twisted是由python编写的一款基于事件驱动的网络引擎,使用twisted模块将python的异步请求(异步模型介绍)成为可能且简单易用。Twisted介绍

三:创建scrapy文件

  使用命令窗口进入目标目录后 使用命令

 scrapy startproject  project_name

工程目录结构如图

  爬虫-windows下安装Scrapy及scrapy模块介绍

  

四:启动爬虫程序

  

scrapy crawl first --nolog #启动时,不输出日志文件
scrapy crawl first #带有日志的输出