【文件属性】:
文件名称:yunSpider:百度云网盘爬虫
文件大小:10KB
文件格式:ZIP
更新时间:2021-04-13 13:07:43
Go
百度云爬虫
安装使用
clone项目到gopath目录
安装依赖
go get github.com/go-sql-driver/mysql
go get github.com/siddontang/go/log
go get github.com/garyburd/redigo/redis
go get github.com/Unknwon/goconfig
修改config.ini配置文件中你自己MySQL和Redis配置(可以不配Redis),Redis不配或者错误会默认将已经爬取的uk保存到hasIndexKeys.txt文件中,这样做防止重复爬同一位用户多次
创建database名为baidu,然后执行baidu.sql
go run spider.go (当然也可以编译后运行,此时config.ini记得也复制到编译后的文件目录下,然后运行)
直接下载编译好的使用
适合自己系统
【文件预览】:
yunSpider-user_conf
----spider.go(16KB)
----config.ini(494B)
----.travis.yml(232B)
----README.md(3KB)
----baidu.sql(2KB)
----.gitignore(79B)