【文件属性】:
文件名称:webspider:在线地址
文件大小:1.11MB
文件格式:ZIP
更新时间:2021-05-02 15:33:46
python spider requests tornado celery
--
--
Version
1.0.1
WebSite
Source
Keywords
Python3, Tornado, Celery, Requests
项目简介
本项目使用的编程语言是python3,数据库用的是MySQL, 主要用到的库是celery和requests,并实现了定时任务,出错重试,日志记录,自动更改Cookies等的功能,使用ECharts + Bootstrap 来构建前端页面。
展示页面
Quick Start
以下操作均是在 Linux - Ubuntu 环境下执行
克隆项目
git clone git@github.com:GuozhuHe/webspider.git
安装 MySQL, Redis, Python3
# 安装 redis
apt-get install redis-server
# 后台启动 redis-server
nohup redis