Python-爬虫轻型框架

【文件属性】：
文件名称：Python-爬虫轻型框架
文件大小：16KB
文件格式：ZIP
更新时间：2022-08-31 23:07:39
Python开发-Web爬虫 该框架为轻型爬虫框架, 主要的工作原理就是定义两个队列,分别为任务队列与保存队列. 将请求任务放到工作队列中, 将获取的结果放入到保存队列中. 然后分别定义相应的处理函数, 来对队列中的数据进行处理.

【文件预览】：
AiSpider-master
----requirements.txt(57B)
----framework_test()
--------config.py(903B)
--------test.py(3KB)
----README.md(9KB)
----修改记录.md(1KB)
----.gitignore(6B)
----spider()
--------threads.py(4KB)
--------config_example.py(1KB)
--------html_parser.py(2KB)
--------UAS.py(375B)
--------data_save.py(869B)
--------__init__.py(79B)
--------log_format.py(2KB)
--------tools.py(2KB)
--------page_downloader.py(6KB)