异步:使用asyncio和aiohttp开发的轻量级初始化协程web爬虫框架

时间:2021-02-28 00:37:44
【文件属性】:
文件名称:异步:使用asyncio和aiohttp开发的轻量级初始化协程web爬虫框架
文件大小:20KB
文件格式:ZIP
更新时间:2021-02-28 00:37:44
Python 异步的 使用asyncio和aiohttp的串联Web搜寻器框架 Asyncpy是我基于asyncio和aiohttp开发的一个轻便高效的爬虫框架,采用了scrapy的设计模式,参考了github上一些开源框架的处理逻辑。 使用文档: : 应用案例: : github的: : pypi: ://pypi.org/project/asyncpy/ asyncpy的架构及流程 安装需要的环境 python版本需要> = 3.6依赖包:['lxml','parsel','docopt','aiohttp'] 安装命令: pip install asyncpy 如果安装报错: ERROR: Could not find a version that satisfies the requirement asyncpy (from versions: none) ERROR:
【文件预览】:
asyncpy-master
----asyncpy()
--------asyncpy()
--------LICENSE.txt(1KB)
--------setup.py(911B)
----README.md(7KB)

网友评论