tasks:在python中并行化网络相关任务

时间:2021-07-07 01:48:40
【文件属性】:
文件名称:tasks:在python中并行化网络相关任务
文件大小:6KB
文件格式:ZIP
更新时间:2021-07-07 01:48:40
Python 任务 tasks.py是一个简单快速的任务队列,用于并行执行多个任务。 您需要做的就是将任务指定为一个简单的函数,该函数接受一个参数,您将获得即时并行性。 基于eventlet、多处理和redis。 它非常适合从单个节点并行执行多个网络绑定任务,而无需经历设置 map reduce 集群的痛苦。 它同时使用进程和绿色线程来从单个节点设置中提取最大值。 安装 安装 redis 并启动服务器, tasks使用 redis 来排队作业。 如果您已经设置了 redis 服务器,请调用tasks.set_redis并传递一个 redis 连接对象,该对象的数据库/命名空间与您通常在应用程序中使用的数据库/命名空间不同。 安装 redis-py 和 eventlet 库。 pip install redis eventlet 安装任务或将此包复制到您的源代码中。 pip install t
【文件预览】:
tasks-master
----MANIFEST.in(43B)
----test.py(212B)
----requirements.txt(14B)
----tasks()
--------__init__.pyc(4KB)
--------__init__.py(3KB)
----setup.py(464B)
----README.md(2KB)

网友评论