python多进程提高cpu利用率

cpu参数：

1个物理cpu，2个逻辑cpu(超线程)，单核具体 http://blog.****.net/dba_waterbin/article/details/8644626 物理CPU、逻辑CPU和CPU核数

打包文件，单进程

# coding=utf-8

from multiprocessing import Process

import sys, os

import time

def timetask(times):

    cmd="tar zcfPh /data/nerri_%s.tar.gz   /data/backup" % times

    os.system(cmd)

def works_multi_process(func, worknum):

    proc_record = []

    for i in range(worknum):

        p = Process(target = func, args = (i,))

        p.start()

        proc_record.append(p)

    for p in proc_record:

        p.join()

def works_single_process(func, worknum):

    proc_record = []

    for i in range(worknum):

        p = Process(target = func, args = (i,))

        p.start()

        p.join()

if __name__ == '__main__':

    print time.strftime('============start:%H%M%S==========')

    procs = 2

    works_multi_process(timetask,  procs)

    print time.strftime('============end:%H%M%S========')

运性结果：

单进程：

============start:154554==========
============end:154903===========

多进程：

============start:155513==========

============end:155627========

查看磁盘和cpu利用率：iostat -x 1 10

ps:

单进程占用cpu 90左右平均cpu 45左右磁盘io %util：20左右

多进程进程数2 每个进程占用cpu 90左右平均cpu 100左右磁盘io %util：50+左右变化幅度较大 20~70

多进程进程数3 一个进程占用cpu 90左右另外两个进程占用cpu45左右平均cpu 100左右磁盘io %util：50+左右变化幅度较大

多进程进程数4 每个进程占用cpu45左右平均cpu 100左右磁盘io %util：35%左右磁盘io %util：50+左右变化幅度较大

系统的线程调度。即使是单线程，在不同的时间片，也有可能被调度到不同的核。可以控制在哪个核上运行~

秒客网

python多进程提高cpu利用率

相关文章