在利用Python進行系統(tǒng)管理的時候，特別是同時操作多個文件目錄，或者遠程控制多臺主機，并行操作可以節(jié)約大量的時間。多進程是實現(xiàn)并發(fā)的手段之一，需要注意的問題是：

1)很明顯需要并發(fā)執(zhí)行的任務(wù)通常要遠大于核數(shù)

2)一個操作系統(tǒng)不可能無限開啟進程，通常有幾個核就開幾個進程

3)進程開啟過多，效率反而會下降(開啟進程是需要占用系統(tǒng)資源的，而且開啟多余核數(shù)目的進程也無法做到并行)

例如當(dāng)被操作對象數(shù)目不大時，可以直接利用multiprocessing中的Process動態(tài)成生多個進程，十幾個還好，但如果是上百個，上千個。。。手動的去限制進程數(shù)量卻又太過繁瑣，此時可以發(fā)揮進程池的功效。

我們就可以通過維護一個進程池來控制進程數(shù)目，比如httpd的進程模式，規(guī)定最小進程數(shù)和最大進程數(shù)...

對于遠程過程調(diào)用的高級應(yīng)用程序而言，應(yīng)該使用進程池，Pool可以提供指定數(shù)量的進程，供用戶調(diào)用，當(dāng)有新的請求提交到pool中時，如果池還沒有滿，那么就會創(chuàng)建一個新的進程用來執(zhí)行該請求;但如果池中的進程數(shù)已經(jīng)達到規(guī)定最大值，那么該請求就會等待，直到池中有進程結(jié)束，就重用進程池中的進程。

創(chuàng)建進程池的類：如果指定numprocess為3，則進程池會從無到有創(chuàng)建三個進程，然后自始至終使用這三個進程去執(zhí)行所有任務(wù)，不會開啟其他進程

1Pool([numprocess[,initializer[,initargs]]]):創(chuàng)建進程池

參數(shù)介紹：

1numprocess:要創(chuàng)建的進程數(shù)，如果省略，將默認(rèn)使用cpu_count()的值

2initializer：是每個工作進程啟動時要執(zhí)行的可調(diào)用對象，默認(rèn)為None

3initargs：是要傳給initializer的參數(shù)組

主要方法：

1p.apply(func[,args[,kwargs]])

在一個池工作進程中執(zhí)行func(*args,**kwargs),然后返回結(jié)果。

需要強調(diào)的是：此操作并不會在所有池工作進程中并執(zhí)行func函數(shù)。如果要通過不同參數(shù)并發(fā)地執(zhí)行func函數(shù)，必須從不同線程調(diào)用p.apply()函數(shù)或者使用p.apply_async()

2p.apply_async(func[,args[,kwargs]]):

在一個池工作進程中執(zhí)行func(*args,**kwargs),然后返回結(jié)果。

此方法的結(jié)果是AsyncResult類的實例，callback是可調(diào)用對象，接收輸入?yún)?shù)。當(dāng)func的結(jié)果變?yōu)榭捎脮r，

將理解傳遞給callback。callback禁止執(zhí)行任何阻塞操作，否則將接收其他異步操作中的結(jié)果。

3p.close():關(guān)閉進程池，防止進一步操作。如果所有操作持續(xù)掛起，它們將在工作進程終止前完成

4P.jion():等待所有工作進程退出。此方法只能在close()或teminate()之后調(diào)用

應(yīng)用

同步調(diào)用applay

異步調(diào)用apply_async

apply_async與apply詳解

使用進程池維護固定數(shù)目的進程

server端

客戶端

發(fā)現(xiàn)：并發(fā)開啟多個客戶端，服務(wù)端同一時間只有3個不同的pid，干掉一個客戶端，另外一個客戶端才會進來，被3個進程之一處理

回掉函數(shù)：

需要回調(diào)函數(shù)的場景：進程池中任何一個任務(wù)一旦處理完了，就立即告知主進程：我好了額，你可以處理我的結(jié)果了。主進程則調(diào)用一個函數(shù)去處理該結(jié)果，該函數(shù)即回調(diào)函數(shù)

我們可以把耗時間(阻塞)的任務(wù)放到進程池中，然后指定回調(diào)函數(shù)(主進程負(fù)責(zé)執(zhí)行)，這樣主進程在執(zhí)行回調(diào)函數(shù)時就省去了I/O的過程，直接拿到的是任務(wù)的結(jié)果。

以上內(nèi)容為大家介紹了python進程池，希望對大家有所幫助，如果想要了解更多Python相關(guān)知識，請關(guān)注IT培訓(xùn)機構(gòu):千鋒教育。