python進(jìn)程池的使用注意

1、使用注意

(1)使用池時(shí)，如果未指定進(jìn)程數(shù)，則默認(rèn)為CPU核心數(shù)。

(2)核心數(shù)量對(duì)應(yīng)于計(jì)算機(jī)的邏輯處理器數(shù)量(任務(wù)管理器-性能)，而不是核心數(shù)量(我的計(jì)算機(jī)有2個(gè)核心和4個(gè)邏輯處理器，因此這里默認(rèn)使用4個(gè)進(jìn)程)

(3)進(jìn)程數(shù)可以是幾十萬，并不意味著開放進(jìn)程的數(shù)量是4。只要使用池(10)，就可以同時(shí)打開10個(gè)進(jìn)程進(jìn)行爬網(wǎng)。

(4)但是需要注意的是，無論多線程還是多進(jìn)程，打開過多都會(huì)導(dǎo)致切換耗時(shí)，降低效率，所以創(chuàng)建過多的多線程和進(jìn)程是謹(jǐn)慎的。

2、實(shí)例

importrequests

frombs4importBeautifulSoup

frommultiprocessingimportPool,current_process

defget_title(i):

print('start',current_process().name)

title_list=[]

url='https://movie.douban.com/top250?start={}&filter='.format(i*25)

r=requests.get(url)

soup=BeautifulSoup(r.content,'html.parser')

lis=soup.find('ol',class_='grid_view').find_all('li')

forliinlis:

title=li.find('span',class_="title").text

#returntitle

title_list.append(title)

print(title)

return(title_list)if__name__=='__main__':

pool=Pool()

foriinrange(10):

pool.apply_async(get_title,(i,))

pool.close()

pool.join()

print('finish')

以上就是python進(jìn)程池的使用注意，希望能對(duì)大家有所幫助。更多Python學(xué)習(xí)教程請(qǐng)關(guān)注IT培訓(xùn)機(jī)構(gòu):千鋒教育。