python爬虫——单线串行Vs线程池

python爬虫——单线串行Vs线程池

异步爬虫的方法：
（1）多线程，多进程（不建议）
优点：可以为相关阻塞的 *** 作单独开启线程或者进程，阻塞 *** 作就可以异步执行
缺点：无法无限制的开启多线程或者多进程
（2）线程池、进程池（适当使用）
优点：可以降低系统对进程或者线程创建和销毁的一个频率，从而很好的降低系统的开销
缺点：池中线程或进程的数量是有上线

1、使用单线串行方式执行

#使用单线串行方式执行
import time

def get_page(str):
	print('正在下载',str)
	time.sleep(2)
	print('下载成功', str)

if __name__ == '__main__':
	name_list = ['xiaolei','blue','hello','word']
	start_time = time.time()
	for i in range(len(name_list)):
		get_page(name_list[i])
	end_time = time.time()
	print('%d second'% (end_time-start_time))

结果：耗时8s

 

2、使用线程池方式执行

# 使用线程池方式执行
import time
from multiprocessing.dummy import Pool

def get_page(str):
	print('正在下载',str)
	time.sleep(2)
	print('下载成功', str)

if __name__ == '__main__':
	start_time = time.time()
	name_list = ['xiaolei','blue','hello','word']
	# 实例化一个线程池对象
	pool = Pool(len(name_list))
	# 将列表中每一个列表元素传递给get_page进行处理
	pool.map(get_page,name_list)
	end_time = time.time()
	print('%d second'% (end_time-start_time))

结果：耗时2s

 使用线程池明显比单线串行快很多