Python爬虫的并发编程如何应用
这篇文章主要讲解了“Python爬虫的并发编程如何应用”，文中的讲解内容简单清晰，易于学习与理解，下面请大家跟着小编的思路慢慢深入，一起来研究和学习“Python爬虫的并发编程如何应用”吧！
什么是并发编程
并发编程是指在一个时间段内，能够执行多个操作的程序设计，通常表现为程序中有多个任务同时启动，可以运行并且相互之间不会产生影响。并发编程的好处是可以提高程序的性能和响应能力。
并发编程在爬虫中的应用
爬虫程序是典型的 I/O 密集型任务，对于 I/O 密集型任务来说，多线程和异步 I/O 都是很好的选择，因为当程序的某个部分因 I/O 操作阻塞时，程序的其他部分仍然可以运转，这样我们不用在等待和阻塞中浪费大量的时间。
单线程版本
我们首先来看单线程版本的爬虫程序。这个爬虫程序使用了
requestsopen"""
example04.py - 单线程版本爬虫
"""
import os
import requests
def download_picture(url):
filename = url[url.rfind('/') + 1:]
resp = requests.get(url)
if resp.status_code == 200:
with open(f'images/beauty/{filename}', 'wb') as file:
file.write(resp.content)
def main():
if not os.path.exists('images/beauty'):
os.makedirs('images/beauty')
for page in range(3):
resp = requests.get(f'<https://image.so.com/zjl?ch=beauty&sn=>{page * 30}')
if resp.status_code == 200:
pic_dict_list = resp.json()['list']
for pic_dict in pic_dict_list:
download_picture(pic_dict['qhimg_url'])
if __name__ == '__main__':
main()在 macOS 或 Linux 系统上，我们可以使用
timetime python3 example04.py
下面是单线程爬虫代码在我的电脑上执行的结果。
python3 example04.py 2.36s user 0.39s system 12% cpu 21.578 total
这里我们只需要关注代码的总耗时为
21.57812%多线程版本
我们使用之前讲到过的线程池技术，将上面的代码修改为多线程版本。
"""
example05.py - 多线程版本爬虫
"""
import os
from concurrent.futures import ThreadPoolExecutor
import requests
def download_picture(url):
filename = url[url.rfind('/') + 1:]
resp = requests.get(url)
if resp.status_code == 200:
with open(f'images/beauty/{filename}', 'wb') as file:
file.write(resp.content)
def main():
if not os.path.exists('images/beauty'):
os.makedirs('images/beauty')
with ThreadPoolExecutor(max_workers=16) as pool:
for page in range(3):
resp = requests.get(f'<https://image.so.com/zjl?ch=beauty&sn=>{page * 30}')
if resp.status_code == 200:
pic_dict_list = resp.json()['list']
for pic_dict in pic_dict_list:
pool.submit(download_picture, pic_dict['qhimg_url'])
if __name__ == '__main__':
main()执行如下所示的命令。
time python3 example05.py
代码的执行结果如下所示：
python3 example05.py 2.65s user 0.40s system 95% cpu 3.193 total
异步I/O版本
我们使用
aiohttpaiohttpaiofilepip install aiohttp aiofile
下面是异步 I/O 版本的爬虫代码。
"""
example06.py - 异步I/O版本爬虫
"""
import asyncio
import json
import os
import aiofile
import aiohttp
async def download_picture(session, url):
filename = url[url.rfind('/') + 1:]
async with session.get(url, ssl=False) as resp:
if resp.status == 200:
data = await resp.read()
async with aiofile.async_open(f'images/beauty/{filename}', 'wb') as file:
await file.write(data)
async def main():
if not os.path.exists('images/beauty'):
os.makedirs('images/beauty')
async with aiohttp.ClientSession() as session:
tasks = []
for page in range(3):
resp = await session.get(f'<https://image.so.com/zjl?ch=beauty&sn=>{page * 30}')
if resp.status == 200:
pic_dict_list = (await resp.json())['list']
for pic_dict in pic_dict_list:
tasks.append(asyncio.ensure_future(download_picture(session, pic_dict['qhimg_url'])))
await asyncio.gather(*tasks)
if __name__ == '__main__':
loop = asyncio.get_event_loop()
loop.run_until_complete(main())执行如下所示的命令。
time python3 example06.py
代码的执行结果如下所示：
python3 example06.py 0.92s user 0.27s system 290% cpu 0.420 total
相对于单线程版本的爬虫程序，多线程版本和异步 I/O 版本的爬虫程序在执行上的时间上有了显著的提升，而且异步 I/O 版本的爬虫程序表现最佳。