banner
按时间整理的学习笔记。

文章归档

Scroll down
asyncio

一、为什么要用 asyncio 写爬虫

传统同步爬虫的瓶颈通常不在 CPU,而在网络等待。一个请求发出去后,大部分时间都在等服务器响应,如果用同步方式串行执行,CPU 会长时间空闲。

asyncio 的核心价值是:在等待网络 I/O 时切换到其它任务,让一个进程同时推进多个请求。

1
请输入关键词进行搜索