传统同步爬虫的瓶颈通常不在 CPU,而在网络等待。一个请求发出去后,大部分时间都在等服务器响应,如果用同步方式串行执行,CPU 会长时间空闲。
asyncio 的核心价值是:在等待网络 I/O 时切换到其它任务,让一个进程同时推进多个请求。
asyncio
【项目】 爬取http://books.toscrae.com中的书籍信息