banner
按时间整理的学习笔记。

文章归档

Scroll down
Python

一、为什么要用 asyncio 写爬虫

传统同步爬虫的瓶颈通常不在 CPU,而在网络等待。一个请求发出去后,大部分时间都在等服务器响应,如果用同步方式串行执行,CPU 会长时间空闲。

asyncio 的核心价值是:在等待网络 I/O 时切换到其它任务,让一个进程同时推进多个请求。

Scrapy的入门
  • 02/19
  • 10:00

编写第一个Scrapy爬虫

【项目】 爬取http://books.toscrae.com中的书籍信息

  • 创建项目
  • 分析页面
  • 实现spider
  • 运行爬虫(爬取结果保存到csv文件中)
1
请输入关键词进行搜索