用Python写网络爬虫 第2版【2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载】

用Python写网络爬虫 第2版PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 网络爬虫简介1

1.1 网络爬虫何时有用1

1.2 网络爬虫是否合法2

1.3 Python 33

1.4 背景调研4

1.4.1 检查robots.txt4

1.4.2 检查网站地图5

1.4.3 估算网站大小6

1.4.4 识别网站所用技术7

1.4.5 寻找网站所有者9

1.5 编写第一个网络爬虫11

1.5.1 抓取与爬取的对比11

1.5.2 下载网页12

1.5.3 网站地图爬虫15

1.5.4 ID遍历爬虫17

1.5.5 链接爬虫19

1.5.6 使用requests库28

1.6 本章小结30

第2章 数据抓取31

2.1 分析网页32

2.2 3种网页抓取方法34

2.2.1 正则表达式35

2.2.2 Beautiful Soup37

2.2.3 Lxml39

2.3 CSS选择器和浏览器控制台41

2.4 XPath选择器43

2.5 LXML和家族树46

2.6 性能对比47

2.7 抓取结果49

2.7.1 抓取总结50

2.7.2 为链接爬虫添加抓取回调51

2.8 本章小结55

第3章 下载缓存56

3.1 何时使用缓存57

3.2 为链接爬虫添加缓存支持57

3.3 磁盘缓存60

3.3.1 实现磁盘缓存62

3.3.2 缓存测试64

3.3.3 节省磁盘空间65

3.3.4 清理过期数据66

3.3.5 磁盘缓存缺点68

3.4 键值对存储缓存69

3.4.1 键值对存储是什么69

3.4.2 安装Redis70

3.4.3 Redis概述71

3.4.4 Redis缓存实现72

3.4.5 压缩74

3.4.6 测试缓存75

3.4.7 探索requests-cache76

3.5 本章小结78

第4章 并发下载79

4.1 100万个网页79

4.2 串行爬虫82

4.3 多线程爬虫83

4.4 线程和进程如何工作83

4.4.1 实现多线程爬虫84

4.4.2 多进程爬虫87

4.5 性能91

4.6 本章小结94

第5章 动态内容95

5.1 动态网页示例95

5.2 对动态网页进行逆向工程98

5.3 渲染动态网页104

5.3.1 PyQt还是PySide105

5.3.2 执行JavaScript106

5.3.3 使用WebKit与网站交互108

5.4 渲染类111

5.5 本章小结117

第6章 表单交互119

6.1 登录表单120

6.2 支持内容更新的登录脚本扩展128

6.3 使用Selenium实现自动化表单处理132

6.4 本章小结135

第7章 验证码处理136

7.1 注册账号137

7.2 光学字符识别140

7.3 处理复杂验证码144

7.4 使用验证码处理服务144

7.4.1 9kw入门145

7.4.2 报告错误150

7.4.3 与注册功能集成151

7.5 验证码与机器学习153

7.6 本章小结153

第8章 Scrapy154

8.1 安装Scrapy154

8.2 启动项目155

8.2.1 定义模型156

8.2.2 创建爬虫157

8.3 不同的爬虫类型162

8.4 使用shell命令抓取163

8.4.1 检查结果165

8.4.2 中断与恢复爬虫167

8.5 使用Portia编写可视化爬虫170

8.5.1 安装170

8.5.2 标注172

8.5.3 运行爬虫176

8.5.4 检查结果176

8.6 使用Scrapely实现自动化抓取177

8.7 本章小结178

第9章 综合应用179

9.1 Google搜索引擎179

9.2 Facebook184

9.2.1 网站184

9.2.2 Facebook API186

9.3 Gap188

9.4 宝马192

9.5 本章小结196