用Python写网络爬虫【2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载】

用Python写网络爬虫PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 网络爬虫简介1

1.1 网络爬虫何时有用1

1.2 网络爬虫是否合法2

1.3 背景调研3

1.3.1 检查robots.txt3

1.3.2 检查网站地图4

1.3.3 估算网站大小5

1.3.4 识别网站所用技术7

1.3.5 寻找网站所有者7

1.4 编写第一个网络爬虫8

1.4.1 下载网页9

1.4.2 网站地图爬虫12

1.4.3 ID遍历爬虫13

1.4.4 链接爬虫15

1.5 本章小结22

第2章 数据抓取23

2.1 分析网页23

2.2 三种网页抓取方法26

2.2.1 正则表达式26

2.2.2 Beautiful Soup28

2.2.3 Lxml30

2.2.4 性能对比32

2.2.5 结论35

2.2.6 为链接爬虫添加抓取回调35

2.3 本章小结38

第3章 下载缓存39

3.1 为链接爬虫添加缓存支持39

3.2 磁盘缓存42

3.2.1 实现44

3.2.2 缓存测试46

3.2.3 节省磁盘空间46

3.2.4 清理过期数据47

3.2.5 缺点48

3.3 数据库缓存49

3.3.1 NoSQL是什么50

3.3.2 安装MongoDB50

3.3.3 MongoDB概述50

3.3.4 MongoDB缓存实现52

3.3.5 压缩54

3.3.6 缓存测试54

3.4 本章小结55

第4章 并发下载57

4.1 100万个网页57

4.2 串行爬虫60

4.3 多线程爬虫60

4.3.1 线程和进程如何工作61

4.3.2 实现61

4.3.3 多进程爬虫63

4.4 性能67

4.5 本章小结68

第5章 动态内容69

5.1 动态网页示例69

5.2 对动态网页进行逆向工程72

5.3 渲染动态网页77

5.3.1 PyQt还是PySide78

5.3.2 执行JavaScript78

5.3.3 使用WebKit与网站交互80

5.3.4 Selenium85

5.4 本章小结88

第6章 表单交互89

6.1 登录表单90

6.2 支持内容更新的登录脚本扩展97

6.3 使用Mechanize模块实现自动化表单处理100

6.4 本章小结102

第7章 验证码处理103

7.1 注册账号103

7.2 光学字符识别106

7.3 处理复杂验证码111

7.3.1 使用验证码处理服务112

7.3.2 9kw入门112

7.3.3 与注册功能集成119

7.4 本章小结120

第8章 Scrapy121

8.1 安装121

8.2 启动项目122

8.2.1 定义模型123

8.2.2 创建爬虫124

8.2.3 使用shell命令抓取128

8.2.4 检查结果129

8.2.5 中断与恢复爬虫132

8.3 使用Portia编写可视化爬虫133

8.3.1 安装133

8.3.2 标注136

8.3.3 优化爬虫138

8.3.4 检查结果140

8.4 使用Scrapely实现自动化抓取141

8.5 本章小结142

第9章 总结143

9.1 Google搜索引擎143

9.2 Facebook148

9.2.1 网站148

9.2.2 API150

9.3 Gap151

9.4 宝马153

9.5 本章小结157