四川长虹|每日一书：《用python写网络爬虫》PDF高清版四川长虹

文章图片

文章图片

文章图片

文章图片

文章图片

内容简介《用Python写网络爬虫》讲解了如何使用Python来编写网络爬虫程序，内容包括网络爬虫简介，从页面中抓取数据的三种方法，提取缓存中的数据，使用多个线程和进程来进行并发抓取，如何抓取动态页面中的内容，与表单进行交互，处理页面中的验证码问题，以及使用Scarpy和Portia来进行数据抓取，使用本书介绍的数据抓取技术对几个真实的网站进行了抓取，旨在帮助读者活学活用书中介绍的技术。
获取方法

私信回复【软件测试】就可以免费领取了

目录第1章网络爬虫简介 1n
1．1　网络爬虫何时有用　1n
1．2　网络爬虫是否合法　2n
1．3　背景调研　3n
1．3．1　检查robots．txt　3n
1．3．2　检查网站地图　4n
1．3．3　估算网站大小　5n
1．3．4　识别网站所用技术　7n
1．3．5　寻找网站所有者　7n
1．4　编写第一个网络爬虫　8n
1．4．1　下载网页　9n
1．4．2　网站地图爬虫　12n
1．4．3　ID遍历爬虫　13n
1．4．4　链接爬虫　15n
1．5　本章小结　22n
【四川长虹|每日一书：《用python写网络爬虫》PDF高清版】
第2章　数据抓取　23n
2．1　分析网页　23n
2．2　三种网页抓取方法　26n
2．2．1　正则表达式　26n
2．2．2　Beautiful Soup　28n
2．2．3　Lxml　30n
2．2．4　性能对比　32n
2．2．5　结论　35n
2．2．6　为链接爬虫添加抓取回调　35n
2．3　本章小结　38n

第3章　下载缓存　39n
3．1　为链接爬虫添加缓存支持　39n
3．2　磁盘缓存　42n
3．2．1　实现　44n
3．2．2　缓存测试　46n
3．2．3　节省磁盘空间　46n
3．2．4　清理过期数据　47n
3．2．5　缺点　48n
3．3　数据库缓存　49n
3．3．1　NoSQL是什么　50n
3．3．2　安装MongoDB　50n
3．3．3　MongoDB概述　50n
3．3．4　MongoDB缓存实现　52n
3．3．5　压缩　54n
3．3．6　缓存测试　54n
3．4　本章小结　55n

第4章　并发下载　57n
4．1　100万个网页　57n
4．2　串行爬虫　60n
4．3　多线程爬虫　60n
4．3．1　线程和进程如何工作　61n
4．3．2　实现　61n
4．3．3　多进程爬虫　63n
4．4　性能　67n