|
关于我们
 书单推荐 新书推荐 |
Python网络爬虫技术手册：基础·实战·强化 
定 价：128 元
9 7 4 8 0 7 0 1 0 2 9 2 3 读者对象:本书不仅适合初学者、数据采集相关技术人员、对数据感兴趣的人员，而且适合从事其他岗位想掌握一定的数据采集能力的职场人员阅读参考。 
《Python网络爬虫技术手册：基础·实战·强化》是“计算机科学与技术手册系列”图书之一，该系列图书内容全面，以理论联系实际、能学到并做到为宗旨，以技术为核心，以案例为辅助，引领读者全面学习基础技术、代码编写方法和具体应用项目，旨在为想要进入相应领域或者已经在该领域深耕多年的技术人员提供新而全的技术性内容及案例。
本书是一本侧重编程基础+实践的Python爬虫图书，从基础、实战、强化三个层次循序渐进地介绍了网络爬虫入门必备知识：基础篇主要讲解网络爬虫的基础内容；实战篇主要讲解目前应用最广的各类数据库爬虫相关技术和案例；强化篇结合数据库、数据分析、可视化等进行大型项目综合实战练习。本书内容充实，给读者提供了较为丰富全面的技术支持和案例强化，通过各种示例将学习与应用相结合，打造轻松学习、零压力学习的环境，通过案例对所学知识进行综合应用，通过开发实际项目将网络爬虫的各项技能应用到实际工作中，帮助读者实现学以致用，快速掌握网络爬虫的各项技能。 本书提供丰富的资源，包含109个实例、13个实战案例、2个应用强化项目，力求为读者打造一本基础+实战+强化一体化的、精彩的Python网络爬虫图书。 本书不仅适合初学者、数据采集相关技术人员、对数据感兴趣的人员，而且适合从事其他岗位想掌握一定的数据采集能力的职场人员阅读参考。
第1篇 基础篇
第1章 爬虫基础 1.1 什么是网络爬虫 2 1.2 网络爬虫的分类 3 1.3 网络爬虫的原理 3 1.4 HTTP基本原理 3 1.4.1 什么是URL 3 1.4.2 HTTP协议 4 1.4.3 HTTP与Web服务器 4 1.4.4 浏览器中的请求和响应 5 1.5 网页的基本结构 6 1.5.1 了解HTML 6 1.5.2 了解CSS 6 1.5.3 了解JavaScript 8 第2章 搭建网络爬虫开发环境 2.1 Anaconda的安装 10 2.2 下载与安装PyCharm 13 2.3 配置PyCharm 16 2.4 测试PyCharm 18 第3章 网络请求urllib模块 3.1 了解urllib 20 3.2 发送网络请求 20 3.2.1 发送GET请求 21 实例3.1 演示常用的方法与属性 21 3.2.2 发送POST请求 22 实例3.2 发送POST请求 22 3.2.3 请求超时 22 实例3.3 处理网络超时 23 3.2.4 设置请求头 23 实例3.4 设置请求头 24 3.2.5 获取与设置Cookie 25 实例3.5 模拟登录 25 实例3.6 获取Cookie 27 实例3.7 保存Cookie文件 27 实例3.8 获取登录后页面中的信息 28 3.2.6 代理IP的设置 29 实例3.9 设置代理IP 29 3.3 处理请求异常 29 实例3.10 处理URLError异常 29 实例3.11 使用HTTPError类捕获异常 30 实例3.12 双重异常的捕获 31 3.4 解析URL 31 3.4.1 URL的拆分（urlparse、urlsplit） 31 实例3.13 使用urlparse()方法拆分URL 32 实例3.14 使用urlsplit()方法拆分URL 32 3.4.2 URL的组合（urlunparse、urlunsplit） 33 实例3.15 使用urlunparse()方法组合URL 33 实例3.16 使用urlunsplit()方法组合URL 34 3.4.3 URL的连接（urljoin） 34 实例3.17 使用urljoin()方法连接URL 34 3.4.4 URL的编码与解码（urlencode、quote、unquote） 35 实例3.18 使用urlencode()方法编码请求参数 35 实例3.19 使用quote()方法编码字符串参数 35 实例3.20 使用unquote()方法解码请求参数 36 3.4.5 URL的参数转换 36 实例3.21 使用parse_qs()方法将参数转换为字典类型 36 实例3.22 使用parse_qsl()方法将参数转换为元组所组成的列表 36 3.5 综合案例——爬取“百度热搜” 37 3.5.1 分析数据 37 3.5.2 实现网络爬虫 37 3.6 实战练习 39 第4章 网络请求urllib3模块 4.1 了解urllib3 40 4.2 发送网络请求 41 4.2.1 发送GET请求 41 实例4.1 发送GET请求 41 实例4.2 发送多个请求 41 4.2.2 发送POST请求 42 实例4.3 发送POST请求 42 4.2.3 重试请求 43 实例4.4 重试请求 43 4.2.4 获得响应内容 43 实例4.5 获取响应头信息 43 实例4.6 处理服务器返回的JSON信息 44 实例4.7 处理服务器返回二进制数据 44 4.2.5 设置请求头 45 实例4.8 设置请求头 45 4.2.6 设置超时 46 实例4.9 设置超时 46 4.2.7 设置代理IP 47 实例4.10 设置代理IP 47 4.3 上传文件 47 实例4.11 上传文本文件 47 实例4.12 上传图片文件 48 4.4 综合案例——爬取必应壁纸 48 4.4.1 分析数据 48 4.4.2 实现网络爬虫 49 4.5 实战练习 51 第5章 网络请求requests模块 5.1 基本请求方式 52 5.1.1 发送GET请求 53 实例5.1 发送GET请求不带参数 53 5.1.2 设置编码 53 实例5.2 获取网页源码 53 5.1.3 二进制数据的爬取 54 实例5.3 下载百度logo图片 54 5.1.4 发送GET（带参数）请求 54 5.1.5 发送POST请求 55 实例5.4 发送POST请求 55 5.2 高级请求方式 56 5.2.1 设置请求头 56 实例5.5 设置请求头 56 5.2.2 Cookie的验证 57 实例5.6 模拟豆瓣登录 57 5.2.3 会话请求 58 实例5.7 会话请求 58 5.2.4 验证请求 58 实例5.8 验证请求 59 5.2.5 网络超时与异常 59 实例5.9 网络超时与异常 59 实例5.10 判断网络异常 60 5.2.6 文件上传 60 实例5.11 上传图片文件 60 5.2.7 代理的应用 61 实例5.12 使用代理IP发送请求 61 5.3 综合案例——爬取糗事百科（视频） 62 5.3.1 分析数据 62 5.3.2 实现爬虫 63 5.4 实战练习 64 第6章 requests模块的两大扩展 6.1 安装requests-cache模块 65 6.2 爬虫缓存的应用 66 6.3 多功能requests-html模块 68 6.3.1 发送网络请求 68 6.3.2 提取数据 70 实例6.1 爬取即时新闻 70 6.3.3 获取动态渲染的数据 73 实例6.2 获取动态渲染的数据 73 6.4 综合案例——爬取百度天气 75 6.4.1 分析数据 75 6.4.2 实现爬虫 76 6.5 实战练习 77 第7章 正则表达式解析 7.1 通过search()匹配字符串 78 7.1.1 匹配指定开头的字符串 79 实例7.1 搜索第一个以“mr_”开头的字符串 79 7.1.2 可选匹配字符串中的内容 79 实例7.2 可选匹配字符串中的内容 79 7.1.3 使用“\b”匹配字符串的边界 80 实例7.3 使用“\b”匹配字符串的边界 80 7.2 通过findall()匹配字符串 80 7.2.1 匹配所有以指定字符开头的字符串 81 实例7.4 匹配所有以“mr_”开头的字符串 81 7.2.2 贪婪匹配法 81 实例7.5 使用“.*”实现贪婪匹配字符串 81 7.2.3 非贪婪匹配法 82 实例7.6 使用“.*？”实现非贪婪匹配字符串 82 7.3 处理字符串 83 7.3.1 使用sub()方法替换字符串 83 实例7.7 使用sub()方法替换字符串 83 7.3.2 使用split()方法分割字符串 84 实例7.8 使用split()方法分割字符串 84 7.4 综合案例——爬取QQ音乐热歌榜 85 7.4.1 分析数据 85 7.4.2 实现爬虫 85 7.5 实战练习 86 第8章 lxml解析模块 8.1 了解XPath 87 8.2 XPath的基本操作 88 8.2.1 HTML的解析 88 实例8.1 解析本地的HTML文件 88 实例8.2 解析字符串类型的HTML代码 88 实例8.3 解析服务器返回的HTML代码 89 8.2.2 获取所有标签 90 实例8.4 获取HTML代码的所有标签 90 8.2.3 获取子标签 91 实例8.5 获取一个标签中的子标签 91 实例8.6 获取子孙标签 92 8.2.4 获取父标签 92 实例8.7 获取一个标签的父标签 92 8.2.5 获取文本 93 实例8.8 获取HTML代码中的文本 93 8.2.6 属性匹配 94 实例8.9 使用“[@...]”实现标签属性的匹配 94 实例8.10 属性多值匹配 94 实例8.11 一个标签中多个属性的匹配 95 8.2.7 获取属性值 96 实例8.12 获取属性所对应的值 96 实例8.13 使用索引按序获取属性对应的值 97 8.2.8 使用标签轴获取标签内容 98 实例8.14 使用标签轴的方式获取标签内容 98 8.3 综合案例——爬取豆瓣新书速递 99 8.3.1 分析数据 99 8.3.2 实现爬虫 99 8.4 实战练习 100 第9章 BeautifulSoup解析模块 9.1 BeautifulSoup的基础应用 101 9.1.1 安装BeautifulSoup 101 9.1.2 解析器的区别 102 9.1.3 解析HTML 103 实例9.1 解析HTML代码 103 9.2 获取标签内容 103 9.2.1 获取标签对应的代码 104 实例9.2 获取标签对应的代码 104 9.2.2 获取标签属性 105 实例9.3 获取标签属性 105 9.2.3 获取标签内的文本 106 9.2.4 嵌套获取标签内容 106 实例9.4 嵌套获取标签内容 106 9.2.5 关联获取 107 实例9.5 获取子标签 107 实例9.6 获取子孙标签 108 实例9.7 获取父标签 109 实例9.8 获取兄弟标签 109 9.3 利用方法获取内容 111 9.3.1 find_all()方法 111 实例9.9 find_all(name)通过标签名称获取内容 111 实例9.10 find_all(attrs)通过指定属性获取内容 112 实例9.11 find_all(text)获取标签中的文本 112 9.3.2 find()方法 113 实例9.12 获取第一个匹配的标签内容 113 9.3.3 其他方法 114 9.4 CSS选择器 114 实例9.13 使用CSS选择器获取标签内容 115 9.5 综合案例——爬取百度贴吧（热议榜） 116 9.5.1 分析数据 116 9.5.2 实现爬虫 116 9.6 实战练习 117 第10章 爬取动态渲染的数据 10.1 selenium模块 118 10.1.1 配置selenium环境 118 10.1.2 下载浏览器驱动 119 10.1.3 selenium的应用 119 实例10.1 获取京东商品信息 119 10.1.4 selenium的常用方法 120 10.2 Splash服务 121 10.2.1 搭建Splash环境 122 10.2.2 Splash的API接口 123 实例10.2 获取百度首页logo图片的链接 123 实例10.3 获取百度首页截图 124 实例10.4 获取请求页面的json信息 125 10.2.3 自定义lua脚本 125 实例10.5 获取百度渲染后的HTML代码 125 10.3 综合案例——爬取豆瓣阅读（连载榜） 127 10.3.1 分析数据 127 10.3.2 实现爬虫 128 10.4 实战练习 128 第11章 数据清洗与文件存储 11.1 使用pandas进行数据清洗 130 11.1.1 常见的两种数据结构 130 11.1.2 pandas数据的基本操作 134 11.1.3 处理NaN数据 138 11.1.4 重复数据的筛选 140 11.2 常见文件的基本操作 142 11.2.1 存取TXT文件 142 实例11.1 TXT文件存储 143 实例11.2 读取message.txt文件中的前9个字符 143 实例11.3 从文件的第14个字符开始读取8个字符 144 实例11.4 读取一行 144 实例11.5 读取全部行 145 11.2.2 存取CSV文件 146 11.2.3 存取Excel文件 148 11.3 综合案例——爬取豆瓣小组（讨论精选） 148 11.3.1 分析数据 149 11.3.2 实现爬虫 149 11.4 实战练习 149 第12章 数据库存储 12.1 SQLite数据库 151 12.1.1 创建数据库文件 151 12.1.2 操作SQLite 152 12.2 MySQL数据库 153 12.2.1 下载MySQL 153 12.2.2 安装MySQL服务器 154 12.2.3 配置MySQL 158 12.2.4 安装PyMySQL数据库操作模块 159 12.2.5 数据库的连接 160 实例12.1 连接数据库 160 12.2.6 数据表的创建 160 实例12.2 创建数据表 161 12.2.7 数据表的基本操作 161 实例12.3 操作数据表 161 12.3 综合案例——爬取下厨房（家常菜单） 162 12.3.1 分析数据 162 12.3.2 实现爬虫 162 12.4 实战练习 164 第13章 App抓包 13.1 下载与安装Charles抓包工具 165 13.2 PC端证书的安装 167 13.3 设置SSL代理 169 13.4 网络配置 169 13.5 手机证书的安装 170 13.6 综合案例——抓取手机微信新闻的地址 172 13.7 实战练习 173 第14章 验证码识别 14.1 字符验证码 174 14.1.1 配置OCR 174 14.1.2 下载验证码图片 175 实例14.1 下载验证码图片 175 14.1.3 识别图片验证码 176 实例14.2 识别图片验证码 176 14.2 第三方验证码识别 178 实例14.3 第三方打码平台 178 14.3 滑动拼图验证码 181 实例14.4 滑动拼图验证码 181 14.4 综合案例——识别随机生成的验证码 182 14.5 实战练习 183 第15章 Scrapy爬虫框架的基本应用 15.1 了解Scrapy爬虫框架 184 15.2 配置Scrapy爬虫框架 185 15.2.1 使用Anaconda安装Scrapy 185 15.2.2 Windows系统下配置Scrapy 186 15.3 Scrapy的基本用法 187 15.3.1 创建项目 187 15.3.2 创建爬虫 188 实例15.1 爬取网页代码并保存HTML文件 188 15.3.3 提取数据 190 实例15.2 使用XPath表达式获取多条信息 191 实例15.3 翻页提取数据 191 实例15.4 包装结构化数据 192 15.4 综合案例——爬取NBA得分排名 192 15.4.1 分析数据 193 15.4.2 实现爬虫 193 15.5 实战练习 194 第16章 Scrapy爬虫框架的高级应用 16.1 编写Item Pipeline 195 16.1.1 Item Pipeline的核心方法 195 16.1.2 将信息存储到数据库中 196 实例16.1 将京东数据存储至数据库 196 16.2 文件下载 199 实例16.2 下载京东外设商品图片 200 16.3 自定义中间件 201 16.3.1 设置随机请求头 201 实例16.3 设置随机请求头 202 16.3.2 设置Cookies 203 实例16.4 通过Cookies模拟自动登录 204 16.3.3 设置代理IP 205 实例16.5 随机代理中间件 206 16.4 综合案例——爬取NBA球员资料 207 16.4.1 分析数据 207 16.4.2 实现爬虫 208 16.5 实战练习 211 第2篇 实战篇 第17章 基于正则表达式爬取编程e学网视频(requests+re) 17.1 案例效果预览 213 17.2 案例准备 214 17.3 业务流程 214 17.4 实现过程 214 17.4.1 查找视频页面 214 17.4.2 分析视频地址 215 17.4.3 实现视频下载 215 第18章 基于正则表达式爬取免费代理IP(requests+pandas+re+random) 18.1 案例效果预览 217 18.2 案例准备 218 18.3 业务流程 218 18.4 实现过程 219 18.4.1 分析请求地址 219 18.4.2 确认数据所在位置 219 18.4.3 爬取代理IP并保存 220 18.4.4 检测代理IP 221 第19章 基于beautifulsoup4爬取酷狗TOP500音乐榜单(requests+bs4+time+random) 19.1 案例效果预览 224 19.2 案例准备 225 19.3 业务流程 225 19.4 实现过程 225 19.4.1 分析每页的请求地址 225 19.4.2 分析信息所在标签位置 226 19.4.3 编写爬虫代码 227 第20章 基于beautifulsoup4爬取段子网(requests+beautifulsoup4+time+random) 20.1 案例效果预览 229 20.2 案例准备 230 20.3 业务流程 230 20.4 实现过程 230 20.4.1 分析每页请求地址 230 20.4.2 分析详情页请求地址 231 20.4.3 确认段子各种信息的HTML代码位置 232 20.4.4 编写爬虫代码 232 第21章 基于beautifulsoup4爬取汽车之家图片(beautifulsoup4+Pillow+PyQt5+urllib) 21.1 案例效果预览 234 21.2 案例准备 235 21.3 业务流程 235 21.4 实现过程 236 21.4.1 登录窗体 236 21.4.2 设计主窗体 237 21.4.3 编写爬虫 237 21.4.4 启动爬虫 239 21.4.5 查看原图 241 第22章 使用多进程爬取电影资源(requests+bs4+multiprocessing +re+time) 22.1 案例效果预览 242 22.2 案例准备 242 22.3 业务流程 243 22.4 实现过程 243 22.4.1 分析请求地址 243 22.4.2 爬取电影详情页地址 244 22.4.3 爬取电影信息与下载地址 245 第23章 基于多进程实现二手房数据查询(requests_html+pandas+matplotlib+multiprocessing) 23.1 案例效果预览 248 23.2 案例准备 249 23.3 业务流程 249 23.4 实现过程 250 23.4.1 确认二手房数据位置 250 23.4.2 二手房数据的爬取 251 23.4.3 数据可视化显示 253 第24章 基于动态渲染页面爬取京东图书销量排行榜(requests_html+sqlite3+os) 24.1 案例效果预览 256 24.2 案例准备 257 24.3 业务流程 257 24.4 实现过程 257 24.4.1 分析请求地址 257 24.4.2 确认数据在网页HTML代码中的位置 257 24.4.3 编写爬虫程序 258 第25章 爬取中关村在线中的手机数据(requests_html+pymysql+random+time) 25.1 案例效果预览 260 25.2 案例准备 260 25.3 业务流程 261 25.4 实现过程 261 25.4.1 分析手机主页中每页地址 261 25.4.2 分析每个手机的详情页地址 262 25.4.3 确认详情页手机数据位置 262 25.4.4 创建MySQL数据表 262 25.4.5 编写爬虫程序 263 第26章 基于异步请求爬取北、上、广、深租房信息(requests+lxml+pandas+aiohttp+asyncio) 26.1 案例效果预览 267 26.2 案例准备 267 26.3 业务流程 268 26.4 实现过程 268 26.4.1 获取租房信息总页数 268 26.4.2 确认数据所在的HTML代码位置 271 26.4.3 编写爬虫提取数据 272 第27章 基于XPath爬取豆瓣电影Top250(requests+lxml+time+random) 27.1 案例效果预览 274 27.2 案例准备 275 27.3 业务流程 275 27.4 实现过程 275 27.4.1 分析请求地址 275 27.4.2 分析信息位置 276 27.4.3 爬虫代码的实现 277 第28章 分布式爬取新闻数据(scrapy+ pymysql+scrapy-redis正则表达式) 28.1 案例效果预览 279 28.2 案例准备 280 28.3 业务流程 280 28.4 实现过程 280 28.4.1 Redis数据库的安装 280 28.4.2 安装scrapy-redis模块 281 28.4.3 分析请求地址 282 28.4.4 创建数据表（MySQL） 282 28.4.5 创建Scrapy项目 283 28.4.6 分布式爬虫的启动 286 第29章 微信智能机器人(Flask+小米球ngrok) 29.1 案例效果预览 290 29.2 案例准备 291 29.3 业务流程 291 29.4 微信公众平台开发必备 291 29.4.1 注册订阅号 291 29.4.2 公众号基本配置 292 29.5 内网穿透工具 293 29.5.1 内网穿透工具简介 293 29.5.2 下载安装 293 29.5.3 测试外网域名 294 29.6 爬取糗事百科笑话 295 29.6.1 页面分析 295 29.6.2 随机爬取一条笑话 295 29.7 爬取天气信息 296 29.7.1 页面分析 296 29.7.2 爬取天气信息 297 29.8 微信智能机器人的实现 298 29.8.1 校验签名 298 29.8.2 填写配置信息 299 29.8.3 接收文本消息 299 29.8.4 整合笑话和天气功能 300 第3篇 强化篇 第30章 电商管家(PyQt5+pyqt5-tools+requests+pymysql+matplotlib) 30.1 系统需求分析 303 30.1.1 系统概述 303 30.1.2 系统可行性分析 304 30.1.3 系统用户角色分配 304 30.1.4 功能性需求分析 304 30.1.5 非功能性需求分析 304 30.2 系统设计 304 30.2.1 系统功能结构 304 30.2.2 系统业务流程 305 30.2.3 系统预览 305 30.3 系统开发必备 306 30.3.1 开发工具准备 306 30.3.2 文件夹组织结构 306 30.4 主窗体的UI设计 306 30.4.1 主窗体的布局 306 30.4.2 主窗体显示效果 308 30.5 设计数据库表结构 308 30.6 爬取数据 309 30.6.1 获取京东商品热卖排行信息 309 30.6.2 获取价格信息 313 30.6.3 获取评价信息 314 30.6.4 定义数据库操作文件 316 30.7 主窗体的数据展示 319 30.7.1 显示前10名热卖榜图文信息 319 30.7.2 显示关注商品列表 322 30.7.3 显示商品分类比例饼图 327 30.8 外设产品热卖榜 330 30.9 商品预警 332 30.9.1 关注商品中、差评预警 332 30.9.2 关注商品价格变化预警 334 30.9.3 更新关注商品信息 336 30.10 系统功能 337 第31章 火车票智能分析工具(PyQt5+matplotlib +requests+json+sys+time)? 31.1 系统需求分析 339 31.1.1 系统概述 339 31.1.2 系统可行性分析 340 31.1.3 系统用户角色分配 340 31.1.4 功能性需求分析 340 31.1.5 非功能性需求分析 340 31.2 系统设计 341 31.2.1 系统功能结构 341 31.2.2 系统业务流程 341 31.2.3 系统预览 341 31.3 系统开发必备 342 31.3.1 开发工具准备 342 31.3.2 文件夹组织结构 342 31.4 主窗体的UI设计 343 31.4.1 主窗体的布局 343 31.4.2 主窗体显示效果 347 31.5 爬取数据 347 31.5.1 获取请求地址与参数 347 31.5.2 下载数据文件 348 31.5.3 查询所有车票信息 352 31.5.4 卧铺票的查询与分析 354 31.5.5 查询车票起售时间 356 31.6 主窗体的数据显示 358 31.6.1 车票查询区域的数据显示 358 31.6.2 卧铺售票分析区域的数据显示 364 31.6.3 卧铺车票数量走势图的显示 366 31.6.4 查询车票起售时间的数据显示 369 附录 附录1 数据解析速查表 371 附录2 PyCharm 常用快捷键 377 附录3 PyCharm 常用设置 378
你还可能感兴趣
我要评论
|
