![]() ![]() |
现代机器学习
机器学习为信息类学科的重要分支。本书作为机器学习入门、进阶与本硕博一体式培养教材,系统论述了机器学习研究的基本内容、概念、算法、应用以及最新发展。
本书共18章,分为机器学习基础、经典机器学习方法与现代机器学习方法三大部分。机器学习基础部分为第1、2章,内容为机器学习概述和数学基础知识;经典机器学习方法部分为第3~10章,内容分别为线性回归与分类模型、特征提取与选择、决策树与集成学习、支持向量机、贝叶斯决策理论、神经网络、聚类方法和半监督学习等;现代机器学习方法部分为第11~18章,内容涵盖了近年来新兴的与不断发展的前沿算法,如深度学习、深度强化学习、生成对抗网络、胶囊网络、图卷积神经网络、自监督学习、迁移学习以及自动机器学习等。
本书可作为高等院校通信、电子信息、计算机、信息科学、自动化技术等相关专业本科生与研究生的教材与参考用书,也可作为人工智能、计算机科学、模式识别、控制科学、信息与通信工程、集成电路系统设计等领域研究人员的参考用书。
从20世纪50年代图灵测试提出至今,人工智能在不断发展的过程中,经历了高潮、低谷、再高潮的起伏,而人工智能领域研究的终极目标是实现拥有知识,具有认知、判断、推理能力的智慧机器。纵观人类成长、进化与发展的交互过程,这些能力的习得无不是通过对知识、经验、环境等的不断学习与总结来获得的,因此,是否具有学习能力以及学习与感知能力的强弱已成为人工智能能否实现的决定因素。正因如此,机器学习作为研究如何模拟和实现人类学习行为,不断获取新知识与新技能,重新组织已有知识结构,设计并研究可实现算法,并不断改善自身性能的一门学科,成为了信息与人工智能领域的重要组成部分,得到了越来越多研究者的关注。随着人工智能领域与机器学习领域科技的不断发展,除经典机器学习理论外,结合传统机器学习方法并融合现代机器学习发展新理论、新趋势与新内容的机器学习方法层出不穷,本书在介绍经典机器学习方法的同时,对近年来新兴的现代机器学习方法的理论、发展与应用进行了较全面的介绍。使读者在学习经典机器学习方法的同时掌握最新的趋势与发展,在了解机器学习基础理论的基础上,能够持续关注机器学习领域的最新发展与趋势,是本书整体内容安排与章节安排的目的和基础。
本书共18章,分为机器学习基础、经典机器学习方法与现代机器学习方法三大部分。
机器学习基础部分围绕机器学习的定义、基本类别、常见评价指标、近年来机器学习在各领域中的应用发展,以及矩阵论、最优化基础与概率统计基础等数学基础内容进行了阐述与复习。
经典机器学习方法主要有回归与分类,因此在经典机器学习方法部分重点介绍了当数据具有线性特性时的线性回归与分类方法。随着数值类数据特征维度的增加与特征的多样化,数据的特征降维、特征选择以及具有学习与更新能力的特征工程方法对机器学习后续任务的实现产生了重要的影响。对于非数值类数据以及单一分类与学习模型不能应对更复杂的数据分布的问题,经典的决策树方法以及基于集成学习的多个数据子集与多个基础学习器的集成方法是有效的。对于更高维的非线性特性数据,支持向量机方法在解决小样本、非线性以及高维模式问题中均实现了较好的表现与应用。除此之外,基于统计决策理论的方法与基于模仿动物神经网络行为特征的神经网络方法的提出,均为后续基于深度学习的现代机器学习方法的发展奠定了基础。除经典的有监督学习问题外,在机器学习研究中,实际上面临着大量的无标记数据的情况,以及在实际应用中标记样本数十分有限的情况。针对这些情况,无监督学习方法以及半监督学习方法被提出。本部分重点介绍了有监督学习、无监督学习、半监督学习方法等经典的机器学习理论与方法以及具有代表性的经典机器学习与特征工程方法。
近年来机器学习方法与应用不断发展,因此在现代机器学习方法部分主要介绍了不断涌现的新兴深度学习网络技术,如最常见的深度卷积神经网络、受限玻耳兹曼机、深度信念网络、深度自编码器,以及具有时序记忆功能的循环神经网络与长短期记忆网络;统一神经网络的感知能力和强化学习的决策能力的深度强化学习; 利用结构化概率模型,通过生成器与判别器两个模型进行博弈,实现真实数据分布的数据扩充技术的生成对抗网络;以神经元向量代替单个神经元节点的方式,利用动态路由方式进行全新的网络训练的胶囊网络;能够学习具有非欧式图数据的图卷积神经网络。同时,随着深度神经网络应用的不断发展,新的问题与思想不断涌现,产生了如何从未标记的数据中学习更有效的特征并快速应用于实际任务的自监督学习的思想与方法; 如何实现事半功倍的深度学习,使深度学习网络实现具有举一反三功能的迁移学习的思想与方法。多种多样的任务类型与多种多样的网络结构设计,也为机器学习的发展带来了设计挑战,因此对如何从诸多的方法、操作与网络结构中挑选与实现最能针对某项任务与数据特性的自动机器学习方法与前沿发展也在该部分进行了涵盖与展望。
本书每章末都安排了相应的习题,并提供了相关参考文献,供读者(学生)课后练习、思考,以及为拓展学习提供便利及参考。
本书是西安电子科技大学人工智能学院多年来教学与研究内容的总结与凝练,前半部分(前10章)可作为本科生教学过程中的重点讲授内容,后半部分(后8章)可作为本科生能力拓展与研究生教学过程中的重点讲授与可延拓学习内容。本书也是西安电子科技大学人工智能学院本硕博一体化培养建设工作的重要内容之一。
本书的完成有赖于西安电子科技大学人工智能学院、智能感知与图像理解教育部重点实验室、智能感知与计算国际合作联合实验室、智能感知与计算国际联合研究中心、国家“111”计划创新引智基地、国家“2011”信息感知协同创新中心、“大数据智能感知与计算”陕西省2011协同创新中心每一位同仁的支持。本书第1、6、8章由李玲玲撰写;第2章由李玲玲、毛莎莎、古晶与王佳宁共同撰写;第3、4章由陈璞花撰写;第7、9、10章由古晶撰写;第5、11、12、17章由毛莎莎撰写;第13~16及18章由王佳宁撰写。本书的出版离不开团队多位老师和研究生的支持与帮助,感谢团队中侯彪、杨淑媛、王爽、刘静、公茂果、张向荣、李阳阳、吴建设、缑水平、尚荣华、田小林、刘若辰、刘波、马文萍、王晗丁、韩红、朱虎明等老师对本书编写与出版工作的关心支持与辛勤付出,感谢侯晓慧老师、李霞老师、田臻老师、屈娇老师、路童老师、刘梦琨博士、孙其功博士、孙龙博士,以及郭思颖、黄润虎、杨攀泉、李林昊、石光辉、杨谨瑗、齐梦男、闫丹丹、郭晓惠、梁普江、孙钰凯、孙新凯等研究生在此书完成过程中的辛苦付出。
在本书出版之际,特别感谢郑南宁院士、徐宗本院士、谭铁牛院士、包为民院士、郝跃院士、韩崇昭教授、管晓宏院士、周志华教授、高新波教授、石光明教授、姚新教授、张青富教授、金耀初教授、屈嵘教授、张艳宁教授、李军教授、陈莉教授等多年来的关怀、帮助与指导。同时,本书的撰写工作也得到了国家自然科学基金(61801353、61836009、61621005、 61871310)等科研项目的支持,以及西安电子科技大学研究生精品教材建设项目、西安电子科技大学教材建设基金的资助与支持,还要特别感谢西安电子科技大学出版社副总编毛红兵、副社长高维岳以及相关编辑的辛勤劳动与付出,同时感谢书中所有被引文献作者以及为本书出版付出辛勤劳动的其他工作人员。
人工智能领域与机器学习领域的发展日新月异,很多新概念与新知识本书也是第一次涉及,限于本书作者水平,书中难免存在不妥之处,殷切希望读者在阅读此书时不吝指正。
作 者
2021年12月
第1章 机器学习概述 1
1.1 机器学习的基本概念 1
1.2 机器学习的基本类别 1
1.2.1 经典机器学习 1
1.2.2 现代机器学习 6
1.3 机器学习的评估指标 7
1.3.1 机器学习三要素 8
1.3.2 评估方法 9
1.4 机器学习典型应用 11
1.4.1 专家系统 11
1.4.2 语音识别 12
1.4.3 机器翻译 12
1.4.4 自动驾驶 13
1.4.5 人脸检测 13
本章小结 14
习题 14
参考文献 14
第2章 数学基础知识 15
2.1 矩阵论基础 15
2.1.1 矩阵代数基础 15
2.1.2 矩阵方程求解 18
2.1.3 矩阵分析 19
2.2 最优化基础 21
2.2.1 最小二乘与线性规划 21
2.2.2 凸优化 22
2.2.3 非线性优化 23
2.3 统计学习基础 25
2.3.1 条件概率 25
2.3.2 期望与方差 25
2.3.3 最大似然估计 26
本章小结 27
习题 27
参考文献 28
第3章 线性回归与分类模型 29
3.1 线性回归模型 29
3.1.1 线性函数模型 30
3.1.2 偏置与方差分解 37
3.2 贝叶斯线性回归 38
3.2.1 问题定义 38
3.2.2 问题求解 39
3.3 正则化线性回归 41
3.3.1 岭回归 42
3.3.2 Lasso回归 44
3.3.3 逻辑回归 45
3.4 线性分类模型 46
3.4.1 生成式模型与判别式模型 47
3.4.2 线性判别分析 47
3.4.3 广义线性判别分析 48
本章小结 49
习题 49
参考文献 49
第4章 特征提取与选择 51
4.1 经典特征提取方法 52
4.1.1 主成分分析法 52
4.1.2 线性判别方法 54
4.1.3 流形学习方法 55
4.2 经典特征选择算法 58
4.2.1 特征选择基本步骤 58
4.2.2 特征选择搜索策略 61
4.2.3 特征选择评价准则 65
4.3 稀疏表示与字典学习 68
4.3.1 稀疏表示 69
4.3.2 字典学习 70
本章小结 71
习题 71
参考文献 72
第5章 决策树与集成学习 73
5.1 决策树 73
5.2 经典决策树算法 74
5.2.1 ID3算法 74
5.2.2 C4.5算法 75
5.2.3 CART算法 75
5.3 决策树的剪枝 76
5.3.1 预剪枝 77
5.3.2 后剪枝 77
5.4 集成学习 78
5.4.1 Bagging 80
5.4.2 Boosting 81
5.4.4 Stacking 83
5.4.5 深度集成学习 83
本章小结 87
习题 87
参考文献 89
第6章 支持向量机 91
6.1 支持向量机简介 91
6.2 线性支持向量机 91
6.2.1 函数间隔与几何间隔 92
6.2.2 线性可分问题 93
6.2.3 对偶问题 94
6.3 非线性支持向量机 96
6.3.1 核方法 97
6.3.2 常用核函数 98
6.3.3 非线性支持向量分类 99
6.4 支持向量机的应用 99
本章小结 100
习题 100
参考文献 100
第7章 贝叶斯决策理论 101
7.1 贝叶斯分类器 101
7.1.1 贝叶斯决策理论 101
7.1.2 最小风险贝叶斯决策规则 103
7.2 朴素贝叶斯分类器 105
7.3 贝叶斯网络 106
7.4 EM算法 106
本章小结 107
习题 107
参考文献 108
第8章 神经网络 109
8.1 神经网络基础 109
8.1.1 神经网络发展史 109
8.1.2 神经元 110
8.1.3 感知器 110
8.2 卷积神经网络 111
8.3 前馈神经网络 113
8.4 反向传播算法 114
8.5 其他常见神经网络 115
8.5.1 RBF网络 115
8.5.2 SOM网络 115
8.5.3 Hopfield网络 116
本章小结 118
习题 119
参考文献 119
第9章 聚类方法 121
9.1 聚类方法概述 121
9.2 K均值聚类 122
9.3 层次聚类 124
9.4 密度聚类 125
9.4.1 DBSCAN算法 126
9.4.2 OPTICS算法 126
9.4.3 Mean Shift算法 127
9.5 稀疏子空间聚类 128
本章小结 129
习题 129
参考文献 130
第10章 半监督学习 131
10.1 半监督学习概述 131
10.2 半监督分类方法 132
10.2.1 增量学习 132
10.2.2 生成式半监督学习 132
10.2.3 半监督支持向量机 133
10.2.4 基于图的半监督学习 134
10.2.5 基于分歧的半监督学习 136
10.3 半监督聚类方法 136
本章小结 137
习题 138
参考文献 138
第11章 深度学习 139
11.1 深度学习简介 139
11.2 深度卷积神经网络 141
11.2.1 卷积层 141
11.2.2 非线性激活层 143
11.2.3 池化层 143
11.2.4 全连接层 144
11.3 受限玻耳兹曼机(RBM)与
深度信念网络(DBN) 146
11.3.1 玻耳兹曼机 146
11.3.2 受限玻耳兹曼机 147
11.3.3 深度信念网络 148
11.4 深度自编码器 151
11.4.1 欠完备自编码器 152
11.4.2 正则自编码器 153
11.4.3 自编码器的应用 154
11.5 循环神经网络(RNN)与
长短期记忆(LSTM)网络 155
11.5.1 循环神经网络 155
11.5.2 长短期记忆网络 157
本章小结 160
习题 161
参考文献 161
第12章 深度强化学习 165
12.1 任务与奖赏 166
12.2 多臂老虎机 167
12.2.1 守成与探索 167
12.2.2 多臂老虎机问题建模及
ε贪婪法 168
12.3 马尔可夫决策过程(MDP) 169
12.3.1 引入MDP的原因 169
12.3.2 MDP的价值函数 170
12.3.3 状态价值函数与动作价值函数的
关系 170
12.3.4 最优价值函数 171
12.4 动态规划 172
12.5 蒙特卡罗法 173
12.5.1 不基于模型的强化学习 173
12.5.2 预测问题 174
12.5.3 控制问题 174
本章小结 175
习题 175
参考文献 176
第13章 生成对抗网络 179
13.1 生成对抗网络简介 179
13.2 网络结构 180
13.3 训练过程 181
13.4 评价指标 182
13.4.1 Inception Score(IS) 183
13.4.2 Mode Score(MS) 183
13.4.3 Fréchet Inception
Distance(FID) 184
13.5 训练生成对抗网络面临的
挑战 184
13.5.1 模式崩溃 184
13.5.2 不收敛和不稳定性 185
13.5.3 生成器梯度消失 185
13.6 生成对抗网络经典算法 185
13.6.1 InfoGAN 185
13.6.2 Conditional GAN(cGAN) 186
13.6.3 Deep Convolutional
GAN(DCGAN) 188
13.7 生成对抗网络的应用 190
13.7.1 图像超分辨 190
13.7.2 人脸生成 192
13.7.3 纹理合成 192
13.7.4 视频领域的应用 192
13.7.5 应用于自然语言处理 193
本章小结 193
习题 193
参考文献 194
第14章 胶囊网络 195
14.1 胶囊网络简介 195
14.2 胶囊的定义 196
14.3 胶囊网络的结构 196
14.4 动态路由算法 198
14.5 胶囊网络的损失函数 200
14.5.1 编码器的损失函数 200
14.5.2 解码器的损失函数 200
14.6 胶囊网络典型算法 201
14.6.1 CapsuleGAN 201
14.6.2 DeepConvCapsule 202
14.6.3 Faster MSCapsNet 203
14.6.4 MSCapsNet 205
14.7 胶囊网络的应用 207
14.7.1 医学图像 207
14.7.2 关系抽取 208
14.7.3 对抗性攻击 208
本章小结 208
习题 209
参考文献 209
第15章 图卷积神经网络 211
15.1 符号的定义 212
15.2 图卷积和图池化的构建 213
15.2.1 图卷积的构建 213
15.2.2 图池化的构建 217
15.3 图卷积神经网络的训练 218
15.3.1 深层图卷积神经网络 218
15.3.2 大规模网络图卷积技术 219
15.3.3 半监督节点分类问题的
训练技术 220
15.4 图卷积神经网络的典型算法 220
15.4.1 半监督图卷积网络 220
15.4.2 HAGCN 222
15.4.3 GAT 224
15.5 图卷积神经网络的应用 225
15.5.1 网络分析 225
15.5.2 社区发现 225
15.5.3 推荐系统 225
15.5.4 交通预测 226
15.5.5 生物化学 227
15.5.6 计算机视觉 228
15.5.7 自然语言处理 229
15.6 图卷积神经网络的未来发展方向 229
15.6.1 深层的网络结构 229
15.6.2 大规模数据 230
15.6.3 多尺度的图上任务 230
15.6.4 动态变化的图数据 230
15.6.5 图神经网络的可解释性 230
本章小结 231
习题 231
参考文献 231
第16章 自监督学习 233
16.1 自监督学习概述 233
16.1.1 自监督学习背景 233
16.1.2 术语解释 235
16.1.3 自监督学习前置任务 235
16.1.4 自监督学习下游任务 238
16.1.5 自监督学习数据集 240
16.2 自监督学习方法 240
16.2.1 基于对比的自监督学习 240
16.2.2 基于上下文的自监督学习 245
16.2.3 基于时序的自监督学习 248
16.3 自监督学习的应用拓展 249
16.3.1 自监督学习辅助的知识蒸馏 249
16.3.2 自监督半监督学习 253
本章小结 255
习题 256
参考文献 256
第17章 迁移学习 259
17.1 迁移学习概述 259
17.1.1 迁移学习的历史 260
17.1.2 迁移学习的本质 261
17.2 迁移学习 262
17.2.1 基于实例的迁移学习 263
17.2.2 基于特征的迁移学习 264
17.2.3 基于参数的迁移学习 266
17.2.4 基于关系的迁移学习 267
17.3 深度迁移学习 269
17.3.1 基于网络的深度迁移学习 269
17.3.2 基于生成对抗网络的
深度迁移学习 272
17.4 迁移学习的应用 274
本章小结 277
习题 277
参考文献 278
第18章 自动机器学习 281
18.1 自动机器学习基础 281
18.1.1 初识自动机器学习 281
18.1.2 自动机器学习的构成 282
18.2 数据准备 283
18.2.1 数据收集 284
18.2.2 数据清理 284
18.2.3 数据增强 284
18.3 模型生成 285
18.3.1 传统模型 285
18.3.2 NAS 286
18.3.3 模型优化 293
18.4 模型评估 299
18.4.1 低保真 299
18.4.2 权重共享 300
18.4.3 代理模型 300
18.4.4 早停法 300
18.4.5 资源感知 300
18.5 经典NAS算法 301
18.5.1 NASNet 301
18.5.2 PNAS 303
18.5.3 DARTS 304
本章小结 306
习题 307
参考文献 307
你还可能感兴趣
我要评论
|