本书作为一本系统而实用的机器视觉教材,内容涵盖了机器视觉领域的核心概念、基本原理和应用技术。全书以Marr视觉计算理论为框架,结合作者团队多年教学经验及研究成果,深入讨论了图像获取、图像处理、视觉跟踪、2.5维视觉、三维视觉的相关知识,进一步介绍了机器视觉系统的实现和应用实例。 本书可作为高等院校计算机、自动化、电子工程等专业高年级本科生和研究生的教材,同时也适合机器视觉工程师和专业技术人员在项目实践中参考。
屈桢深,博士学位,哈尔滨工业大学航天学院 控制科学与工程学科教授,博士生导师;人工智能研究院兼职研究员。AIAA高级会员,IEEE会员,中国宇航学会会员,航空学报、IEEE等期刊审稿人。近年一直从事智能感知与智能系统方向的研究和实践工作。主持及承担包括国家大科学工程、基础预研、国家自然科学基金、揭榜挂帅等多项国家及省部级项目,在无人系统及机器视觉等方向取得一系列突破性研究成果。累计发表论文50余篇,授权专利二十项,获省部级一等奖一项,二等奖一项。
第1 章 概述 / 1
1.1 机器视觉的定义 / 1
1.2 机器视觉任务 / 2
1.3 机器视觉发展简史 / 4
1.3.1 视觉神经生理学 / 4
1.3.2 人工智能与机器学习 / 5
1.3.3 数字图像处理 / 6
1.3.4 机器视觉的发展 / 7
1.4 机器视觉应用 / 12
1.4.1 机器人视觉分拣 / 12
1.4.2 智能视频监控 / 14
1.4.3 锂电池表面缺陷检测 / 15
1.4.4 同时定位与建图 / 16
1.5 本书内容组织与教学建议 / 18
1.5.1 内容组织 / 18
1.5.2 教学建议 / 19
第 2 章 图像获取 / 21
2.1 人类视觉感知 / 21
2.1.1 人眼结构 / 21
2.1.2 视觉特性 / 23
2.2 照明和颜色 / 24
2.2.1 照明 / 24
2.2.2 颜色与颜色模型 / 26
2.3 视觉信息获取 / 31
2.3.1 CCD 与 CMOS 传感器 / 31
2.3.2 彩色图像传感器 / 34
2.3.3 深度图像传感器 / 35
2.4 图像量化与表达 / 39
2.4.1 采样和量化 / 39
2.4.2 Gamma 校正 / 40
2.4.3 图像的数字表达 / 42
2.5 图像压缩与视频压缩 / 44
2.5.1 图像压缩 / 44
2.5.2 视频压缩 / 45
2.5.3 视频压缩标准 / 46
第 3 章 图像处理 / 49
3.1 图像的傅里叶变换 / 49
3.1.1 频域与时域 / 49
3.1.2 典型的二维信号 / 50
3.1.3 傅里叶变换 / 51
3.2 图像滤波 / 57
3.2.1 线性滤波 / 58
3.2.2 非线性滤波 / 61
3.2.3 频域滤波 / 63
3.3 边缘检测 / 67
3.3.1 边缘检测原理 / 67
3.3.2 边缘检测线性算子 / 68
3.4 数学形态学滤波 / 75
3.4.1 数学形态学滤波基础 / 75
3.4.2 数学形态学运算 / 76
第 4 章 图像分割与描述 / 81
4.1 图像直方图与阈值分割 / 81
4.1.1 图像直方图 / 82
4.1.2 阈值分割 / 84
4.1.3 局部阈值分割 / 86
4.2 基于区域生长的图像分割 / 87
4.2.1 区域生长与图像填充 / 87
4.2.2 种子点的自动选取 / 88
4.2.3 区域生长准则 / 89
4.3 分水岭分割算法 / 90
4.3.1 基本思想 / 90
4.3.2 数学描述 / 92
4.3.3 实验效果 / 92
4.3.4 改进的分水岭分割算法 / 94
4.4 活动轮廓与 Snake 模型 / 94
4.4.1 基于能量泛函的分割方法 / 94
4.4.2 Snake 模型 / 95
4.4.3 Snake 模型计算步骤与实验效果 / 96
4.5 图像标记 / 97
4.6 图像描述 / 99
4.6.1 简单描述符 / 99
4.6.2 图像的 Hu 不变矩 / 103
第 5 章 特征检测与匹配 / 106
5.1 角点检测 / 106
5.1.1 角点 / 106
5.1.2 Harris 角点检测 / 107
5.1.3 SIFT 角点检测 / 109
5.1.4 SURF 角点检测 / 113
5.1.5 ORB 角点检测 / 115
5.1.6 角点检测算法比较 / 116
5.2 特征匹配 / 117
5.3 Hough 变换与形状检测 / 119
5.3.1 Hough 变换原理 / 119
5.3.2 Hough 线变换 / 120
5.3.3 Hough 圆变换 / 121
第 6 章 运动估计与滤波 / 123
6.1 背景提取 / 123
6.1.1 背景建模基本思想 / 123
6.1.2 基于单一高斯模型的背景建模 / 124
6.1.3 混合高斯模型 / 126
6.1.4 基于混合高斯模型的背景建模 / 127
6.2 光流估计 / 129
6.2.1 基本光流方程 / 129
6.2.2 Lucas-Kanade 算法 / 130
6.2.3 金字塔光流法 / 131
6.2.4 Horn-Schunck 算法 / 132
6.3 目标跟踪 / 134
6.3.1 基本问题 / 134
6.3.2 Meanshift 算法 / 135
6.3.3 KCF 算法 / 137
6.4 运动模型与滤波 / 140
6.4.1 运动模型 / 140
6.4.2 卡尔曼滤波 / 141
6.4.3 粒子滤波 / 145
第 7 章 单目位姿测量与标定 / 150
7.1 坐标系与成像模型 / 150
7.1.1 坐标系定义与坐标变换 / 150
7.1.2 线性成像模型 / 152
7.1.3 非线性畸变模型 / 154
7.2 单目视觉相对位姿测量 / 155
7.2.1 P3P 问题求解 / 156
7.2.2 PnP 问题通用线性求解 / 157
7.2.3 改进的 PnP 问题求解 / 158
7.2.4 结果优化 / 161
7.3 相机参数标定 / 162
7.3.1 张正友平面标定法 / 162
7.3.2 标定步骤 / 165
第 8 章 多视图几何与三维重建 / 167
8.1 极线几何与基础矩阵 / 167
8.1.1 极线几何 / 167
8.1.2 本质矩阵 / 168
8.1.3 基础矩阵 / 170
8.1.4 基础矩阵的求解方法 / 170
8.2 运动恢复结构 / 172
8.2.1 运动恢复结构问题 / 172
8.2.2 欧式结构恢复 / 172
8.2.3 透视结构恢复 / 174
8.2.4 N 视图的运动恢复结构问题 / 175
8.3 双目立体视觉系统 / 176
8.3.1 平行视图 / 176
8.3.2 非平行视图 / 177
8.4 图像拼接 / 179
8.4.1 特征点提取与匹配 / 179
8.4.2 单应性矩阵求解 / 179
8.4.3 图像配准 / 182
8.4.4 图像融合 / 183
8.5 三维重构 / 183
第 9 章 视觉系统实现 / 187
9.1 机器视觉光源 / 188
9.1.1 照明方式 / 188
9.1.2 光源类型 / 192
9.2 机器视觉相机 / 194
9.2.1 视觉传感器 / 194
9.2.2 相机接口 / 195
9.2.3 镜头接口 / 197
9.3 镜头 / 198
9.4 图像采集卡 / 202
9.5 计算硬件平台 / 203
9.5.1 CPU 与基于 PC 的视觉硬件平台 / 203
9.5.2 图形处理器 / 205
9.5.3 现场可编程门阵列 / 207
9.5.4 特定应用硬件加速器 / 207
9.6 机器视觉软件 / 208
9.6.1 开源视觉框架与 OpenCV / 208
9.6.2 商业机器视觉软件 / 210
第10 章 机器视觉应用实例 / 216
10.1 ImageNet 与大规模视觉识别挑战赛 / 216
10.1.1 ImageNet 介绍 / 216
10.1.2 ImageNet 大规模视觉识别挑战赛 / 217
10.2 火星探测车视觉系统 / 219
10.2.1 下降图像运动估计 / 221
10.2.2 视觉避险与自主导航 / 221
10.2.3 双目视觉测距 / 223
10.2.4 视觉里程计 / 224
10.3 医用大输液外观缺陷检测系统 / 225
10.3.1 针对画面抖动的图像配准 / 225
10.3.2 高性能圆形检测 / 228
10.3.3 图像分类轻量级网络 / 229
10.3.4 硬件系统实现 / 230
10.4 狭孔内部缺陷检测系统 / 232
10.4.1 成像系统设计 / 232
10.4.2 狭孔缺陷检测算法设计 / 235
10.4.3 实验结果与分析 / 237
10.5 视觉 SLAM / 239
10.5.1 视觉 SLAM 系统原理 / 239
10.5.2 视觉 SLAM 框架 / 242
10.5.3 视觉 SLAM 仿真验证 / 244
参考文献 / 246