本书为普通高等教育“十一五”国家级规划教材。本书系统地介绍了多媒体计算机技术的基本原理和多媒体计算机系统的组成，详述了数字声音、图像和视频处理中的关键技术；简要介绍了多媒体数据的采集与编辑、多媒体文档的组织与设计、多媒体数据存储与管理、多媒体计算机网络及多媒体数据安全涉及的关键技术。在此基础上，本书对多媒体技术的一些典型应用——数据可视化与信息可视化、指纹识别、人脸识别、唇语识别、视频监控与目标跟踪相关技术以及多媒体即时通信系统等进行了扼要介绍。本书还结合即时通信系统的设计案例以附录形式给出了一个综合应用课程设计。本书既可作为高等院校相关课程的教材，也可供从事多媒体应用研究与开发的工程技术人员参考。
鲁宏伟，华中科技大学计算机学院教授，工学博士，主持与某研究院合作项目5项、校教学改革项目1项、其他各类横向项目10余项。
目 录
第1章 多媒体计算机技术概述 1
1.1 多媒体计算机技术的基本概念 1
1.1.1 媒体 1
1.1.2 多媒体 2
1.2 多媒体计算机技术的发展历史 4
1.3 多媒体计算机技术 5
1.3.1 多媒体的软件和硬件平台 6
1.3.2 高速处理器 6
1.3.3 数据压缩及编码技术 7
1.3.4 多媒体同步 8
1.3.5 多媒体计算机网络与分布式处理技术 9
1.3.6 信息的组织与管理 9
1.3.7 多媒体数据存储 10
1.3.8 虚拟现实和增强现实技术 10
1.3.9 人机界面设计 12
1.3.10 高速多媒体通信技术 13
1.4 多媒体计算机技术的应用 13
1.5 多媒体计算机技术的发展趋势 15
思考与练习1 16
第2章 多媒体计算机系统的组成 17
2.1 概述 17
2.2 计算机I/O接口 18
2.2.1 计算机I/O的变迁史 18
2.2.2 USB接口发展史 19
2.2.3 显示器接口 20
2.3 常用I/O设备 22
2.3.1 输入设备 22
2.3.2 输出设备 24
2.4 数字音频/视频设备 30
2.4.1 声卡 31
2.4.2 显卡 33
2.4.3 视频采集卡 36
2.4.4 数码产品 36
2.5 存储设备和存储技术 40
2.5.1 存储设备 40
2.5.2 存储技术 43
思考与练习2 45
第3章 图形、图像处理技术及其应用 46
3.1 信号处理的基本术语 46
3.1.1 采样和量化 47
3.1.2 采样长度的选择与频率分辨率 48
3.1.3 离散傅里叶变换 48
3.1.4 小波变换 49
3.2 图像数据压缩基础 51
3.2.1 色彩的基本概念 51
3.2.2 彩色空间及其变换 53
3.2.3 图像数据压缩的可能性 55
3.3 图像数据压缩算法 56
3.3.1 信息熵编码 57
3.3.2 词典编码 60
3.3.3 预测编码 61
3.3.4 变换编码 62
3.3.5 模型编码 63
3.4 常用图形、图像文件 63
3.4.1 BMP文件格式 64
3.4.2 GIF文件格式 68
3.4.3 PNG文件格式 69
3.4.4 JPEG文件格式 70
3.5 二维码编码原理及其应用 73
3.5.1 QR码的基本结构 73
3.5.2 QR码的编码过程 74
3.5.3 二维码应用 75
3.6 动态图像压缩技术和标准 76
3.6.1 MPEG标准概述 76
3.6.2 MPEG-1标准 77
3.6.3 MPEG-2标准 80
3.6.4 MPEG-4标准 82
3.6.5 MPEG-7标准 84
3.7 H.26x标准 85
3.7.1 H.261标准 86
3.7.2 H.263标准 86
3.7.3 H.264标准 88
3.7.4 H.265标准 91
3.8 AVS标准 92
3.8.1 AVS与H.264比较 93
3.8.2 AVS2的特点 94
3.9 Theora和WebM简介 96
思考与练习3 97
第4章 音频信号及其处理 98
4.1 音频编码基础 98
4.1.1 音频信号的特点 98
4.1.2 音频信号处理的方法 100
4.1.3 音频文件的存储格式 101
4.1.4 音频质量的度量 102
4.2 音频信号压缩技术 103
4.2.1 脉冲编码调制 105
4.2.2 增量调制 106
4.2.3 DSD编码 107
4.2.4 自适应脉冲编码调制 108
4.2.5 差分脉冲编码调制 109
4.2.6 自适应差分脉冲编码调制 109
4.2.7 子带编码 109
4.3 音频编码标准 110
4.3.1 CCITT G系列音频压缩标准 110
4.3.2 MP3压缩标准 112
4.3.3 AAC编码 112
4.3.4 Ogg Vobis 113
4.3.5 移动平台常用的音频编码 114
4.4 语音合成技术及应用 117
4.4.1 语音合成的基本方法 117
4.4.2 语音合成的三个层次 119
4.4.3 语音合成技术的应用 119
4.5 语音识别技术的发展及应用 120
4.5.1 语音识别的发展历史 120
4.5.2 语音识别技术 121
4.5.3 语音识别系统的类型 123
4.6 声纹识别技术及其应用 126
思考与练习4 127
第5章 多媒体数据采集与编辑 129
5.1 多媒体数据采集 129
5.1.1 Windows环境下声音数据的采集 129
5.1.2 Windows环境下视频数据的采集 132
5.2 Microsoft DirectX 135
5.2.1 DirectX的特性 136
5.2.2 Microsoft DirectSound简介 139
5.2.3 Microsoft DirectShow简介 141
5.2.4 DirectShow应用程序的开发 144
5.2.5 DirectShow应用示例 145
5.3 多媒体创作工具 147
5.3.1 多媒体创作工具的分类 147
5.3.2 音频处理软件 147
5.3.3 图形、图像及动画制作与编辑软件 148
5.3.4 网络音频、视频文件制作 150
5.4 图像特效 150
5.4.1 图像特效的常用手法 151
5.4.2 图像特效的技术手段 152
5.4.3 图像特效在人脸美化中的应用 157
5.5 多媒体应用软件 158
5.6 多媒体播放器 159
思考与练习5 160
第6章 多媒体文档的组织与设计 161
6.1 超文本和超媒体 161
6.1.1 超文本概述 161
6.1.2 超文本系统的基本特征 162
6.2 HTML简介 165
6.2.1 HTML的发展历史 165
6.2.2 HTML文件结构 166
6.2.3 HTML的标签和属性 167
6.2.4 超链接 167
6.2.5 HTML的多媒体实现 169
6.3 HTML5 171
6.3.1 HTML5的主要特性 171
6.3.2 HTML5在移动开发中的应用 175
6.4 XML简介 176
6.4.1 XML的特点 177
6.4.2 XML与HTML的区别 177
6.5 SMIL及其应用示例 178
6.5.1 SMIL简介 178
6.5.2 SMIL的基本语法规则 178
6.5.3 SMIL应用设计 179
6.5.4 SMIL应用示例 183
6.6 设计超文本的工具 184
6.6.1 JavaScript 184
6.6.2 动态网页设计 190
6.6.3 Ajax技术 191
6.6.4 SVG 192
6.6.5 Web 2.0和Web 3.0 192
思考与练习6 194
第7章 多媒体数据存储与管理 195
7.1 多媒体数据的特点 195
7.2 多媒体数据的管理 196
7.2.1 多媒体数据模型 196
7.2.2 多媒体数据库体系结构 198
7.3 多媒体数据检索与查询 200
7.3.1 查询方法 200
7.3.2 万维网文档的检索技术 201
7.3.3 基于内容的多媒体数据检索 203
7.4 结构化查询语言SQL 210
7.4.1 SQL简介 210
7.4.2 SQL的数据类型 211
7.4.3 SQL的基本语法 214
7.4.4 多媒体数据保存与获取示例 216
7.5 多媒体数据挖掘 218
7.5.1 数据挖掘的概念 218
7.5.2 Web挖掘 219
7.5.3 多媒体数据挖掘 219
思考与练习7 221
第8章 多媒体计算机网络 222
8.1 多媒体网络通信技术 222
8.1.1 三大定律和互联网的特性 222
8.1.2 多媒体通信网络的基本结构和特点 223
8.1.3 计算机网络概述 224
8.1.4 网络接入技术 226
8.1.5 短距离无线通信技术 229
8.1.6 移动通信技术及标准 233
8.2 分布式多媒体计算机系统 240
8.2.1 分布式多媒体计算机系统的基本特征 240
8.2.2 分布式多媒体计算机系统服务模型 241
8.2.3 分布式多媒体系统的层次结构 242
8.2.4 网格 243
8.2.5 云计算 244
8.3 P2P网络 246
8.3.1 P2P技术体系结构与分类 246
8.3.2 P2P网络的特点 248
8.3.3 P2P技术的应用 248
8.4 无线多媒体传感器网络 250
8.4.1 无线传感器网络的特点 251
8.4.2 无线传感器网络的结构 252
8.4.3 无线传感器网络的设计 252
8.4.4 无线多媒体传感器网络 253
8.5 物联网 254
8.6 流媒体传输协议 257
8.6.1 RTP/RTCP 257
8.6.2 RSVP 259
8.6.3 RTSP 260
思考与练习8 261
第9章 多媒体数据安全 262
9.1 多媒体数据安全的主要内容 262
9.2 基于多媒体数据的信息隐藏 263
9.2.1 基于图像的信息隐藏 264
9.2.2 基于音频的信息隐藏 266
9.2.3 基于视频的信息隐藏 269
9.3 多媒体内容安全 271
9.3.1 语音数据加密 272
9.3.2 视频数据加密 273
9.3.3 VoIP媒体流安全通信 274
9.4 音/视频版权保护 278
9.4.1 数字版权管理技术现状 279
9.4.2 基于设备的密钥绑定版权保护方法 280
9.5 家庭数字影院版权保护 282
9.5.1 家庭数字影院发行版制版安全机制 282
9.5.2 家庭数字影院节目内容的授权访问机制 282
9.5.3 家庭数字影院放映终端的安全播放机制 283
思考与练习9 284
第10章 多媒体应用 285
10.1 数据可视化与信息可视化 285
10.1.1 可视化概述 285
10.1.2 数据可视化的图表类型 286
10.1.3 信息可视化 288
10.1.4 数据新闻 289
10.2 图像识别及其应用 292
10.2.1 图像识别过程 292
10.2.2 指纹识别 294
10.2.3 人脸识别 297
10.2.4 唇语识别 301
10.3 视频监控与目标跟踪 303
10.3.1 视频监控系统的原理 303
10.3.2 视频监控系统的发展方向 304
10.3.3 视频目标检测与跟踪 305
10.3.4 视频监控在平安城市中的应用 306
10.4 即时通信系统 307
10.4.1 即时通信系统的设计要求 307
10.4.2 即时通信的标准 308
10.4.3 即时通信的基本流程 309
10.4.4 即时通信系统的结构 309
10.4.5 Skype系统简介 310
思考与练习10 311
第11章 多媒体应用系统设计案例 312
11.1 基于Python的数据可视化 312
11.1.1 实例一的运行环境 312
11.1.2 分析方法与过程 313
11.1.3 实例一小结 320
11.2 基于腾讯优图的人工智能应用 320
11.2.1 实例二的运行环境 320
11.2.2 使用腾讯优图API的过程 320
11.2.3 实例二小结 325
11.3 基于百度AI的人脸检测微信小程序 325
11.3.1 注册小程序账号 325
11.3.2 安装并运行小程序开发平台 325
11.3.3 人脸检测微信小程序设计 327
11.3.4 实例三小结 333
11.4 智能婴儿床系统设计 333
11.4.1 设计背景 333
11.4.2 设计过程 333
11.4.3 功能需求 334
11.4.4 所用硬件设备 334
11.4.5 系统开发环境 335
11.4.6 系统设计 335
11.4.7 实例四小结 347
11.5 基于人脸识别的智能储物柜设计 347
11.5.1 OpenCV与人脸识别 347
11.5.2 总体架构 348
11.5.3 开发平台 349
11.5.4 储物柜数据结构设计 349
11.5.5 人脸样本库设计 350
11.5.6 存柜功能模块设计 350
11.5.7 界面设计 353
11.5.8 实例五小结 354
11.6 篮球投篮训练辅助系统设计 354
11.6.1 设计目标 354
11.6.2 处理流程 355
11.6.3 实例六小结 363
11.7 基于Maya的显示器模型设计 363
11.7.1 模型设计 363
11.7.2 实例七小结 371
附录A 课程设计 372
A.1 设计内容 372
A.2 设计提示 372
参考文献 374
书单推荐
