遥感数据是空间大数据的一个子集。面向大数据处理,需要新的思维指导实践。新思维之一:寻找多源数据不变特征的思维,基于不变特征减弱同地、同谱、同时不同传感器数据之间的不一致性,不同传感器数据可综合集成应用。本书数据处理篇多源数据的几何一致性处理、辐射一致性处理等都是这一思维指导下的关键技术。新思维之二:将信息提取转化为数据智能的思维,一方面构建覆盖问题空间的样本集,另一方面构建深度学习模型表达与样本的深度相似性。本书分类与识别篇的遥感图像的场景分类、目标检测、地表覆盖分类、时间序列分类聚类的关键技术都是这一思维的具体体现。新思维之三:云计算和容器技术融合构建技术平台的思维,以支撑遥感大数据的在线处理和分析。本书的系统架构篇涉及的关键技术包括全球多源遥感数据的集成和组织技术、信息产品生产流程建模与算法集成优化技术、容器化全球多源遥感数据信息产品生产系统关键设计技术。
更多科学出版社服务,请扫码获取。
目录
“地球大数据科学论丛”序 i
前言 iii
第一篇 数据处理
第1章 遥感大数据处理的新思维 3
1.1 引言 3
1.1.1 何谓“大数据” 3
1.1.2 数据密集型科学 5
1.1.3 数据密集型科学和大数据技术的区别和联系 7
1.2 数据密集型的遥感应用研究 9
1.3 大数据时代遥感数据处理的新思维 11
1.4 小结 19
参考文献 19
第2章 多尺度遥感数据的几何归一化处理 21
2.1 引言 21
2.2 为什么需要几何归一化处理 22
2.3 几何校正自动化实现的关键点 23
2.3.1 控制点提取的发展脉络 23
2.3.2 几何校正模型的选取和发展 34
2.4 误匹配点检测方法 35
2.4.1 研究现状概述 35
2.4.2 现有方法问题及改进方向 39
2.5 基于高精度基准影像的多尺度遥感影像归一化处理框架和应用 41
2.5.1 几何归一化处理总体框架 41
2.5.2 正射校正 42
2.5.3 分层匹配流程 42
2.5.4 几何约束SIFT 算法 44
2.5.5 基于点特征和灰度特征的遥感影像自动匹配方法 46
2.5.6 实际应用情况及效果 47
2.6 小结 55
参考文献 56
第3章 多源数据辐射一致性处理 59
3.1 引言 59
3.2 绝对辐射校正 60
3.2.1 辐射定标 61
3.2.2 大气校正 64
3.2.3 绝对辐射校正软件介绍 70
3.3 基于典型相关分析的辐射一致性处理 73
3.3.1 IR-MAD算法 74
3.3.2 IR-MAD算法数据实验 79
3.3.3 基于地物平均光谱的线性相对辐射校正 81
3.4 基于核典型相关分析的辐射一致性处理 84
3.5 小结 94
参考文献 94
第4章 薄雾去除 97
4.1 引言 97
4.2 基于滤波的薄雾去除算法 98
4.2.1 同态滤波法 98
4.2.2 小波变换法 99
4.2.3 大尺度中值滤波法 101
4.3 基于暗通道的薄雾去除算法 103
4.3.1 薄雾成像模型 103
4.3.2 暗通道先验 105
4.3.3 薄雾精细分布的快速估计 106
4.4 定量薄雾去除算法 109
4.4.1 辐射传输过程中的气溶胶光学厚度 109
4.4.2 区域直方图匹配法 112
4.5 几种薄雾去除算法比较 115
4.6 基于深度学习的薄雾去除 120
4.6.1 基于对抗学习的物理驱动去雾模型 121
4.6.2 深度学习训练样本库 124
4.6.3 算法优化 126
参考文献 130
第5章 云/云影检测与修补 132
5.1 云/云影检测的传统方法 132
5.1.1 算法 133
5.1.2 实验结果 140
5.2 云/云影检测的深度学习方法 143
5.2.1 Refined UNet:基于UNet和全连接条件随机场的云和阴影
边缘精准分割方法 146
5.2.2 Refined UNet V2:端到端的云和阴影降噪分割模型 150
5.2.3 Refined UNet v3:基于多通道光谱特征的端到端云和阴影快
速分割模型 153
5.2.4 实验及结果分析 156
5.3 云/云影修补算法 165
5.3.1 基于泊松融合的云与云下阴影自动修补算法 165
5.3.2 基于核典型相关分析的序列图像云检测与修补算法 174
5.4 小结 186
参考文献 187
第6章 光谱信息和高空间分辨率信息融合 192
6.1 引言 192
6.2 经典融合模型 196
6.2.1 SSD模型 197
6.2.2 BDSD模型 198
6.2.3 MTF-GLP-HPM-PP模型 198
6.2.4 PanNet模型 198
6.3 PDSD 模型 198
6.3.1 模型原理 198
6.3.2 网络结构 200
6.4 数据融合结果比较与评价 201
6.4.1 实验数据集介绍 201
6.4.2 实验评价指标 202
6.4.3 实验流程 204
6.4.4 实验结果与分析 205
6.5 小结 214
参考文献 214
第7章 时相缺失图像的插值生成 218
7.1 引言 218
7.2 线性插值模型及问题 223
7.3 基于自适应滤波器的非线性图像插值方法 224
7.3.1 单向的时相间图像插值生成方法 225
7.3.2 双向的时相间图像插值生成方法 225
7.4 实验结果与分析 228
7.4.1 实现细节 228
7.4.2 结果评价 233
7.5 数据集的构建实践 235
7.5.1 区域数据的缺失状况 235
7.5.2 数据集的构建策略 235
7.5.3 生成结果的性能分析 237
7.5.4 生成结果的视觉展示 239
7.6 小结 241
参考文献 241
第二篇 分类与识别
第8章 遥感图像场景分类 245
8.1 引言 245
8.2 遥感图像场景分类发展现状 247
8.3 遥感图像场景分类的传统方法 250
8.3.1 基于经典视觉词包模型的遥感图像场景分类方法 250
8.3.2 基于二维小波分解的多尺度视觉词包特征表达与场景分类方法 251
8.3.3 基于同心圆结构的旋转不变性视觉词包特征表达与场景分类方法 254
8.4 遥感图像场景分类的深度学习方法 258
8.4.1 SiftingGAN:自筛选生成对抗网络的场景分类方法 258
8.4.2 CNN-CapsNet:融合胶囊网络和卷积神经网络的场景分类
方法 264
8.5 小结 270
参考文献 270
第9章 遥感图像目标检测 275
9.1 引言 275
9.2 遥感图像目标检测的传统思路 276
9.2.1 候选区域提取 276
9.2.2 特征提取 277
9.2.3 分类器分类 278
9.2.4 后处理 278
9.3 遥感图像目标检测的深度学习方法 279
9.4 形状信息在遥感图像目标检测中的应用 280
9.4.1 偏向形状特征的目标检测样本扩增方法 280
9.4.2 引入形状先验约束的目标检测网络模型 284
9.4.3 融入分类后处理的遥感图像目标检测方法 286
9.5 多尺度小样本目标检测方法 288
9.6 小结 291
参考文献 291
第10章 样本处理视角下的遥感图像地表覆盖分类 296
10.1 引言 296
10.2 主动学习:训练样本的有效选择方法 297
10.3 半监督学习:未标记样本的使用方法 301
10.4 训练样本集中错误样本的渐进式剔除方法 305
10.5 由弱到强监督的训练样本提升方法 308
10.6 小结 311
参考文献 312
第11章 小样本下空谱关系网络的地表覆盖分类 315
11.1 高光谱图像分类概述 315
11.1.1 深度卷积神经网络在高光谱图像分类中的应用 318
11.1.2 高光谱图像分类模型迁移学习现状 320
11.1.3 高光谱图像分类方法存在的问题 321
11.2 相关工作简介 323
11.2.1 空间金字塔池化和自适应池化 323
11.2.2 关系网络 324
11.3 空谱关系网络 326
11.3.1 用于特征提取的三维嵌入模块 328
11.3.2 用于相似性度量的三维关系模块 330
11.4 自适应空谱关系网络的迁移学习 331
11.4.1 自适应空谱金字塔池化 332
11.4.2 ASSP-SSRN 预训练部分 333
11.4.3 ASSP-SSRN 微调部分 335
11.5 SS-RN 性能验证与分析 336
11.5.1 实验数据描述和实验设计 336
11.5.2 网络参数选择 340
11.5.3 训练时间分析 346
11.5.4 SS-RN 深度特征的可视化 347
11.5.5 SS-RN 与之前深度学习方法的对比 349
11.5.6 基于ASSP-SSRN 的迁移学习实验结果 354
11.6 小样本下空谱关系网络应用小结 358
参考文献 360
第12章 遥感影像时间序列聚类与分类 364
12.1 引言 364
12.2 遥感影像时间序列的构成 366
12.3 基于相似性度量的遥感影像时间序列聚类/分类 367
12.3.1 时间序列相似性度量方法的发展脉络 367
12.3.2 动态时间规整 368
12.3.3 动态时间规整的路径约束 372
12.3.4 动态时间规整的变种方法 374
12.3.5 动态时间规整的下界距离与提前终止 378
12.3.6 遥感影像时间序列种子聚类与分类框架 380
12.4 基于深度学习的遥感影像时间序列分类 383
12.4.1 时间序列分类网络的发展脉络 383
12.4.2 时序卷积网络 386
12.4.3 长短期记忆网络 386
12.4.4 时序自注意力网络 388
12.4.5 网络结构与遥感数据特征 393
12.5 小结 393
参考文献 394
第三篇 系统架构
第13章 全球多源遥感数据的集成和组织 401
13.1 引言 401
13.2 多源遥感数据格式统一抽象模型 402
13.2.1 几种常见遥感数据格式与格式库 402
13.2.2 遥感数据格式与库分析 402
13.2.3 统一格式抽象库设计与实现 406
13.3 结合数据尺度和产品类型的多源多尺度遥感数据协同剖分体系 408
13.3.1 数据剖分体系 409
13.3.2 多源遥感数据立方体协同生成流程 413
13.3.3 逻辑数据立方体协同生成 414
13.3.4 实体数据立方体协同生成 417
13.4 小结 419
参考文献 419
第14章 全球多源遥感数据信息产品生产流程建模与算法集成 421
14.1 引言 421
14.2 遥感产品生产架构 422
14.3 产品生产架构形式化表达与服务化集成 424
14.3.1 产品生产架构形式化表达 424
14.3.2 产品生产流程脚本生成 427
14.3.3 流程建模过程中不确定问题的处理策略 428
14.3.4 遥感产品算法服务化集成 430
14.4 遥感产品并行处理框架 432
14.4.1 遥感产品处理算法的运算特点 432
14.4.2 上层粗粒度任务并行处理 436
14.4.3 下层基于内存的图像加速处理 438
14.5 小结 440
参考文献 441
第15章 容器化全球多源遥感数据信息产品生产系统关键设计 443
15.1 引言 443
15.1.1 容器与虚拟机 443
15.1.2 容器与镜像内部结构 445
15.1.3 遥感数据信息产品算法容器化的意义 446
15.2 生产系统架构 446
15.3 容器集群架构 448
15.4 算法镜像仓库 450
15.5 算法容器封装与集成 451
15.6 工作流调度与产品生产 453
15.6.1 产品生产业务流程 453
15.6.2 工作流的定义与结构 453
15.6.3 工作流的调度运行 458
15.7 系统实例 461
15.7.1 全球空间数据处理与信息产品生产系统 461
15.7.2 数据管理子系统 461
15.7.3 算法管理子系统 463
15.7.4 产品生产子系统 465
15.7.5 系统管理子系统 467
15.8 小结 470
参考文献 470