在互联网+时代，数据是炙手可热的重要资源，网络使用基础的提升，数据流量增大，用户需求多样化和多变对架构设计提出严峻考验，而Hadoop为快速响应用户需求提供了重要技术支撑。作者Rajiv Tiwari从事数据研究近15年，在Hadoop应用方面有许多实战经验，他通过实际案例帮助读者学习如何借助Hadoop来处理巨大数据信息，对于开发者、分析师、架构师、管理者等都具有很好的指导。
你将从本书中得到什么？
了解大数据和Hadoop基础，包括实际的金融使用案例。
了解基于Hadoop的金融项目的阐述和解决方案、大数据监管，以及如何保持Hadoop的势头。
在Hadoop平台上开发一系列从小规模到大规模的数据项目的解决方案。
了解如何从云上掌握大数据。
在当前的实际业务情况下，在企业级管理上扩大现有平台。
数据正以惊人的速度增加，而公司要么疲于应付，要么急于利用这些数据进行分析。Hadoop是一个优秀的开源框架，可以应付这些大数据问题。
在过去的几年里，我一直在金融部门使用Hadoop，但在使用的过程中，一直没有发现有关Hadoop在金融应用中的任何案例资源或书籍。我遇到的关于Hadoop、Hive或一些MapReduce模式的书籍大都是用各种各样的方式统计单词数量或分析Twitter信息。
我写这本书旨在解释Hadoop和其他相关产品在处理金融案例大数据中的基本应用。在书中，介绍了很多案例并提供了一个非常实用的方法。
这本书包含什么
第1章，大数据回顾。本章包含大数据概览、前景和技术演变，也介绍了Hadoop架构的基本知识、组成部分和分布式框架。如果你之前已经了解Hadoop，这一章可以忽略。
第2章，金融服务中的大数据。本章将延伸到站在一个金融机构的角度去看大数据。主要介绍大数据在金融部门的演进故事，在项目落地时的一些挑战，以及利用相关工具和技术处理金融案例的应用。
第3章，在云端使用Hadoop。本章包含大数据在云端使用的概览，以及基于端到端数据处理的样本投资组合风险模拟项目。
第4章，使用Hadoop进行数据迁移。本章讨论了将历史数据从传统数据源迁到Hadoop上的几种常用项目。
第5章，入门。本章包含了一个非常大的企业数据平台的实施项目，以支持各种风险和监管要求。
第6章，变得有经验。本章给出了实时分析的概览和检测欺诈交易的样本项目。
第7章，深入扩展Hadoop的企业级应用。本章包含的主题扩展到Hadoop在公司中的使用，如企业数据湖、Lambda架构和数据管理。还介绍了更多基本的财务案例与简短的解决方案。
第8章，Hadoop的快速增长。本章讨论了Hadoop分布式架构的升级周期，并用最佳实践和标准完成此书。
阅读这本书你需要哪些基础知识
因为Hadoop是一个数据处理和分析的技术框架，因此在数据库、项目和分析工具上有一些经验对读者会有帮助。
这本书是一个入门指南，包含了大量外部引用的大数据产品。因此，如果在任何时候需要深入了解Hadoop，我们鼓励读者参考书中提到的外部资源。
哪些人适合读这本书
本书主要面向致力于使用Hadoop的金融部门工作人员，包含数据项目开发人员、分析师、架构师和管理人员。
它也有助于来自其他行业最近转换或想将业务领域转向金融部门的技术专业人士。
王小宁，中国人民大学统计学院14级硕士、16级博士，统计之都副主编，中国人民大学数据挖掘中心分布式计算负责人，中国人民大学中国调查与数据中心研究员，研究兴趣包括统计机器学习、缺失数据处理和数据流抽样。
Rajiv Tiwari，是一位有着超过 15年经验的自由大数据架构师，他的研究方向包括大数据、数据分析、数据管理、数据架构、数据清洗 /数据整合、数据仓库，以及银行和其他金融组织中的数据智能等。
他毕业于瓦拉纳西印度理工学院（ IIT）电子工程专业，在英国工作了 10年有余，大部分时间居住在英国金融城——伦敦。从 2010年起， Rajiv 就开始使用 Hadoop，当时银行部门使用 Hadoop 的还很少。他目前正在帮助 1级投资银行（ Tier 1 Investment Bank）在 Hadoop平台上实施一个大型风险分析项目。
目 录
第 1章 大数据回顾. ...................................................................... 1
大数据是什么 ........ 1
数据量 ............ 2
数据速度 .......... 2
数据类型 .......... 3
大数据技术的演 ...... 3
过去 ................... 3
现在 .................... 4
未来 ................ 5
大数据愿景 ............ 5
存储 .................. 6
NoSQL ............ 6
NoSQL数据库类型 ....... 7
资源管理 ........... 7
数据治理 ............ 8
批量计算 ............ 8
实时计算 ............. 8
数据整合工具 ........... 9
机器学习 ........... 9
商务智能和可视化 ......... 9
大数据相关的职业 ........ 10
Hadoop架构 ..............11
HDFS集群 ............. 12
MapReduce V1 ........ 14
MapReduce V2——YARN ......... 15
Hadoop生态圈简介 ...... 18
驯服大数据 .... 18
Hadoop——英雄 ......... 19
HDFS——Hadoop分布式系统 ............ 19
Hadoop版本 .... 23
发行版——本地部署 .......... 25
发行版——云端 ................. 27
总结 .............................. 28
第 2章 金融服务中的大数据.................. 29
各个行业的大数据使用情况 .......................... 29
卫生保健 ............................. 30
人类科学 ............................. 30
电信 ..................................... 31
在线零售商 ......................... 31
为什么金融部门需要大数据 31
金融部门的大数据应用案例 34
HDFS上的数据归档 ......... 34
监管 ..................................... 35
欺诈检测 .............................. 35
交易数据 .............................. 36
风险管理 ............................. 36
客户行为预测 ...................... 36
情感分析——非结构化 ..... 36
其他应用案例 ..................... 37
金融大数据的演进过程 ........ 37
应该如何学习金融大数据 .... 41
把你的数据上传到 HDFS上 .................... 41
从 HDFS上查询数据 ........ 42
在 Hadoop上的 SQL............. 43
实时 ..................................... 44
数据治理和运营 ................. 44
ETL工具 .............................. 45
数据分析和商业智能 ......... 45
金融大数据的实现 ................ 46
关键挑战 ............................. 46
克服挑战 .............................. 47
总结 ........................................ 50
第 3章 在云端使用 Hadoop........ 51
大数据云的故事 .................... 51
原因 ...................................... 52
时机 ...................................... 53
收获 ..................................... 54
项目细节——在云中进行风险模拟 .............................. 54
解决方案 ............................. 55
现实世界 ............................. 55
目标世界 ............................. 57
数据转换 ............................. 60
数据分析 ............................. 62
总结 ........................................ 63
第 4章 使用 Hadoop进行数据迁移. ............. 65
项目细节——归档你的交易数据 ................. 65
解决方案 ............................. 67
项目第一阶段——分裂交易数据到数据仓库和 Hadoop ......... 68
项目第二阶段——完成数据从关系型数据仓库到 Hadoop的迁移 ..... 77
总结 ......................................... 83
第 5章 入门. .............................. 85
项目详细信息——风险和监管报告 ............. 86
解决方案 .............................. 87
现实世界 ............................. 87
目标世界 ............................. 88
数据收集 ............................. 89
数据转换 ............................. 97
数据分析 ............................112
总结 .......................................116
第 6章 变得有经验. ....... 117
实时大数据 ...........................117
项目细节——识别欺诈交易 ....................119
解决方案 ........................... 120
现实世界 ............................... 120
目标世界 ............................ 120
马尔科夫链模型执行——批处理模式 ............... 121
数据收集 ............................. 126
数据转换 ........................... 128
总结 .......................... 132
第 7章 深入扩展 Hadoop的企业级应用................ 133
扩展开来——实际上的水平 ..................... 134
更多的大数据使用案例 ................................. 135
使用案例——再谈欺诈问题 ................. 136
解决方案 ........................................... 136
使用案例——用户投诉 ........................ 137
解决方案 ........................................ 137
使用案例——算法交易 ................... 137
解决方案 ................ 138
使用案例——外汇交易 .................................. 138
解决方案...................... 138
使用案例——基于社交媒体的交易数据 ......... 139
解决方案 ........................................ 139
使用案例——非大数据 ................... 140
解决方案 ............................. 140
数据湖 .................................. 140
Lambda架构 ........................ 143
大数据管理 .......................... 144
Apache Falcon概览 ......... 146
安全性 .................................. 147
总结 ...................................... 149
第 8章 Hadoop的快速增长..................... 151
Hadoop发行版的升级周期 .................. 151
最佳实践和标准 ...................................... 154
环境 ............................................... 154
与 BI和 ETL工具的集成 ................ 155
提示 ............................................. 155
新的趋势 ................................... 157
总结 ................ 158
书单推荐
