高性能分布式计算系统开发与实现：基于Hadoop、Scalding和Spark_[印度] 斯里尼瓦沙（Srinivasa, K.G.）, 阿尼尔·库马尔·穆帕拉（Anil Kumar Muppal_9787111601531

本书分两部分，共8章，介绍了如何使用开源工具和技术开发与实现大规模分布式处理系统，涵盖构建高性能分布式计算系统的方法和佳实践。第一部分（第1~4章）介绍了高性能分布式计算编程的基础知识，包括分布式系统、Hadoop入门、Spark入门、Scalding入门等；第二部分（第5~8章）给出了使用Hadoop、Spark、Scalding的案例研究，涉及数据聚类、数据分类、回归分析、推荐系统等。本书适合作为高等院校计算机相关专业的教材，也适合作为软件工程师、应用开发人员、科研人员的参考书。

前　　言过去的二十年中，随着计算机的使用越来越广泛，产生了大量的数据。生产与生活中各类设备和工具的数字化也促进了数据的增长。市场中，对这些庞大且不断增长的数据进行存储、处理和分析的需求应运而生。在硬件层面，每秒进行万亿次浮点运算的高性能计算（HPC）系统可以对庞大的数据进行管理。由于单个计算机无法应对其操作的复杂性，因此HPC系统需要在分布式环境中运行。可以通过两种趋势实现万亿次浮点的分布式运算。一种是通过全球网络连接计算机，实现复杂数据的分布式管理。另一种是采用专用的处理器，并集中存放，这样可以缩短机器之间的数据传输时间。这两种趋势正在呈现快速的融合之势，必然会为浩繁的数据处理问题带来更为迅捷和有效的硬件解决方案。
在软件层面，Apache Hadoop在解决庞大数据的管理问题方面已经是久负盛名。Hadoop的生态系统包括Hadoop分布式文件系统（HDFS）、MapReduce框架（支持多种数据格式和数据源）、单元测试、对变体和项目进行聚类（如Pig、Hive等）。它能够实现包括存储和处理在内的全生命周期的数据管理。Hadoop的优势在于，它通过分布式模块处理大型数据。它还可以处理非结构化数据，这使其更具吸引力。与HPC骨干网结合，Hadoop可以使处理海量数据的任务变得非常简单。
如今，很多高级的Hadoop框架，如Pig、Hive、Scoobi、Scrunch、Cascalog、Scald-ing和Spark，使得Hadoop易于操作。它们中大多数都得到著名企业的支持，如Yahoo（Pig）、Facebook（Hive）、Cloudera（Scrunch）和Twitter（Scalding），这说明Hadoop在工业领域得到了广泛支持。这些框架使用的是Hadoop的基础模块，例如HDFS和MapReduce，但是通过创建一个抽象来隐藏Hadoop模块的复杂性，为复杂的数据处理提供了一种简单的方法。这个抽象的一个例证就是Cascading。许多具体的语言是使用Cascading的框架创建的。其中一个实例就是Twitter的Scalding，它用来查询存储在HDFS中的大型数据集，如Twitter上的推文。
Hadoop和Scalding中的数据存储大多基于磁盘。这一结构因其较长的数据寻道和传输时间影响了运行速率。如果数据从磁盘中读取然后保持在内存中，运行速率会提高数倍。Spark实现了这一概念，并宣称其效率较之MapReduce在内存中快100倍，在磁盘上快10倍。Spark使用了弹性分布式数据集的基本抽象，这些数据集是分布式的不可变集合。由于Spark将数据存储在内存中，因此迭代算法可以在数据挖掘和机器学习方面更有效地发挥作用。
目标本书旨在介绍使用自由和开放源码的工具和技术（如Hadoop、Scalding、Spark等）构建分布式处理系统的方法，关键目标包括以下几点。
使读者掌握当前使用Hadoop、Scalding和Spark构建高性能分布式计算系统的新发展。
为读者提供相关理论的软件框架和实践途径。
为学生和实践者使用自由及开放源码软件技术（如Hadoop、Scalding和Spark）提供指导和实例。
使读者加深对与高性能分布式计算（HPDC）相关的新兴范式在构建可扩展软件系统以供大规模数据处理方面的理解。
本书结构本书共8章，分成两部分，各章内容概述如下。
第一部分　高性能分布式计算编程基础第1章阐述构成现代HPDC范式（如云计算、网格和集群系统等）主体的分布式系统的基本知识。从讨论各种形式的分布式系统开始，解析它们的通用架构，也谈及其设计的核心，即分布式文件系统。此外，还通过相关的示例说明其在发展过程中遇到的技术难题和该领域近年来的发展趋势。
第2章概述Hadoop生态系统，一步步地介绍系统的安装、编程和实现。第3章描述Spark的核心—弹性分布式数据集，谈及其安装、API编程，并给出一些范例。第4章重点阐述Hadoop流，也涉及Scalding的应用，并讨论Python在Hadoop和Spark中的应用。
第二部分　使用Hadoop、Scalding和Spark的案例研究本书并不局限于解释基本的理论常识，它的优势在于提供了程序范例。书中给出四个案例，内容涉及很多应用领域和计算方法，足以令怀疑论者变成Scalding和Spark的信众。第5章讲述K均值聚类算法的实现，第6章讲述使用朴素贝叶斯分类器进行数据分类。第7章进一步阐述使用Scalding和Spark的分布式系统中进行数据挖掘和机器学习的方法，并概述回归分析。
当前，推荐系统在诸多领域都非常受欢迎。它自动充当了两个不相交实体的中间人，在购物、检索、出版领域的现代网络应用中正日趋流行。一个可运行的推荐系统不仅需要有强大的计算引擎，还应该能够实时扩展。第8章阐释使用Scalding和Spark创建这样一个推荐系统的过程。
目标受众本书的目标受众主要包括：
软件工程师和应用开发者学生和大学讲师自由和开放源码软件的贡献者研究人员代码库书中使用的源码和数据集可以从https://github.com/4ni1/hpdc-scalding-spark下载。
致谢感谢以下人员在本书的准备过程中提供的支持和帮助：
M. S.拉迈阿理工学院董事M. R. Seetharam先生M. S.拉迈阿理工学院董事M. R. Ramaiah先生M. S.拉迈阿理工学院行政主管S. M. Acharya先生M. S.拉迈阿理工学院院长S. Y. Kulkarni博士M. S.拉迈阿

你还可能感兴趣

我要评论