 当前图书最新荐购
关于我们
书单推荐 新书推荐 |
大数据离线分析 
定 价：35 元 丛书名：高等院校数据科学与大数据技术系列规划教材
9 7 4 8 8 7 3 3 2 0 9 2 8 
本书内容包括大数据离线分析概述、Hive数据库表、基于HiveQL的常规操作、视图、索引和Pig等数据处理分析等基础工具知识, 还有Hive函数、Pig Latin编程、ETL工具Sqoop和工作流引擎Oozie等相关高级技术。
大数据离线处理目前技术上已经成熟。Hadoop框架是主流技术，使用HDFS存储数据，使用MapReduce做批量计算；需要数据仓库的存入Hive，然后从Hive进行分析和展现；涉及复杂业务场景时，使用Sqoop、Pig、Oozie等工具会更灵活方便。本书综合了大数据离线分析所需的主流技术，并配以案例和丰富的辅助学习资源，足以满足广大学习者入门的需要。
为什么要写这本书
数据时代(DataTime)的到来使大数据技术得到了学术界和产业界的重视，并获得了快速发展。随着全球数字化、移动互联网和物联网在各行各业的应用发展，使累积的数据量越来越大。诸多先行的企业、行业和国家已经证明，利用大数据技术可以更好地服务客户、发现新商业机会、扩大新市场、转换新动能。 当前正处于大数据产业发展的前期，市场需求日趋旺盛，但是人才缺口巨大，技术支撑严重不足，大数据专业知识的广泛传播非常紧迫。 本书基于教育部“2016年产学合作协同育人项目”——普开数据教学内容和课程体系改革项目，作为项目成果公开出版。北京普开数据技术有限公司在多届全国高校教师培训工作中起到了“种子”教师培养的作用，本书编者都是在培训过程中结识并展开合作的；同时在本书编写过程中，公司给予了强力支持，在此表示感谢。 读者对象 (1)学习大数据离线分析的本科和高职高专学生。 (2)从事数据分析相关工作的技术人员。 如何阅读本书 本书主要介绍了基于Hadoop生态圈的大数据离线处理技术。主流的大数据离线分析技术一般包括：使用HDFS存储数据，使用MapReduce做批量计算；需要数据仓库的存入Hive,从Hive进行分析和展现；涉及复杂业务场景时，使用Sqoop、Pig、Oozie等工具会更加灵活方便。 本书略过了HDFS存储数据、MapReduce批量计算的相关内容。HDFS是Hadoop提供的分布式存储框架，它可以用来存储海量数据，MapReduce是Hadoop提供的分布式计算框架，它可以用来统计和分析HDFS上的海量数据。该部分内容为Hadoop基础知识，读者如果需要深入学习，可以参考其他书籍或材料(如清华大学出版社2016年6月出版的《大数据技术基础》)。 本书内容是重点围绕Hive数据仓库展开的，Hive在Hadoop上提供了SQL接口，开发人员只需要编写简单易上手的SQL语句就可以实现创建表、删除表、加载数据、下载数据、分析数据等功能，读者可以从目录的章节名称中快速检索并学习各方面的知识。 同时，本书针对离线分析过程中的工程任务场景还提供了一些辅助工具介绍。Sqoop解决在Hadoop和关系数据库之间传递数据的问题，如果读者有这方面的基础或对其他ETL工具更熟悉，可以略过。Pig为大型数据集的处理提供了更高层次的抽象，以更灵活方便的方法实现加载数据、表达转换数据和存储最终结果，有这方面基础或暂无需求的读者可以略过书中第6、7章。Oozie实现对系统中多任务的管理，当平台中任务数量很大、需要维大数据 离线分析 前言 护和运行时，Oozie可以方便地完成调度监控这些任务的功能，对于仅处理简单任务场景的读者可以略过该部分内容。 偏重实践操作是本书的特色，书中所讲内容基本都配有实践操作演示。通过每部分知识的学习和相应操作环节，可以很快地掌握技术，并有很强的工程应用场景感。本书最后提供了一个综合应用案例，读者可以应用所学知识实现一个工程项目，从而有效训练工程应用开发能力。 勘误和支持 由于本书编者水平有限，书中难免会出现一些错误或者不准确的地方，恳请读者批评、指正。如果在教材使用中遇到问题，或者要学习更多相关内容，请关注微信号或联系普开数据在线实验平台。 编者
绪论001
第1章走进Hive003 1.1Hive简介003 1.1.1Hive发展史003 1.1.2体系结构004 1.2Hive的安装部署005 1.2.1安装配置Hive005 1.2.2启动Hive008 1.3Hive命令009 1.3.1Hive命令行选项009 1.3.2CLI命令行界面010 1.3.3Hive中CLI命令的快速编辑011 1.3.4Hive中的脚本011 1.3.5dfs命令的执行013 1.4数据类型和文件格式014 1.4.1基本数据类型014 1.4.2集合数据类型015 1.4.3文本文件数据编码016 本章小结018 习题018 第2章HiveQL数据定义020 2.1数据库的创建与查询020 2.2数据库的修改与删除021 2.3创建表022 2.3.1管理表023 2.3.2外部表023 2.3.3查看表结构024 2.4修改表025 2.5删除表026大数据 离线分析 目录 2.6分区表027 2.6.1外部分区表028 2.6.2自定义表的存储格式030 2.6.3增加、修改和删除分区表031 2.7桶表031 本章小结032 习题033 第3章HiveQL数据操作034 3.1数据加载与导出034 3.1.1数据加载034 3.1.2数据导出036 3.2数据查询037 3.2.1SELECT ... FROM语句037 3.2.2WHERE语句040 3.2.3GROUP BY语句与HAVING语句042 3.2.4JOIN语句043 3.2.5ORDER BY语句和SORT BY语句046 3.2.6CLUSTER BY语句047 3.2.7UNION ALL语句048 3.3抽样查询048 3.3.1数据块抽样049 3.3.2分桶表的输入裁剪049 本章小结051 习题051 第4章HiveQL视图和索引052 4.1视图052 4.1.1创建视图052 4.1.2显示视图053 4.1.3删除视图054 4.2索引054 4.2.1创建索引055 4.2.2重建索引055 4.2.3显示索引056 4.2.4删除索引056 本章小结057 习题057 第5章Hive的函数058 5.1函数简介058 5.1.1发现和描述函数058 5.1.2调用函数059 5.1.3标准函数059 5.1.4聚合函数061 5.1.5表生成函数067 5.2用户自定义函数UDF068 5.3用户自定义聚合函数UDAF072 5.4用户自定义表生成函数UDTF074 5.5UDF的标注075 5.5.1定数性标注(deterministic)076 5.5.2状态性标注(stateful)076 5.5.3唯一性标注(distinctLike)076 本章小结076 习题077 第6章认识Pig078 6.1初识Pig078 6.1.1Pig是什么078 6.1.2Pig的应用场景078 6.1.3Pig的设计思想079 6.1.4Pig的发展简史080 6.2安装、运行Pig080 6.2.1安装Pig080 6.2.2运行Pig081 本章小结082 习题082 第7章Pig基础084 7.1命令行工具Grunt084 7.1.1输入Pig Latin脚本084 7.1.2使用HDFS命令085 7.1.3控制Pig087 7.2Pig数据类型088 7.2.1基本类型088 7.2.2复杂类型089 7.2.3NULL值089 7.2.4类型转换090 本章小结092 习题092 第8章Pig Latin编程093 8.1Pig Latin介绍093 8.1.1基础知识093 8.1.2输入和输出094 8.2关系操作095 8.2.1foreach语句096 8.2.2filter语句096 8.2.3group语句097 8.2.4order语句097 8.2.5distinct语句098 8.2.6join语句098 8.2.7limit语句098 8.2.8sample语句099 8.2.9parallel语句099 8.3用户自定义函数UDF101 8.3.1注册UDF102 8.3.2define命令和UDF103 8.3.3调用Java函数104 8.4开发工具104 8.4.1describe104 8.4.2explain105 8.4.3illustrate107 8.4.4Pig统计信息109 8.4.5M/R作业状态信息111 8.4.6调试技巧112 本章小结113 习题113 第9章数据ETL工具Sqoop115 9.1安装Sqoop115 9.2数据导入117 9.2.1导入实例118 9.2.2导入数据的使用119 9.2.3数据导入代码生成120 9.3数据导出121 9.3.1导出实例121 9.3.2导出和SequenceFile123 本章小结123 习题124 第10章Hadoop工作流引擎Oozie125 10.1Oozie是什么125 10.2Oozie的安装125 10.3Oozie的编写与运行131 10.3.1Workflow组件131 10.3.2Coordinator组件133 10.3.3Bundle组件134 10.3.4作业的部署与执行134 10.3.5向作业传递参数136 10.4Oozie控制台136 10.4.1控制台界面136 10.4.2获取作业信息137 10.5Oozie的高级特性139 10.5.1自定义Oozie Workflow139 10.5.2使用Oozie JavaAPI141 本章小结143 习题143 第11章离线计算实例145 11.1微博历史数据分析145 11.1.1数据结构145 11.1.2需求分析146 11.1.3需求实现146 11.2电商销售数据分析160 11.2.1数据结构160 11.2.2需求分析161 11.2.3需求实现161 本章小结169 参考文献
第章
3 HiveQL数据操作 本章摘要 在第2章中学习了管理表、外部表、分区表和桶表的概念，并且学习了创建、修改和删除表。在本章中将学习如何对Hive表中的数据进行操作。 首先，将学习如何把数据加载到表中，以及如何把表中的数据导出到指定的位置；其次，作为本章最重要的部分，将要学习一些数据查询语句，包括简单的查询语句和复杂的查询语句，因为好多用户需求需要通过查询语句得出结果；最后，简单介绍抽样查询。 3.1数据加载与导出 本节主要学习如何往表中加载数据，以及怎么导出数据。数据加载的几种主要方式：从本地系统中导入数据到Hive表中、从HDFS上导入数据到Hive表中、通过查询语句向Hive表中导入数据，以及动态分区插入数据；数据导出包括如何导出数据和导到何处。 3.1.1数据加载 1.从本地系统中导入数据到Hive表中 实例：hive>LOADDATALOCALINPATH'/home/zkpk/empmessages'INTOTABLEemp_messages;本例是把本地文件empmessages中的数据导入创建的Hive表emp_messages中。通过这个实例，整理出通用的语句格式是：LOADDATALOCALINPATH'/本地文件路径'INTOTABLEtablename;注意：关键字LOCAL不能漏掉。如果忘记此关键字，则默认从HDFS上去寻找所需要的数据文件路径。 2.从HDFS上导入数据到Hive表中 实例：\[zkpk@master~\]$hadoopfs-put/home/zkpk/empmessages/data/emp_messages;由于已创建的管理表就在HDFS上，所以只需要将文件put到管理表所在的目录就可以完成数据导入。通过这个实例，整理出来通用的语句格式是：hadoopfs-put'/数据所存放的本地路径''/创建表时存放表的路径'大数据 离线分析 0第3章 HiveQL数据操作 03.通过查询语句向Hive表中导入数据 通过查询语句向一张Hive空表中导入数据的实例。hive>INSERTINTOTABLEemp_messagesSELECTFROMold_emp_messages;如该例所示，首次向表中插入数据时，语句为INSERTINTOTABLEtablenameSELECT...INTO...。 查看此时表中的数据，验证执行结果。使用OVERWRITE关键字时，可以覆盖目标表中原来相同partition中的所有数据，如果目标表中没有partition，则覆盖整个表。hive>INSERTOVERWRITETABLEemp_messagesSELECTFROMold_emp_messages;查看此时表中的数据，验证执行结果。4.动态分区插入数据 所谓动态分区，也称作动态分区插入，指的是插入目标表时仅指定分区字段，不指定分区值，分区值是从原始表中取得的。静态分区和动态分区的区别在于导入数据时，是手动输入分区名称，还是通过数据来判断数据分区。如果一次插入上百上千个分区中，只写插入的代码就很多,这种场景就适合使用动态分区插入功能。 默认情况下，Hive是支持动态分区插入的，但是并没有开启。开启后，默认是以“严格”模式执行：要求至少有一列分区字段是静态的。这有助于阻止因设计错误导致查询产生大量的分区。表31描述了动态分区相关的属性设置。表31动态分区属性 属性名称默认值描述hive.exec.dynamic.partitionfalse设置成true，表示开启动态分区功能hive.exec.dynamic.partition.modestrict设置成nonstrict，表示允许所有分区都是动态的hive.exec.max.dynamic.partitions.pernode100每个Mapper或Reducer可以创建的最大动态分区个数。如果某个Mapper或Reducer尝试创建大于这个值的分区，则会抛出一个致命的错误信息hive.exec.max.dynamic.partitions1000一个动态分区创建语句可以创建的最大动态分区个数。如果超过这个值，则会抛出一个致命错误信息hive.exec.max.created.files100000全局可以创建的最大文件个数。有一个Hadoop计数器会跟踪记录创建了多少个文件，如果超过这个值，则会抛出一个致命错误信息在学习动态分区插入数据前，先学习静态分区插入数据。所谓的静态分区插入数据就是在写插入语句时，分区的值为一个确定的值，通过如下的例子可以加深认识。hive>INSERTOVERWRITETABLEtestparPARTITION(days='0328') >SELECTFROMtesttWHEREt.day='0328';接下来，查看一下插入的结果。动态分区，顾名思义，就是在分区的字段值不确定的情况下进行数据插入操作。hive>INSERTOVERWRITETABLEtestparPARTITION(days) >SELECTFROMtest;注意：如果分区是可以确定的，建议用静态分区的方式。不要用动态分区，因为动态分区的值是在reduce运行阶段确定的，也就是会把所有的记录distributeby。可想而知，表记录非常大的情况下，只有一个reduce处理，后果是不可想象的。然而，静态分区在编译阶段已经确定，不需要reduce处理。 3.1.2数据导出 数据导出可以分为：导出到本地文件系统中；导出到HDFS文件中；从一张表导出到另一张表中。 1.把数据导出到本地文件系统中hive>INSERTOVERWRITELOCALDIRECTORY'/home/zkpk/test' >SELECTFROMtest;执行完上面的语句，在本地文件系统中查看有没有导出数据的文件。2.把数据导出到HDFS文件中hive>INSERTOVERWRITEDIRECTORY'/data/test_1' >SELECTFROMtest;查看结果如下：3.从一张表导出到另一张表中hive>INSERTINTOTABLEtest_1 >SELECTFROMtest;查看结果如下： 如果数据文件恰好是用户所需要的格式，那么只需要把数据复制到目标路径下。hadoopfs-cp/source_path/target_path 3.2数据查询 在本节中，通过搜狗搜索日志分析系统案例来介绍一些常用的数据查询语句。 创建表：hive>CREATETABLEsougou_20111230( >logdateSTRING, >uidSTRING, >keywordSTRING, >rankINT, >searchorderINT, >urlSTRING) >ROWFORMATDELIMITED >FIELDSTERMINATEDBY'\\t' >LOCATION'/data/sogou_20111230'; hive>CREATETABLEsougou_old_20111230( >logdateSTRING, >uidSTRING, >keywordSTRING, >rankINT, >searchorderINT, >urlSTRING) >ROWFORMATDELIMITED >FIELDSTERMINATEDBY'\\t' >LOCATION'/data/sogou_old_20111230';3.2.1SELECT...FROM语句 SELECT...FROM语句和MySQL中的语法是一致的，SELECT是SQL中的投影算子，FROM子句标识了从哪个表、视图或嵌套查询中选择记录。 查询表sougou_20111230中的所有字段信息。一张表中的字段有可能非常多，当用户所需要查询的字段只需要少数几个时，把需要的字段列举出来即可。对于集合数据类型，引用集合数据类型中的元素有以下方式。 (1)数组引用方式，其索引是从0开始的(和Java一样)，语句如下：SELECT字段名\[集合数据类型中的元素的位置\]FROMtablename;注意：引用一个不存在的元素将会返回NULL。 (2)为了引用一个MAP元素，用户还可以使用ARRAY\[...\]语法，但是使用的键值是非整数索引。语句如下：SELECT字段名\[集合数据类型中的元素内容\]FROMtablename;(3)为了引用STRUCT中的一个元素，用户可以使用“.”符号，类似于“表的别名.列名”。SELECT字段名.集合中的某个元素FROMtablename;FROM子句在使用中还有以下用法和功能。 1.LIMIT语句 往往典型的查询会返回多行数据，有时候不需要查询那么多行，这时候可以使用LIMIT关键字来限制行数。例如，查询表sougou_20111230中5行数据。hive>SELECTFROMsougou_20111230LIMIT5;结果如下： ……
你还可能感兴趣
我要评论
|
