Hadoo大数据平台部署与应用PPT课件.pptx

1、Hadoop大数据平台部署与应用主讲：吕震宇主要内容主要内容l1 1、Hadoop Hadoop 生态系统生态系统概述以及版本概述以及版本演化演化l2 2、Hadoop Hadoop 发行版介绍（开源版发行版介绍（开源版）l3 3、Hadoop Hadoop 安装安装l4 4、HDFS HDFS 上机上机操作操作l5 5、HBASE HBASE 上机操作上机操作l6 6、YARN YARN 上机上机操作操作l7 7、MapReduceMapReduce 上机操作上机操作l8 8、SPARK SPARK 概述概述1 1、Hadoop Hadoop 生态系统生态系统概述以及版本演化概述以及版本演化

2、Hadoop 1.0 Hadoop 1.0 与与 Hadoop 2.0Hadoop 2.0分布式存储系统 HDFSHDFS（Hadoop Distributed File System）提供了高可靠性、高扩展性和高吞吐率的数据存储服务分布式计算框架 MapReduceMapReduce具有易于编程、高容错性和高扩展性等优点资源管理系统 YARNYARN（Yet Another Resource Negotiator）负责集群资源的统一管理和调度HADOOP 1.0HADOOP 1.0HADOOP 2.0HADOOP 2.0HDFSHDFS(redundant, reliable storage

3、)MapReduceMapReduce(cluster resource management & data processing)MapReduceMapReduce(data processing)OthersOthers(data processing)YARNYARN(cluster resource management)HDFSHDFS(redundant, reliable storage)HDFS HDFS 架构架构DataNodeDataNodeDataNodeDataNodeDataNodeLocal DiskNameNodeNameNodeSecondarySeconda

4、ryNameNodeNameNodeHDFSHDFSClientClientLocal DiskLocal DiskLocal DiskLocal Disk心跳、均衡负载、复制等HDFS HDFS 架构架构lActive Active NamenodeNamenodel主 Master（只有一个），管理 HDFS 的名称空间，管理数据块映射信息l配置副本策略；处理客户端读写请求lSecondary Secondary NameNodeNameNodelNameNode 的热备；定期合并 fsimage 和 fsedits，推送给 NameNode；l当 Active NameNode 出现故障

5、时，快速切换为新的 Active NameNode。lDatanodeDatanodelSlave（有多个）；存储实际的数据块；执行数据块读 / 写lClientClientl与 NameNode 交互，获取文件位置信息；l与 DataNode 交互，读取或者写入数据；管理 HDFS、访问 HDFS。MapReduceMapReducel源自源自于于 Google Google 的的 MapReduceMapReduce 论文论文l发表于 2004 年 12 月lHadoop MapReduce 是 Google MapReduce 克隆版lMapReduceMapReduce特点特点l良好的

6、扩展性l高容错性l适合 PB 级以上海量数据的离线处理词频统计的词频统计的 MapReduceMapReduce 处理过程处理过程Deer Bear RiverCar Car RiverDeer Car BearDeer，1Bear，1River，1Car，1Car，1River，1Deer ，1Car，1Bear，1Deer Bear RiverCar Car RiverDeer Car BearBear，1Bear，1Car，1Car，1Car，1Deer ，1Deer ，1River，1River，1Bear，2Car，3Deer ，2River，2Bear，2Car，3Deer ，2R

7、iver，2InputSplittingMappingReducingShufflingFinal resultHadoop Hadoop 构成：构成：YARNYARN（资源管理系统）（资源管理系统）Application Run Natively Application Run Natively ININ Hadoop HadoopBATCHBATCH(MapReduce)YARN YARN (Cluster Resource Management)HDFS2 HDFS2 (Redundant, Reliable Storage)InterActiveInterActive(Tez)ONLI

8、NEONLINE(HBase)STREAMINGSTREAMING (Storm,S4,)GRAPHGRAPH (Giraph)IN-MEMORYIN-MEMORY (Spark)HPC MPIHPC MPI (OpenMPI)OTHEROTHER (Search)YARN是什么Hadoop 2.0 新增系统负责集群的资源管理和调度使得多种计算框架可以运行在一个集群中YARN的特点良好的扩展性、高可用性对多种类型的应用程序进行统一管理和调度自带多种多用户调度器，适合共享集群环境Hadoop Hadoop 生态系统：生态系统：1.0 1.0 时代时代Flume Flume （日志收集）Zooke

9、eperZookeeper （分布式协调服务）Mahout Mahout （数据挖掘库）Hive Hive （数据仓库）OozieOozie （作业流调度系统）MapReduceMapReduce （分布式计算框架）AmbariAmbari （安装部署工具）HDFS HDFS （分布式存储系统）Pig Pig （工作流引擎）HbaseHbase （分布式数据库）SqoopSqoop （数据库TEL工具）HiveHive（基于（基于MRMR的数据仓库）的数据仓库）l由由FacebookFacebook开源，最初开源，最初用于海量结构化日志用于海量结构化日志数据数据统计；统计；lETL（Extra

10、ction-Transformation-Loading）工具l构建构建在在HadoopHadoop之上的数据之上的数据仓库仓库l数据计算使用 MapReduce，数据存储使用HDFSlHive Hive 定义了一种类定义了一种类 SQL SQL 查询语言查询语言HQLHQLl类似SQL，但不完全相同l通常通常用于进行离线数据处理（用于进行离线数据处理（采用采用 MapReduceMapReduce）l可认为是一个 HQLMR 的语言翻译器PigPig（作业流引擎）（作业流引擎）l由由 yahoo!yahoo! 开源开源l是提供一种基于 MapReduce 的 ad-hoc 数据分析工具l构建

11、在Hadoop之上的数据仓库l定义定义了一种了一种数据流语言数据流语言 Pig Pig LatinLatinl通常用于进行离线分析WordCountWordCount：MapReduceMapReduce 实现实现public static class public static class TokenizerMapperTokenizerMapper extends MapperObject, Text, Text, extends Mapper private final static private final static IntWritableIntWritable one = ne

12、w one = new IntWritableIntWritable(1);(1); private Text word = new Text(); private Text word = new Text(); public void map(Object key, Text value, Context public void map(Object key, Text value, Context contextcontext ) throws ) throws IOExceptionIOException, , InterruptedExceptionInterruptedExcepti

13、on StringTokenizerStringTokenizer itritr = new = new StringTokenizerStringTokenizer( (value.toStringvalue.toString();(); while ( while (itr.hasMoreTokensitr.hasMoreTokens() () word.setword.set( (itr.nextTokenitr.nextToken();(); context.writecontext.write(word, one);(word, one); public static class p

14、ublic static class IntSumReducerIntSumReducer extends Reducer extends Reducer private private IntWritableIntWritable result = new result = new IntWritableIntWritable();(); public void reduce(Text key, public void reduce(Text key, IterableIterable values values, Context , Context contextcontext ) thr

15、ows ) throws IOExceptionIOException, , InterruptedExceptionInterruptedException intint sum = 0; sum = 0; for ( for (IntWritableIntWritable valval : values) : values) sum += sum += val.getval.get();(); result.setresult.set(sum);(sum); context.writecontext.write(key, result);(key, result); WordCountWo

16、rdCount：MapReduceMapReduce 实现实现public static void main(String public static void main(String argsargs) throws Exception ) throws Exception Configuration Configuration confconf = new Configuration(); = new Configuration(); String String otherArgsotherArgs = new = new GenericOptionsParserGenericOption

17、sParser( (confconf, , argsargs).).getRemainingArgsgetRemainingArgs();(); if ( if (otherArgs.lengthotherArgs.length != 2) != 2) System.err.printlnSystem.err.println(Usage: (Usage: wordcountwordcount ); ); System.exitSystem.exit(2);(2); Job Job jobjob = new Job( = new Job(confconf, word count);, word

18、count); job.setJarByClassjob.setJarByClass( (WordCount.classWordCount.class);); job.setMapperClassjob.setMapperClass( (TokenizerMapper.classTokenizerMapper.class);); job.setCombinerClassjob.setCombinerClass( (IntSumReducer.classIntSumReducer.class);); job.setReducerClassjob.setReducerClass( (IntSumR

19、educer.classIntSumReducer.class);); job.setOutputKeyClassjob.setOutputKeyClass( (Text.classText.class);); job.setOutputValueClassjob.setOutputValueClass( (IntWritable.classIntWritable.class);); FileInputFormat.addInputPathFileInputFormat.addInputPath(job, new Path(job, new Path(otherArgsotherArgs0);

20、0); FileOutputFormat.setOutputPathFileOutputFormat.setOutputPath(job, new Path(job, new Path(otherArgsotherArgs1);1); System.exitSystem.exit( (job.waitForCompletionjob.waitForCompletion(true) ? 0 : 1);(true) ? 0 : 1); WordCountWordCount：Hive Hive 实现实现SELECTSELECT word, COUNT( word, COUNT(* *) ) FROM

21、FROM doc doc LATERAL LATERAL VIEW VIEW explode(split(text, ) explode(split(text, ) lTablelTable as word as word GROUP GROUP BY BY word;word;WordCountWordCount：Pig Pig 实现实现- 加载数据input = load /input/data as (input = load /input/data as (line:chararrayline:chararray););- 将字符串分割成单词words = words = foreac

22、hforeach input generate input generateflatten(TOKENIZE(line) as word;flatten(TOKENIZE(line) as word;- 对单词进行分组grpdgrpd = group words by word; = group words by word;- 统计每组中单词数量cntdcntd = = foreachforeach grpdgrpd generate generate group, COUNT(wordsgroup, COUNT(words););- 打印结果dump dump cntdcntd; ;Maho

23、utMahout（数据挖掘库）（数据挖掘库）lMahoutMahoutl基于Hadoop的机器学习和数据挖掘的分布式计算框架l实现实现了三大类算法了三大类算法l推荐(Recommendation)l聚类(Clustering)l分类(Classification)HbaseHbase（分布式数据库）（分布式数据库）l源自源自 Google Google 的的 BigtableBigtable 论文论文l发表于 2006 年 11 月lHbase 是 Google Bigtable 克隆版Hadoop Hadoop 生态系统：生态系统：2.0 2.0 时代时代Flume Flume （日志收集）

24、ZookeeperZookeeper （分布式协调服务）TezTez （DAG计算）SharkSharkOozieOozie （作业流调度系统）MapReduceMapReduce （分布式计算框架）AmbariAmbari （安装部署工具）HDFS HDFS （分布式存储系统）HbaseHbase （分布式数据库）SqoopSqoop （数据库TEL工具）HiveHivePigPigYARN YARN （分布式计算框架）Spark Spark （内存计算）Hive2Hive2Pig2Pig22 2、Hadoop Hadoop 发行版介绍（开源版）发行版介绍（开源版）Hadoop Hadoop

25、 发行版介绍（开源版）发行版介绍（开源版）lApache HadoopApache Hadoopl推荐使用最新的2.x.x版本，比如2.4.0l下载地址：http:/hadoop.apache.org/releases.htmllSVN：http:/svn.apache.org/repos/asf/hadoop/common/branches/lCDHCDH（Cloudera Distributed Hadoop）l推荐使用最新的 CDH5 版本，比如 CDH 5.0.0l下载地址： http:/ Data Platform）l推荐使用最新的 HDP 2.x 版本，比如 HDP 2.1 版本l

26、下载地址：http:/ Hadoop 版本演化：版本演化：HDPHDPHadoop Hadoop 版本演化：版本演化：CDHCDH3 3、Hadoop Hadoop 安装安装Hadoop Hadoop 安装安装 软件准备软件准备l下载下载 IntellijIntellij IDEAIDEA（在（在windowswindows中安装即可）中安装即可）lhttps:/ Community Editionl下载下载 Hadoop Hadoop 安装安装包包lhadoop： lhttp:/ lhbase： lhttp:/ lspark： lhttp:/ l下载下载 JDK JDK 安装包安装包Hado

27、op Hadoop 安装安装 安装操作系统安装操作系统l安装安装 VmwareVmware Workstation 10.0.0.4 Workstation 10.0.0.4l在虚拟机中安装 Ubuntu 12.04 操作系统l目前虚拟机已经准备好，可以直接使用l映射虚拟目录映射虚拟目录l为虚拟机添加共享文件夹l在虚拟机中 mount 文件夹sudosudo mount -t mount -t vmhgfsvmhgfs .host:/ / .host:/ /mntmnt/ /hgfshgfs/ /Hadoop Hadoop 安装安装 JDK JDKl安装安装 JDKJDKl将 jdk-6u45

28、-linux-i586.bin 拷贝到 /usr/lib/jvm 文件夹，运行命令：chmodchmod +x +x / /usrusr/lib/lib/jvmjvm/jdk-6u45-linux-i586.bin/jdk-6u45-linux-i586.binsudosudo / /usrusr/lib/lib/jvmjvm/jdk-6u45-linux-i586.bin/jdk-6u45-linux-i586.binl修改修改 / /etcetc/profile /profile 文件文件sudosudo geditgedit / /etcetc/profile/profilel向向 /

29、/etcetc/profile /profile 追加如下代码并保存追加如下代码并保存export JAVA_HOME=/export JAVA_HOME=/usrusr/lib/lib/jvmjvm/jdk1.6.0_45/jdk1.6.0_45export PATH=$JAVA_HOME/bin:$PATHexport PATH=$JAVA_HOME/bin:$PATHexport CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexport CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_

30、HOME/lib/tools.jarl更新更新 / /etcetc/profile /profile 文件，最好重新登录文件，最好重新登录source source / /etcetc/profile /profile l验证验证 JDK JDK 安装正确安装正确java java versionversionHadoop Hadoop 安装安装 安装安装 HadoopHadoopl安装安装 HadoopHadoopl1）将 hadoop-2.5.0-cdh5.2.0.tar.gz 拷贝到工作目录下l2） 解压 hadoop压缩包tar tar zxvfzxvf hadoop-2.5.0-cd

31、h5.2.0.tar.gz hadoop-2.5.0-cdh5.2.0.tar.gzl3）拷贝 experiment/single-cluster 下的 core-site.xml 和 hdfs-site.xml 文件到 hadoop-2.5.0-cdh5.2.0/etc/hadoop/ 目录l4）拷贝 experiment/single-cluster 下的 mapred-site.xml 和 yarn-site.xml 文件到 hadoop-2.5.0-cdh5.2.0/etc/hadoop/ 目录l5）修改 etc/hadoop/ 下的几个配置文件：l（1 1）hadoop-env.sh

32、hadoop-env.sh可以在命令窗口中使用下面显示java安装目录：echo echo $ $JAVA_HOMEJAVA_HOME将 export JAVA_HOME=$JAVA_HOME 修改为export JAVA_HOME=/export JAVA_HOME=/usrusr/lib/lib/jvmjvm/jdk1.6.0_45/jdk1.6.0_45/ /l（2 2） hdfs-site.xmlhdfs-site.xmll将 dfs.namenode.name.dirdfs.namenode.name.dir 和 dfs.datanode.data.dirdfs.datanode.d

33、ata.dir 改成自己对应的路径l6）启动 HDFS 和 YARNl（1） 启动 HDFS格式化 HDFS （第一次使用前做一次就可以了）：bin/bin/hadoophadoop namenodenamenode -format -format启动 namenodesbin/hadoop-daemon.sh start sbin/hadoop-daemon.sh start namenodenamenode启动 datanodesbin/hadoop-daemon.sh start sbin/hadoop-daemon.sh start datanodedatanodel（2）启动 YAR

34、N启动 resourcemanager：sbin/yarn-daemon.sh start sbin/yarn-daemon.sh start resourcemanagerresourcemanager启动 nodemanager：sbin/yarn-daemon.sh start sbin/yarn-daemon.sh start nodemanagernodemanagerl（3）备注停止 resourcemanager： sbin/yarn-daemon.sh sbin/yarn-daemon.sh stop stop resourcemanagerresourcemanager停止

35、nodemanager： sbin/yarn-daemon.sh stop sbin/yarn-daemon.sh stop nodemanagernodemanagerl7）验证安装成功l打开浏览器（比如 firefox），输入l（1）开启 HDFS 界面httphttp:/localhost:50070:/localhost:50070/ /l（2） YARN 界面http:/localhost:8088/http:/localhost:8088/THANK YOUSUCCESS2022-5-1532可编辑l8）使用 HDFSl（1）创建目录bin/bin/hdfshdfs dfsdfs

36、- -mkdirmkdir / /tmptmpbin/bin/hdfshdfs dfsdfs - -mkdirmkdir / /tmptmp/input/inputl（2）将本地文件上传到 HDFS 上bin/bin/hdfshdfs dfsdfs -put -put srcsrc/BUILDING.txt /BUILDING.txt /tmptmp/input/inputl（3）查看上传到 HDFS 中的文件bin/bin/hdfshdfs dfsdfs - -lsls / /tmptmp/input/inputl9）运行 MapReduce 程序bin/bin/hadoophadoop j

37、ar share/ jar share/hadoophadoop/mapreduce2/hadoop-mapreduce-examples-/mapreduce2/hadoop-mapreduce-examples-2.5.0-cdh5.2.0.jar pi 2 2.5.0-cdh5.2.0.jar pi 2 100010004 4、HDFS HDFS 上机上机操作操作HDFS shell HDFS shell 使用使用l文件操作文件操作命令命令为为：“bin/bin/hdfshdfs dfsdfs”l1）创建目录bin/bin/hdfshdfs dfsdfs - -mkdirmkdir /

38、/tmptmp/input/inputl2）删除目录bin/bin/hdfshdfs dfsdfs - -rmrrmr / /tmptmp/input/inputl3）将本地文件上传到 HDFSbin/bin/hdfshdfs dfsdfs -put -put srcsrc/BUILDING.txt /BUILDING.txt /tmptmp/input/inputl4）将 HDFS 上文件下载到本地，并保存成 downloadbin/bin/hdfshdfs dfsdfs -get / -get /tmptmp/input/BUILDING.txt download/input/BUILDI

39、NG.txt downloadbin/bin/hdfshdfs dfsdfs -get / -get /tmptmp/input/BUILDING.txt ./input/BUILDING.txt .l5）查看 HDFS 目录大小bin/bin/hdfshdfs dfsdfs -du -h / -du -h /tmptmp/input/input使用使用 java java 编程编程访问访问 HDFSHDFSl基本步骤基本步骤l1、创建 java 项目l2、添加对 Hadoop jar 包的引用l3、编写代码l4、编译并部署到 Hadoop 上运行l操作视频操作视频l使用java编程访问HDF

40、S.mp4public static void public static void testMkdirPathtestMkdirPath(String path) throws Exception (String path) throws Exception FileSystemFileSystem fs = null; fs = null; try try System.out.printlnSystem.out.println(Creating + path + on (Creating + path + on hdfshdfs.);.); Configuration Configura

41、tion confconf = new Configuration(); = new Configuration(); / First create a new directory with / First create a new directory with mkdirsmkdirs Path Path myPathmyPath = new Path(path); = new Path(path); fs = fs = myPath.getFileSystemmyPath.getFileSystem( (confconf);); fs.mkdirsfs.mkdirs( (myPathmyP

42、ath);); System.out.printlnSystem.out.println(Create + path + on (Create + path + on hdfshdfs successfully.); successfully.); catch (Exception e) catch (Exception e) System.out.printlnSystem.out.println(Exception: + e);(Exception: + e); finally finally if(fs != null if(fs != null) ) fs.closefs.close(

43、);(); public static void public static void testDeletePathtestDeletePath(String path) throws Exception (String path) throws Exception FileSystemFileSystem fs = null; fs = null; try try System.out.printlnSystem.out.println(Deleting + path + on (Deleting + path + on hdfshdfs.);.); Configuration Config

44、uration confconf = new Configuration(); = new Configuration(); Path Path myPathmyPath = new Path(path); = new Path(path); fs = fs = myPath.getFileSystemmyPath.getFileSystem( (confconf);); fs.deletefs.delete( (myPathmyPath, true);, true); System.out.printlnSystem.out.println(Deleting + path + on (Del

45、eting + path + on hdfshdfs successfully.); successfully.); catch (Exception e) catch (Exception e) System.out.printlnSystem.out.println(Exception: + e);(Exception: + e); finally finally if(fs != null if(fs != null) ) fs.closefs.close();(); 5 5、HbaseHbase 上机上机操作操作HbaseHbase 安装安装l1 1）拷贝）拷贝 hbasehbase

46、安装安装包到当前用户文件夹包到当前用户文件夹l2 2）解压）解压 h hbasebase 安装安装包包tar -tar -zxvfzxvf hbase-0.98.6-cdh5.2.0.tar.gz hbase-0.98.6-cdh5.2.0.tar.gzcd hbase-0.98.6-cdh5.2.0cd hbase-0.98.6-cdh5.2.0l3 3）修改）修改 confconf 下下配置文件配置文件l（1）修改hbase-env.sh，添加 JAVA_HOME:export export JAVA_HOME=/JAVA_HOME=/usrusr/lib/lib/jvmjvm/jdk1.

47、6.0_45/jdk1.6.0_45/ /l（2）修改hbase-site.xml， 替换为下页内容：由于单机操作，所以可以不用修改配置文件l4 4）启动）启动 hbasehbasebin/start-hbase.shbin/start-hbase.sh hbase.rootdirhbase.rootdir file:/tmp/CORP/xicheng.dong/hbasefile:/tmp/CORP/xicheng.dong/hbase hbase.zookeeper.property.dataDirhbase.zookeeper.property.dataDir file:/tmp/COR

48、P/xicheng.dong/zookeeperfile:/tmp/CORP/xicheng.dong/zookeeper HBaseHBase shell shell 命令命令l1 1）启动）启动 HbaseHbase Shell Shelll进入hbase目录l输入 bin/bin/hbasehbase shellshell，进入shell交互式终端l2 2）使用）使用 HbaseHbase Shell Shell 对数据库执行操作对数据库执行操作l(1) 创建表，包含两个 column family：cf1 和 cf2create create test_tabletest_table,

49、 NAME = cf1, VERSIONS = 3,NAME = , NAME = cf1, VERSIONS = 3,NAME = cf2, VERSIONS = 1cf2, VERSIONS = 1l(2) 查看表结构ldescribe describe test_tabletest_table HBase shell HBase shell 命令命令l(3) 向表中插入元素put put test_tabletest_table, row1, cf1:c1, , row1, cf1:c1, dongxichengdongxicheng put put test_tabletest_tab

50、le, row1, cf1:c2, , row1, cf1:c2, dongxichengdongxicheng put put test_tabletest_table, row1, cf2:c21, , row1, cf2:c21, xichengxicheng l(4) 获取某条记录get get test_tabletest_table, row1, row1 COLUMN CELLCOLUMN CELL cf1:c1 timestamp=1417352748378, value= cf1:c1 timestamp=1417352748378, value=dongxichengdon