大数据实践课件 Spark SQL.pptx

1、第六章 Spark SQL6.1Spark SQL简介6.2分布式SQL引擎6.3使用DataFrame API处理结构化数据习题6.1 Spark SQL简介第六章 Spark SQLl Spark的结构化数据处理模块 l 提供分布式SQL查询引擎l 提供处理结构化数据的编程接口DataFrame第六章 Spark SQL6.1 Spark SQL简介Spark支持的结构化数据源 第六章 Spark SQL6.1 Spark SQL简介分布式SQL引擎的使用场景 (1)JDBC/ODBC(2)命令行第六章 Spark SQL6.1 Spark SQL简介DataFrame编程接口的使用 Sp

2、ark SQL特性兼容Hive与Spark程序无缝集成统一的数据访问方法兼容Hive的数据、查询、用户定义函数在Spark程序中使用DataFrame API或SQL处理结构化数据第六章 Spark SQLDataFrame API与SQL类似，提供了一种操作结构化数据的标准方法6.1 Spark SQL简介多数据源支持HDFS、Hive、HBase、Parquet等第六章 Spark SQL6.1 Spark SQL简介Spark SQL架构 第六章 Spark SQL6.1 Spark SQL简介Spark SQL原理 Catalyst优化器 第六章 Spark SQL6.2分布式SQL引

3、擎6.1 Spark SQL简介6.3使用DataFrame API处理结构化数据习题第六章 Spark SQL6.2 分布式SQL引擎Spark SQL环境配置机器名Spark角色Hadoop角色IP地址cloud1 Master NameNodeSecondaryNameNodeResourceManager 192.168.100.10 cloud2 SlaveMySQL元数据库 DataNodeNodeManager 192.168.100.11 cloud3 SlaveThrift JDBC/ODBC Server DataNodeNodeManager 192.168.100.12

4、 在第五章Spark集群中增加MySQL元数据库和Thrift JDBC/ODBC Server第六章 Spark SQL6.2 分布式SQL引擎l MySQL元数据库搭建(1)准备MySQL数据库(2)创建数据库用户 sparksql(3)创建元数据库 hiveMetastorel MySQL-connector的配置(1)下载mysql-connector-java-5.1.41-bin.jar(2)配置conf/spark-env.sh(3)配置hive-site.xml第六章 Spark SQL6.2 分布式SQL引擎l 使用Spark SQL CLI(1)启动Spark SQL CL

5、Icd/spark-2.1.0-bin-hadoop2.7./bin/spark-sql 第六章 Spark SQL6.2 分布式SQL引擎l 使用Spark SQL CLI(2)使用SQL操作数据常用数据操作SQL创建数据库create database mytestdb 查看数据库show databases 指定当前数据库use mytestdb创建表create table test_tbl(id int,name string,value int)查看表定义desc test_tbl 列出所有表show tables 插入数据insert into table test_tbl va

6、lues(0,blue,10)查询数据select*from test_tbl where value15删除表drop table test_tbl删除数据库drop database mytestdb第六章 Spark SQL6.2 分布式SQL引擎l Thrift JDBC/ODBC Server的搭建与测试(1)启动Thrift JDBC/ODBC Server./sbin/start-thriftserver.sh 查看日志,检查是否启动成功：使用netstat命令查看thrift server监听的端口号：第六章 Spark SQL6.2 分布式SQL引擎l Thrift JDBC

7、/ODBC Server的搭建与测试(2)使用Beeline测试Thrift JDBC/ODBC Server启动beeline./bin/beeline连接Thrift JDBC/ODBC Server!connect jdbc:hive2:/cloud3:10000 第六章 Spark SQL6.2 分布式SQL引擎l Thrift JDBC/ODBC Server的搭建与测试(3)使用SQL操作数据 查看数据库：指定当前数据库：use mytestdb第六章 Spark SQL6.2 分布式SQL引擎l Thrift JDBC/ODBC Server的搭建与测试(3)使用SQL操作数据

8、查看数据库中的表：查询数据：第六章 Spark SQL6.3使用DataFrame API处理结构化数据6.1 Spark SQL简介6.2分布式SQL引擎习题第六章 Spark SQL6.3 使用DataFrame API处理结构化数据l 准备工作(1)准备多行Json数据格式文件test.json(1)上传文件至Hadoop hdfs中./bin/hadoop fs-put./test.json/testdata/第六章 Spark SQL6.3 使用DataFrame API处理结构化数据l 使用Spark Shell编写程序(1)启动 Spark Shell./bin/spark-sh

9、ell(2)读取json文件(1)过滤选择数据 第六章 Spark SQL6.3 使用DataFrame API处理结构化数据l 使用Spark Shell编写程序(4)选择字段(5)输出结果 第六章 Spark SQL6.3 使用DataFrame API处理结构化数据l 使用Spark Shell编写程序(6)通过Spark Web查看Spark SQL的执行情况 第六章 Spark SQL6.3 使用DataFrame API处理结构化数据l 使用Spark Shell编写程序DataFrame转换流程 第六章 Spark SQL6.3 使用DataFrame API处理结构化数据l 使

10、用Spark Shell编写程序分析后的逻辑计划 优化后的逻辑计划 第六章 Spark SQL6.3 使用DataFrame API处理结构化数据l 使用Spark Shell编写程序物理计划 第六章 Spark SQL习题6.1 Spark SQL简介6.2分布式SQL引擎 6.3 使用DataFrame API处理结构化数据1.Spark SQL作为分布式SQL引擎有哪几种使用方法？2.Spark SQL中的DataFrame与RDD有何区别？3.DataFrame API支持哪些数据源？请列举3个。4.Catalyst优化器对DataFrame操作优化吗？5.Spark SQL CLI的元数据库和数据默认情况下分别存在什么地方？习题：感谢聆听