SparkSql
SparkSql是专门为spark设计的一个大数据仓库工具，就好比hive是专门为hadoop设计的一个大数据仓库工具一样。
特性：
1、易整合 可以将sql查询与spark应用程序进行无缝混合使用，同时可以使用java、scala、python、R语言开发代码2、统一的数据源访问 sparksql可以使用一种相同的方式来对接外部的数据源 val dataframe=SparkSession.read.格式("该格式文件的路径")3、兼容hive 可以通过sparksql来操作hivesql4、支持标准的数据库连接 可以通过使用jdbc和odbc来连接上数据库
DataFrame
DataFrame前身叫SchemaRDD,在spark1.3.0之后把schemaRDD改名为DataFrame,DataFrame不在继承RDD，而之前的SchemaRDD它是直接继承自RDD，它是自己实现了RDD的一些方法。
DataFrame是spark中基于RDD的分布式数据集，类似于传统数据库中的二维表格，表中有对应的字段名称和类型。在DataFrame这些信息就是它schema元信息。
DataFrame和RDD的区别
DataFrame比RDD多了对数据结构的描述信息，也就是DataFrame中的schema，schema里面有哪些列和列的类型是什么。
DataFrame和RDD的优缺点
RDD 优点 1、编译时类型安全 也就是说后期开发代码的时候会进行类型的检查 2、具有面向对象编程的风格 可以通过对象调用方法 缺点 1、数据序列化和反序列化性能开销很大。 数据在进行网络传输的时候，先要进行序列化，后续又需要进行反序列化这些操作都是在内存中进行 2、频繁的对象的创建会带来GC(jvm内存回收机制：垃圾回收)，GC处理的时候，其他进程都会暂停。
DataFrame 优点 DataFrame引入了schema和off-heap 1、schema就是对于DataFrame数据的结构信息进行描述 在进行数据序列化的时候，就不需要针对于数据的结构进行序列化了，直接把数据本身进行序列化就可以了，减少数据的网络传输。 解决了RDD在数据进行序列化和反序列化性能开销很大这个缺点。 2、off-heap不在使用jvm堆中的内存来构建大量的对象，而是直接使用操作系统层面上的内存 解决了RDD在堆中频繁创建大量的对象造成GC这个缺点。 缺点 DataFrame引入了schema和off-heap解决了RDD的缺点，同时也丢失了RDD的优点 1、编译时不在是类型安全 2、也不具备面向对象编程这种风格
创建DataFrame的几种方式
读取文本文件
val df=spark.read.text("/person.txt")df.printSchemadf.show 读取json文件
val df=spark.read.json("/people.json")df.printSchemadf.show 读取parquet文件
val df=spark.read.parquet("/users.parquet")df.printSchemadf.show
DataSet
DataSet是分布式的数据集合，Dataset提供了强类型支持，也是在RDD的每行数据加了类型约束。DataSet是在Spark1.6中添加的新的接口。它集中了RDD的优点（强类型和可以用强大lambda函数）以及使用了Spark SQL优化的执行引擎。
DataSet和DataFrame的转换
1、DataFrame转换成DataSet val ds=df.as[强类型]2、DataSet转换成DataFrame val df=ds.toDF
创建DataSet的几种方式
通过一个已经存在的scala集合去构建
val ds=spark.createDataset(List(1,2,3,4))val ds=List(1,2,3,4).toDS
通过一个已经存在的RDD去构建
val ds=spark.createDataset(sc.textFile("/person.txt")) DataFrame转换成DataSet
val ds=df.as[强类型]
通过一个已经存在DataSet调用对应的方法去生成一个新的DataSet
val ds1=ds.map(x =>"itcast:"+x)