Spark基础和RDD

spark

1. Spark的四大特性

1. 速度快

• spark比mapReduce快的两个原因

  • 1. 基于内存

  1. mapreduce任务后期在计算的是时候，每一个job的输出结果都会落地到磁盘，后续有其他的job要依赖于前面job的输出结果，这个时候就需要进行大量的磁盘io操作，性能较低
  
  2. spark任务后期在进行计算的时候，job的结果是可以保存在内存中的，后面有其他的job需要以言语前面job的输出结果，这个时候可以直接从内存中读取，避免了磁盘io操作，性能比较高
  
  spark程序和mapreduce程序都会产生shuffle阶段，在shuffle阶段中他们产生的数据都会保留在磁盘中

  • 1. 进程与线程

    1 mapreduce任务以进程的方式运行在yarn集群中，比如说有100个mapTask，一个task就需要一个进程，这些task要运行就需要开启100个进程
  
    2 spark任务以线程的方式运行在进程中,比如说有100个task，则一个task就对应一个线程

  1. 易用性
  2. 可以用java、Scala、python、R等不同的语言来快速编写spark程序
  3. 通用性
  4. 兼容性
     1. spark程序有多种运行模式
        • standAlone
          • spark自带的独立运行模式，整个任务的资源分配由spark集群的的Master来负责
        • yarn
          • 可以把spark程序提交到yarn上运行，整个任务的资源分配由yarn中的ResourceManager负责
        • mesos
          • apache开源的一个类似于yarn的资源调度平台

2. spark集群架构

​

• Driver
  • 他会执行客户端写好的main方法，构建一个SparkContext对象（该对象是所有spark程序的执行入口）
• Application
  • 是一个spark的应用程序，包含了客户端的代码和任务运行的资源信息
• ClusterManager
  • 给程序提供计算资源的外部服务
    • standAlone
      • spark自带的集群模式，整个任务的资源分配由spark集群的Master负责
    • yarn
      • 把spark程序提交到yarn中运行，整个任务的资源分配由yarn中的ResourceManager负责
    • mesos
      • apache开源的一个类似于yarn的资源调度平台
• Master
  • Spark集群的主节点，负责任务资源的分配
• Worker
  • Spark集群的从节点，负责任务计算的节点
• Executor
  • 是一个在worker节点启动的进程
• Task
  • spark任务的以task线程的方式运行在worker节点的executor进程中的

3. RDD是什么

• RDD （Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的抽象单位。它代表的是是一个不可变的、可分区的、里面元素可以并行计算的数据集合。
  • Resilient 弹性的，表示RDD中的数据既可以保存在磁盘上也能保存在内存中
  • Distibuted 分布式的，表示RDD的数据是分布式存储的，方便后期的各种计算
  • Dataset 一个数据集合，可以存储很多数据

4. RDD的五大属性

• A list of partitions
  • 一个分区列表，数据集的基本组成单位
    • 这里表示的是一个RDD可能会有多个分区，每个分区会存储该RDD的一部分数据，Spark中任务是以task线程的方式运行的，一个分区就对应一个task
• A function of computing each split
  • 一个用来计算每个分区的函数
    • Spark中RDD的计算是以分区为单位的

• A list of dependencies on other RDDs

  • 一个RDD会依赖于其他多个RDD

    这里是说RDD和RDD之间是有依赖关系的，spark任务的容错机制就是根据这个特性（血统）而来

• Optionally, a Partitioner for key-value RDDs (e.g. to say that the RDD is hash-partitioned)

  • 一个Patitioner，即RDD的分区函数(可选项)

        spark中实现了两种类型的分区函数
        1 基于哈希的HashPartitioner，（key.hashcode % 分区数 = 分区号）
        2 基于范围的RangePartitioner
    
        只有对于key-value的RDD，并且产生shuffle，才会有Partitioner
        非key-value的RDD的Partitioner的值是None

• Optionally, a list of preferred locations to compute each split in (e.g. block locations for an hdfs file)

  • 一个列表，存储每个Partition的优先位置（可选项）

    spark任务在调度的时候会优先考虑存有数据的节点开启计算任务，以减少数据的网络传输，提成计算效率

5. RDD算子分类

• transfORMation（转换）
  • 根据已经存在的RDD转换生成另外一个新的RDD，它是延迟加载，不会立即执行
  • 如
    • map、flatMap、reduceByKey
• action（动作）
  • 会触发任务的运行
    • 将RDD计算的结果数据返回给Driver端，或者保存到外部存储介质（磁盘、内存、HDFS）
  • 如
    • collect、saveAsTextFile

6. RDD常见的算子操作

6.1 transformation算子

6.2 action算子