基于Rust语言对Apache Spark性能瓶颈的优化

01 项目概览

What's our project

项目概览

使用Rust编程语言对Apache Spark性能瓶颈的优化
基于Rust版Spark开源项目vega

02 项目背景

Why we're doing so

从MapReduce开始

举个例子：数豆子(wordcount)

一大堆五颜六色的彩虹豆，若干个人来数一数各种颜色的豆子

1. 将彩虹豆堆划分开，每个人来数一堆

2. 每个人数到一种颜色的豆子，就在一个小本本上记上一行

   color	1

3. 小本本上的东西最后汇总起来，这时候就不需要去盯着豆子数了，最后在总表上记好

   color	num
   color1	num1
   color2	num2
   ...	...
   colorx	numx

MapReduce(Apache Hadoop)

之前的模型就是MapReduce，其已足够强大，但是仍然面临一些问题。

• 功能少：只有map, reduce两种算子
• 容错不优雅：只能从头开始
• 存在依赖的任务容错成本高

RDD(Apache Spark)——MapReduce的继任者

(Resilient Distributed Dataset)

RDD特点

• 只读且被分区的数据集
• transformation操作：通过存储系统和其他的 RDDs 进行操作而创建一个新的 RDD，如 map, filter以及join等
• 不同的算子对应不同的依赖关系，宽依赖与窄依赖

概要设计

两条可行的路线

• 源码基础上对Spark性能瓶颈的Rust重写
• 基于不完善的Rust版Spark开源项目vega的实现

源码基础上对Spark性能瓶颈的Rust重写

从Scala到Rust，从Maven到Cargo

rust与scala对比

• 安全性：Rust编译期进行较为严格的检查
• 高性能：Rust秉承零成本抽象原则，将许多运行时开销（如GC）放置到了编译期，提高了数据处理速度和效率
• 并发性：Rust中同样有函数式编程的理念，这与并发契合

Rust与Scala通过JNI交互

• Scala是在JVM上运行的语言，常用JNI接口与C语言等实现交互。
• 另一方面，Rust可通过二进制接口的方式与其他语言进行交互。

jni crate对JNI提供了安全的Rust接口。

挑战

• 底层实现不同，难以直接相互调用。
• 需要遵守的规范繁杂，限制较多，不易编写代码。
• 网络上交互的尝试较少，缺少合适的参考资料。
• 交互的路径较长，容易带来不必要的性能损失。

综合评价

• 源码基础上对Spark性能瓶颈的Rust重写
  • Spark文档详细
  • 可以保证能运行
  • 代码庞杂，无法全部重写
  • 只能考虑回调，但极少有人进行尝试，需要自行探索
• 基于不完善的Rust版Spark开源项目vega的实现
  • vega文档不够详细
  • 已经不再处于被维护状态
  • vega总代码量较少，修改起来较方便
  • 为原生Rust项目，不需要回调

最终确定基于不完善的Rust版Spark开源项目vega的实现路线

调度

调度任务类

• Job
• Stage
  • ShuffleMapStage
  • ResultStage
• Task
  • ShuffleMapTask
  • ResultTask
• TaskSet
• Schedulable
  • Pool
  • TaskSetManager

DAG调度

调度算法

• FIFO方法
• Fair方法：资源使用率低优先

可以改进的内容

• 添加调度算法
• 利用协程的方式进行调度

ShuffleManager

在Spark框架中，Shuffle阶段（类似于MapReduce中的Shuffle）涉及十分密集的磁盘的读写和网络I／O，是极为重要的性能瓶颈。

ShuffleManager

被用于管理块数据

• 提供集群块数据的读写
  • 数据的本地读写
  • 读取远程RDD结点的块数据
• 通过控制shuffle前后的数据块的读写关系，实现shuffle过程

ShuffleManager可改进的点

其优化至关重要，必须使用当前的SOTA算法。

• HashShuffleManager（vega已经实现）
  为每个Reduce端的Task生成一个文件，从而生成数量惊人的文件，降低I/O吞吐率，并导致Shuffle阶段时内存中积攒大量文件句柄。

• SortShuffleManager （vega还未实现）
  根据分区ID进行排序，然后输出到单个数据文件中，同时生成对应的索引文件。

Spark Streaming

• Spark Streaming是Spark的一个扩展模块，使Spark支持流处理。
• 微批次
• 只负责提交任务，不负责计算，改进空间不大
• 作为完成必要内容后的可选项

Spark Streaming内部组件

Streaming Context：Spark Streaming的起始点和上下文

DStream和DStream Graph：封装流式数据和依赖关系

JobScheduler和ReceiverTracker：调度，生成作业，控制Receicer状态

编译工具

Maven

• Java项目的构建自动化工具
• 构建软件及其依赖关系

Cargo

• 提供了一系列的工具，为 Rust 项目的管理提供尽可能完整的手段
• 与 Rust 语言及其编译器 rustc 紧密结合
• 能够对该项目的各种依赖项进行方便、统一和灵活的管理

部署测试

Spark build

vega build

vega build