在 MapReduce 框架中，Shuffle 是連接 Map 和 Reduce 之間的橋梁，Reduce 要讀取到 Map 的輸出必須要經過 Shuffle 這個環節；而 Reduce 和 Map 過程通常不在一臺節點，這意味著 Shuffle 階段通常需要跨網絡以及一些磁盤的讀寫操作，因此 Shuffle 的性能高低直接影響了整個程序的性能和吞吐量。

與 MapReduce 計算框架一樣，Spark 作業也有 Shuffle 階段，通常以 Shuffle 來劃分 Stage；而 Stage 之間的數據交互是需要 Shuffle 來完成的。整個過程圖如下所示：

如果想及時了解Spark、Hadoop或者Hbase相關的文章，歡迎關注微信公共帳號：iteblog_hadoop

從上面簡單的介紹可以得到以下幾個結論：

• 不管是 MapReduce 還是 Spark 作業，Shuffle 操作是很消耗資源的，這里的資源包括：CPU、RAM、磁盤還有網絡；

• 我們需要盡可能地避免 Shuffle 操作

而目前最新的 Spark 內置只支持一種 Shuffle 實現：org.apache.spark.shuffle.sort.SortShuffleManager，通過參數 spark.shuffle.manager 來配置。這是標準的 Spark Shuffle 實現，其內部實現依賴了 Netty 框架。本文并不打算詳細介紹 Spark 內部 Shuffle 是如何實現的，這里我要介紹社區對 Shuffle 的改進。

RDMA 技術

在進行下面的介紹之前，我們先來了解一些基礎知識。

傳統的 TCP Socket 數據傳輸需要經過很多步驟：數據先從源端應用程序拷貝到當前主機的 Sockets 緩存區，然后再拷貝到 TransportProtocol Driver，然后到 NIC Driver，最后 NIC 通過網絡將數據發送到目標主機的 NIC，目標主機又經過上面步驟將數據傳輸到應用程序，整個過程如下：

從上圖可以看出，網絡數據的傳輸很大一部分時間用于數據的拷貝！如果需要傳輸的數據很大，那么這個階段用的時間很可能占整個作業運行時間的很大一部分！那么有沒有一種方法直接省掉不同層的數據拷貝，使得目標主機直接從源端主機內存獲取數據？還真有，這就是 RDMA 技術！

RDMA（Remote Direct Memory Access）技術全稱遠程直接內存訪問，是一種直接內存訪問技術，它將數據直接從一臺計算機的內存傳輸到另一臺計算機，無需雙方操作系統的介入。這允許高通量、低延遲的網絡通信，尤其適合在大規模并行計算機集群中使用（本段摘抄自 維基百科 - 遠程直接內存訪問）。RDMA 有以下幾個特點：

• Zero-copy

• 直接硬件接口（Direct hardware interface），繞過內核和 TCP / IP 的 IO

• 亞微秒延遲

• Flow control and reliability is offloaded in hardware

所以利用 RDMA 技術進行數據傳輸看起來像下面一樣：

從上面看出，使用了 RDMA 技術之后，雖然源端主機和目標主機是跨網絡的，但是他們之間的數據交互是直接從對方內存獲取的，這明顯會加快整個計算過程。

SparkRDMA

好，現在基礎的知識咱們已經獲取到了，我們正式進入本文主題。由 Mellanox Technologies 公司開發并開源的 SparkRDMA ShuffleManager （GitHub 地址：https://github.com/Mellanox/SparkRDMA）就是采用 RDMA 技術，使得 Spark 作業在 Shuffle 數據的時候使用 RDMA 方式，而非標準的 TCP 方式。在 SparkRDMA 的官方 Wiki 里面有如下介紹：

SparkRDMA is a high-performance, scalable and efficient ShuffleManager plugin for Apache Spark. It utilizes RDMA (Remote Direct Memory Access) technology to reduce CPU cycles needed for Shuffle data transfers. It reduces memory usage by reusing memory for transfers instead of copying data multiple times down the traditional TCP-stack.

可以看出，SparkRDMA 就是擴展了 Spark 的 ShuffleManager 接口，并且采用了 RDMA 技術。在測試的結果顯示，采用 RDMA 進行 Shuffle 數據比標準的方式快 2.18 倍！

SparkRDMA 開發者們給 Spark 社區提交了一個 Issue：[SPARK-22229] SPIP: RDMA Accelerated Shuffle Engine，詳細的設計文檔：這里。不過從社區的回復來看，最少目前不會整合到 Spark 代碼中去。

安裝使用

如果你想使用 SparkRDMA，我們需要 Apache Spark 2.0.0/2.1.0/2.2.0、Java 8 以及支持 RDMA 技術的網絡（比如：RoCE 和 Infiniband）。

SparkRDMA 官方為不同版本的 Spark 預先編譯好相應的 jar 包，我們可以訪問 這里 下載。解壓之后會得到以下四個文件：

• spark-rdma-1.0-for-spark-2.0.0-jar-with-dependencies.jar

• spark-rdma-1.0-for-spark-2.1.0-jar-with-dependencies.jar

• spark-rdma-1.0-for-spark-2.2.0-jar-with-dependencies.jar

• libdisni.so

除了 libdisni.so 文件一定要安裝到 Spark 集群的所有節點上，其他的 jar 包只需要根據我們的 Spark 版本進行選擇。相關的文件部署好之后，我們需要將這個 SparkRDMA 模塊加入到 Spark 的運行環境中去，如下設置：

為了啟用 SparkRDMA Shuffle Manager 插件，我們還需要修改 spark.shuffle.manager 的值，只需要在 $SPARK_HOME/conf/spark-defaults.conf 里面加入以下的配合即可：

其他的就和正常使用 Spark 一樣。