本章節介紹如何在數據開發模塊上進行MRS Spark Flink作業開發。通過MRS Flink作業實現統計單詞的個數。

前提條件

• 具有OBS相關路徑的訪問權限。
• 已開通MapReduce服務MRS，并創建MRS集群。

數據準備

• 下載Flink作業資源包"wordcount.jar"。
• 準備數據文件“in.txt”，內容為一段英文單詞。

操作步驟

1. 將作業資源包和數據文件傳入OBS桶中。

                
說明
                
本例中，WordCount.jar文件上傳路徑為：lkj_test/WordCount.jar；word.txt 文件上傳路徑為：lkj_test/input/word.txt。
              

2. 創建一個數據開發模塊空作業，作業名稱為“job_MRS_Flink”。

新建作業

3. 進入到作業開發頁面，拖動“MRS Flink”節點到畫布中并單擊，配置節點的屬性。

配置MRS Flink節點屬性

參數設置說明：

--Flink作業名稱
wordcount
--MRS集群名稱
選擇一個MRS集群
--運行程序參數
-c    org.apache.flink.streaming.examples.wordcount.WordCount
--Flink作業資源包
wordcount
--輸入數據路徑
obs://dlf-region1/lkj_test/input/word.txt
--輸出數據路徑
obs://dlf-region1/lkj_test/output.txt

其中：

obs://dlf-region1/lkj_test/input/word.txt為wordcount.jar的傳入參數路徑，可以把需要統計的單詞寫到里面；

obs://dlf-region1/lkj_test/output.txt為輸出參數文件的路徑（如已存在output.txt文件，會報錯）。

4. 單擊“測試運行”，執行該MRS Flink作業。
5. 待測試完成，執行“提交”。
6. 在“作業監控”界面，查看作業執行結果。
7. 查看OBS桶中返回的記錄。（沒設置返回可跳過）