操作場景
創建翼MapReduce集群、新增節點組以及擴容節點時,用戶可以為節點配置多塊數據盤,但組件配置中默認是1塊。如需使用多塊數據盤,需要用戶將配置目錄中的信息改為多塊,詳細操作方法請參見下述信息。
說明
該能力適用于2.15.2~2.18.0翼MapReduce版本。
操作步驟
1、默認的配置文件
1)HDFS
配置文件:hdfs-site.xml
<property>
<name>dfs.namenode.name.dir</name>
<value>/data01/hadoop/hdfs/namenode</value>
<description>namenode元數據存放位置</description>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/data01/hdfs</value>
<description>設置datanode節點存儲數據文件的本地路徑</description>
</property>
<property>
<name>dfs.datanode.failed.volumes.tolerated</name>
<value>0</value>
<description>決定停止數據節點提供服務允許卷的出錯次數, 0則表示任務卷出錯都要停止數據節點</description>
</property>
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/data01/hadoop/hdfs/journal</value>
<description>存儲journalnode edit文件的目錄</description>
</property> 2)YARN
配置文件:yarn-site.xml
<property>
<name>yarn.nodemanager.log-dirs</name>
<value>/data01/hadoop/yarn/log</value>
<description>Nodemanager本地數據盤日志存儲目錄, 使用逗號分隔, 一般個數與{nm_local-dirs}對應</description>
</property>
<property>
<name>yarn.nodemanager.local-dirs</name>
<value>/data01/hadoop/yarn/local</value>
<description>Nodemanager本地數據盤存儲目錄, 使用逗號分隔</description>
</property> 配置文件:mapred-site.xml
<property>
<name>mapreduce.jobhistory.recovery.store.leveldb.path</name>
<value>/data01/hadoop/mapreduce/jhs</value>
<description>Jobhistory恢復信息本地存儲路徑</description>
</property> 3)Kafka
配置文件:Kafka_vars.yaml
log_dirs=/data01/kafka/data 配置文件:server.properties
log.dirs=/data01/kafka/data2、如何修改配置文件
如果用戶在下單階段選擇了多塊數據盤,需要如何修改配置?
下單時選擇的數據盤,在開通集群時數據盤會自動掛載,掛載后的目錄按照/data01 /data02 /data03...,依次類推。
修改配置:各個組件使用的目錄,需要用戶在配置管理中,手動修改,并同步配置,然后重啟相關的服務,具體的配置見下方。
創建目錄機器上的目錄:目前需要用戶登錄到機器上,手動執行目錄的創建命令,并修改成對應的權限。
重啟服務:配置,機器上的目錄都修改之后,需要重啟相關服務,讓配置生效。請選擇合適的時間進行服務的重啟。
假如選擇了2塊數據盤。可以根據下面的方式進行修改組件的配置文件,并在對應的機器上,創建對應的目錄。
1)HDFS
配置文件:hdfs-site.xml
影響的配置項:
DataNode 使用的數據盤:dfs.datanode.data.dir 和fs.datanode.failed.volumes.tolerated。
dfs.datanode.data.dir 配置成磁盤的個數,中間使用分號;分割。例如:2塊盤則配置成/data01/hdfs;/data02/hdfs;3塊盤則配置成/data01/hdfs;/data02/hdfs;/data03/hdfs。
dfs.datanode.failed.volumes.tolerated 值 < 數據盤個數。例如:當數據盤個數 = 1 時,則dfs.datanode.failed.volumes.tolerated = 0;數據盤=2時,dfs.datanode.failed.volumes.tolerated 可以配置成0或者1。
修改配置
在 Manager 頁面,集群服務 -> HDFS集群 -> 配置管理,找到 defualt 分組下的hdfs-site.xml 文件; 搜索配置項dfs.datanode.data.dir 和dfs.datanode.failed.volumes.tolerated ,按下面的配置進行修改。
修改后保存配置文件,然后點擊配置同步。
<property>
<name>dfs.datanode.data.dir</name>
<value>/data01/hdfs;/data02/hdfs</value>
<description>設置datanode節點存儲數據文件的本地路徑</description>
</property>
<property>
<name>dfs.datanode.failed.volumes.tolerated</name>
<value>1</value>
<description>決定停止數據節點提供服務允許卷的出錯次數, 0則表示任務卷出錯都要停止數據節點</description>
</property>創建目錄機器上的目錄
# 登錄每臺HDFS-DataNode的機器
# 創建目錄,并修改權限
sudo mkdir -p /data02/hdfs
sudo chown hdfs:hadoop /data02/hdfs
sudo chmod 700 /data02/hdfs 重啟服務
在 Manager 頁面,進入服務管理,選擇 HDFS 集群,DataNode,重啟 DataNode 服務。請選擇合適的時間進行服務的重啟。
2)YARN
配置文件:yarn-site.xml
影響的配置項:
NodeManager 使用的數據盤:yarn.nodemanager.log-dirs 和yarn.nodemanager.local-Dirs。
配置成磁盤的個數,如有2塊數據盤,yarn.nodemanager.log-dirs 配置成/data01/hadoop/yarn/log;/data02/hadoop/yarn/log。
修改配置
在 Manager 頁面,集群服務 -> 配置管理,修改yarn-site.xml 文件,按上述配置修改。
創建目錄機器上的目錄
# 登錄每臺YARN-NodeManager的機器
# 創建目錄,并修改權限
sudo mkdir -p /data02/hadoop/yarn/log
sudo mkdir -p /data02/hadoop/yarn/local
sudo chown yarn:hadoop /data02/hadoop/yarn/log
sudo chown yarn:hadoop /data02/hadoop/yarn/local
sudo chmod 755 /data02/hadoop/yarn/log
sudo chmod 755 /data02/hadoop/yarn/local 重啟服務
在Manager頁面,進入服務管理,選擇YARN集群,NodeManager,重啟NodeManager服務。請選擇合適的時間進行服務的重啟。
3)Kafka
配置文件:Kafka_vars.yaml
修改的配置項:
log_dirs ,配置成磁盤的個數。例如:有2塊數據盤,log_dirs配置成/data01/kafka/data;/data02/kafka/data。
配置文件:server.properties
影響的配置項:
log.dirs ,配置成磁盤的個數,如有2塊數據盤,log.dirs 配置成/data01/kafka/data;/data02/kafka/data。
修改配置
在 Manager 頁面,集群服務->配置管理,修改 Kafka_vars.yaml 和 server.properties 文件,按上述配置修改。
創建目錄機器上的目錄
# 登錄每臺Kafka-BrokerServer的機器
# 創建目錄,并修改權限
sudo mkdir -p /data02/kafka/data
sudo chown kafka:kafka /data02/kafka/data重啟服務
在Manager頁面,進入服務管理,選擇Kafka集群,BrokerServer,重啟BrokerServer服務。請選擇合適的時間進行服務的重啟。