操作場景

當節點組內ECS實例的規格（vCPU和內存）無法滿足您的業務需求時，您可以使用配置升級功能提升ECS實例規格。升級配置后需要手動修改HDFS、YARN和Spark等服務的配置信息。本文為您介紹如何在翼MR Manager的“配置管理”頁面修改配置項。

前提條件

已創建集群。

操作步驟

1. 在翼MR Manager中，單擊“運維與配置”。
2. 單擊“配置管理”。
3. 選擇“所選集群服務”，點擊查詢，即可在當前頁面修改配置信息。

配置修改建議說明

1. Doris：Doris所在節點配置升級后，Doris FE建議使用節點一半內存。
2. Elasticsearch：一個Elasticsearch節點，內存建議不超過64G。Elasticsearch所在節點配置升級后，Elasticsearch會自動根據節點情況設置內存值，一般無須用戶手動修改，但需要重啟集群。如果想手動設置，可以修改jvm.options文件配置-Xms30g、-Xmx30g參數，并重啟集群。
3. HBase：HBase所在節點配置升級后，修改建議如下：

   • hbase-site.xml：hbase.regionserver.handler.count

     說明 ：一般跟CPU核數相同。

   • hbase-env.sh：export HBASE_MASTER_OPTS ："-Xmsg -Xmxg"

     說明 ：master不消耗很多內存，一般默認不添加或者分配2~8G左右。

   • hbase-env.sh：export HBASE_REGIONSERVER_OPTS："-Xmsg -Xmxg "

     說明 ：regionserver需要較多內存，一般配置內存配額的一半或更多。

4. HDFS：HDFS所在節點配置升級后，可以根據hadoop-env.sh 參數配置進行，通過調整服務的內存大小調整服務的性能，如-Xmx20g -Xms20g -Xmn4g，然后重啟服務。NameNode 建議文件、目錄、數據塊之和1億，配置50G。
5. Hive：Hive所在節點配置升級后，可以通過hive-env.sh統一參數配置來進行，也可以在作業提交時使用額外參數指定來進行。通過調整服務的內存大小調整服務的性能，如-Xmx20g -Xms20g -Xmn4g，然后重啟服務。內存大小可以根據機器的總內存而定，建議初始值為總內存大小的10%，后續根據性能需求調整。
6. Kafka：Kafka所在節點配置升級后，建議配置如下：
   • kafka-env.sh設置jvm配置參數：調整jvm堆大小，通過調整參數：export KAFKA_HEAP_OPTS="-Xmx20G -Xms20G -Xmn4g"設置堆大小。
   • server.properties文件建議修改的配置項：
     • num.io.threads：修改寫磁盤的線程數，建議配置為CPU核數的50%；
     • num.replica.fetchers：修改副本拉取線程數，建議配置為CPU核數50%的1/3；
     • num.network.threads：修改數據傳輸線程數，建議配置為CPU核數的50%的2/3；
     • replica.fetch.max.bytes：副本拉取數據量的大小。內存增加，可以適當加大該值；
     • socket.send.buffer.bytes：調整socket發送的數據量。內存增加，可以適當加大該值；
     • socket.receive.buffer.bytes：調整socke接受的數據量。內存增加，可以適當加大該值；
     • socket.request.max.bytes：socket請求的數據量。內存增加，可以適當加大該值。
7. Kerberos：建議保持默認值，無需修改配置。
8. Kibana：Kibana是一個基于NodeJS的單頁web應用，一般情況下，對內存CPU占用很少，無須修改內存、CPU等配置。
9. Kyuubi：Kyuubi一般情況下，對內存CPU占用很少，無須修改內存、CPU等配置。
10. OpenLDAP：建議保持默認值，無需修改配置。
11. Ranger：Ranger所在節點配置升級后，修改建議如下：
    • ranger-admin通過{installdir}/ews/ranger-admin-services.sh中變量 ranger_admin_max_heap_size的值修改JMX，JAVA_OPTS修改Xmx、Xmn等JVM參數，一般設置1-8g，1K policy建議設置為1G，1W policy建議設置為8G。
    • ranger-usersync通過/{installdir}/ranger-usersync-services.sh中變量ranger_usersync_max_heap_size 的值修改JMX，JAVA_OPTS修改Xmx Xmn等JVM參數，一般設置1-8g，1K policy建議設置為1G，1W policy建議設置為8G。
12. Spark：Spark所在節點配置升級后，修改建議如下：
    • spark.history.kerberos.principal和spark.history.kerberos.keytab為spark讀寫eventLog的租戶，用戶如有特殊需求自行更改。
    • spark.yarn.historyServer.address=：說明了history server的地址，用戶如有特殊需求自行更改。
    • spark.dynamicAllocation.enabled 和 spark.dynamicAllocation.maxExecutors 分別控制動態和動態開啟下能使用的最大資源，用戶如有特殊需求自行更改。
    • spark.executor.cores 和 spark.executor.memory 確保spark.executor的每一個core分配到2~4g內存，標準是4g，具體視情況而定，設置core的memory設置過小executor容易oom。
13. Trino：Trino的服務包括coordinator和worker。Trino所在節點配置升級后，可以根據jvm.config參數配置進行，通過調整服務的內存大小調整服務的性能，如-Xmx128g -Xms128g，然后重啟服務。
14. YARN：YARN所在節點配置升級后，可以根據yarn-env.sh 參數配置進行，通過調整服務的內存大小來調整服務的性能，如-Xmx20g -Xms20g -Xmn4g，然后重啟服務。NM用于集群中作業的內存和CPU，需要修改NM節點的yarn-site.xml中的yarn.nodemanager.resource.memory-mb的值，該值用于所有作業的最多可用內存；以及yarn.nodemanager.resource.cpu-vcores的值，該值用于所有作業的最多可用虛擬CPU核數。
15. ZooKeeper：ZooKeeper所在節點配置升級后，可通過配置java.env文件，在其中添加：export ZK_SERVER_HEAP=2048（這里設置的單位默認是MB）。