管理集群配置
更新時間 2024-04-28 09:43:24
最近更新時間: 2024-04-28 09:43:24
分享文章
本章節主要介紹數據治理中心的管理集群配置功能。
集群配置管理支持新建、編輯或刪除Hadoop集群配置。
Hadoop集群配置主要用于新建Hadoop類型連接時，能夠簡化復雜的連接參數配置，詳見下圖：使用集群配置前后對比
CDM支持的Hadoop類型連接主要包括以下幾類：
- MRS集群：MRS HDFS，MRS HBase，MRS Hive。
- FusionInsight集群：FusionInsight HDFS，FusionInsight HBase，FusionInsight Hive。
- Apache集群：Apache HDFS，Apache HBase，Apache Hive。
操作場景
當需要新建Hadoop類型連接時，建議先創建集群配置，以簡化復雜的連接參數配置。
前提條件
- 已創建集群。
- 已參見下表：集群配置文件和Keytab文件獲取方式獲取相應Hadoop集群配置文件和Keytab文件。
獲取集群配置文件和Keytab文件
不同Hadoop類型的集群配置文件和Keytab文件獲取方式有所不同，請參見下表獲取相應Hadoop集群配置文件和Keytab文件。
集群配置文件和Keytab文件獲取方式
| Hadoop類型連接 | 集群配置文件獲取方式 | Keytab文件獲取方式 |
|---|---|---|
| MRS集群 MRS HDFS MRS HBase MRS Hive |
針對MRS 3.x版本集群： 1. 登錄FusionInsight Manager。 2. 選擇“集群> >待操作的集群名稱>概覽> >更多> >下載客戶端”，界面顯示“下載集群客戶端”對話框。 3. 對話框中選擇“僅配置文件”，平臺類型和服務端保持一致，單擊確認后進行本地下載。 4. 獲取下載的tar包，此即為FusionInsight集群配置文件。 針對MRS 2.x及之前版本集群： 1. 登錄MRS管理控制臺。 2. 選擇“集群列表>現有集群”，單擊集群名稱進入集群詳情頁面，單擊“組件管理”。 3. 單擊“下載客戶端”。“客戶端類型”選擇“僅配置文件”，“下載路徑”選擇“服務器端”或“遠端主機”，自定義文件保存路徑后，單擊“確定”開始生成客戶端配置文件。 4. 將生成的配置文件，保存到本地路徑。 具體可參見MapReduce服務文檔-訪問FusionInsight Manager（MRS 3.x及之后版本）。 |
針對MRS 3.x版本集群： 1. 登錄FusionInsight Manager。 2. 通過“系統> >權限>用戶”，選擇所需用戶所在行，點擊“更多> >下載認證憑據”下載認證憑據文件。 3. 獲取下載的tar包，此即為FusionInsight集群Keytab文件。 針對MRS 2.x及之前版本集群： 1. 登錄MRS服務的Manager，單擊“系統設置”。在“權限配置”區域，單擊“用戶管理”。 2. 在需導出keytab文件用戶所在的行，選擇“更多>下載認證憑據”下載認證文件，待文件自動生成后指定保存位置，并妥善保管該文件。 具體可參見MapReduce服務文檔-訪問FusionInsight Manager（MRS 3.x及之后版本）。 |
| FusionInsight集群 FusionInsight HDFS FusionInsight HBase FusionInsight Hive |
1. 登錄FusionInsight Manager。 2. 選擇“集群> >待操作的集群名稱>概覽> >更多> >下載客戶端”，界面顯示“下載集群客戶端”對話框。 3. 對話框中選擇“僅配置文件”，平臺類型和服務端保持一致，單擊確認后進行本地下載。 4. 獲取下載的tar包，此即為FusionInsight集群配置文件。 具體可參見FusionInsight文檔-FusionInsight Manager操作指導（適用于3.x）。 |
1. 登錄FusionInsight Manager。 2. 通過“系統> >權限>用戶”，選擇所需用戶所在行，點擊“更多> >下載認證憑據”下載認證憑據文件。 3. 獲取下載的tar包，此即為FusionInsight集群Keytab文件。 具體可參見FusionInsight文檔-FusionInsight Manager操作指導（適用于3.x）。 |
| Apache集群 Apache HDFS Apache HBase Apache Hive |
Apache集群場景下，此處僅說明需要哪些配置文件與打包原則，各配置文件的具體獲取方式請參見對應版本說明文檔。 HDFS需要將以下文件壓縮為無目錄格式的zip包： ? hosts ? core-site.xml ? hdfs-site.xml ? yarm-site.xml ? mapred-site.xml ? krb5.conf（可選，安全模式集群使用） HBase需要將以下文件壓縮為無目錄格式的zip包： ? hosts ? core-site.xml ? hdfs-site.xml ? yarm-site.xml ? mapred-site.xml ? hbase-site.xml ? krb5.conf（可選，安全模式集群使用） Hive需要將以下文件壓縮為無目錄格式的zip包： ? hosts ? core-site.xml ? hdfs-site.xml ? yarm-site.xml ? mapred-site.xml ? hive-site.xml ? hivemetastore-site.xml ? krb5.conf（可選，安全模式集群使用） |
Apache集群場景下，此處僅說明認證憑據文件打包原則，認證憑據文件具體獲取方式請參見對應版本說明文檔。 1. 將用戶的認證憑據文件重命名為user.keytab。 2. 將user.keytab文件壓縮為無目錄格式的zip包：user.keytab.zip。 |
說明
集群配置文件包含集群的配置參數。如果修改了集群的配置參數，需重新獲取獲取配置文件。
Keytab文件為認證憑據文件。獲取Keytab文件前，需要在集群上至少修改過一次此用戶的密碼，否則下載獲取的keytab文件可能無法使用。另外，修改用戶密碼后，之前導出的keytab將失效，需要重新導出。
Keytab文件在僅安全模式集群下使用，普通模式集群下無需準備Keytab文件。
操作步驟
1.進入CDM主界面，進入集群管理界面。選擇CDM集群后的“作業管理 >連接管理 > 集群配置管理”。
2.在集群配置管理界面，選擇“新建集群配置”，配置參數填寫詳見下圖
- 集群配置名：根據連接的數據源類型，用戶可自定義便于記憶、區分的集群配置名。
- 上傳集群配置：單擊“添加文件”以選擇本地的集群配置文件，然后通過操作框右側的“上傳文件”進行上傳。
- Principal： 僅安全模式集群需要填寫該參數 。Principal即Kerberos安全模式下的用戶名，需要與Keytab文件保持一致。
- 上傳Keytab文件： 僅安全模式集群需要上傳該文件 。單擊“添加文件”以選擇本地的Keytab文件，然后通過操作框右側的“上傳文件”進行上傳。
- 描述：用戶可添加對此集群配置的描述，用于標識和區分該集群配置。
3.確認后集群配置新建成功。后續在新建Hadoop類型連接時，認證模式根據實際情況選擇，將“是否使用集群配置”選擇為“是”，然后選擇對應的“集群配置名”，即可快速完成Hadoop類型連接創建。
詳見下圖：使用集群配置
