操作場景
云(yun)搜索(suo)(suo)服(fu)務(wu)(Cloud Search Service)為用(yong)戶(hu)提供結構(gou)化(hua)、非結構(gou)化(hua)文(wen)本的多條件檢索(suo)(suo)、統(tong)計、報表,本章節介紹(shao)如何通過CDM將本地Elasticsearch整庫遷移到(dao)云(yun)搜索(suo)(suo)服(fu)務(wu)中(zhong),流(liu)程如下:
1.創建CDM集群并(bing)綁定(ding)EIP
2.創(chuang)建云搜索服(fu)務(wu)連接
3.創建Elasticsearch連接
4.創建整庫(ku)遷移作業
前提條件
- 擁有EIP配額。
- 已經開通了云搜索服務,且獲取云搜索服務集群的IP地址和端口。
- 已獲取本地Elasticsearch數據庫的服務器IP、端口、用戶名和密碼。
如果Elasticsearch服務器是(shi)在(zai)本地(di)數據中(zhong)心(xin)或第(di)三方云(yun)上(shang),需要確保Elasticsearch可通過公網IP訪問,或者是(shi)已經(jing)建立好了企業內(nei)部數據中(zhong)心(xin)到(dao)的VPN通道或專線。
創建CDM集群并綁定EIP
1.參考創建CDM集群,創建CDM集群。
關鍵配置如下:
- CDM集群的規格,按待遷移的數據量選擇,一般選擇cdm.medium即可,滿足大部分遷移場景。
- CDM集群的VPC必須和云搜索服務集群所在VPC一致,且推薦子網、安全組也與云搜索服務一致。
- 如果安全控制原因不能使用相同子網和安全組,那么需要確保安全組規則能允許CDM訪問云搜索服務集群。
- CDM集群創建完成后,在集群管理界面選擇“綁定彈性IP”,CDM通過EIP訪問本地Elasticsearch。
說明如(ru)果用戶對(dui)本(ben)地數(shu)據源(yuan)的(de)訪問通道做(zuo)了SSL加密,則CDM無法通過彈性IP連接數(shu)據源(yuan)。
創建云搜索服務連接
1.單擊(ji)CDM集群后的(de)“作業管理”,進(jin)入(ru)(ru)作業管理界面,再選擇“連(lian)接管理 > 新(xin)建(jian)連(lian)接”,進(jin)入(ru)(ru)選擇連(lian)接器(qi)類型的(de)界面。
2.連接(jie)器類型選擇“云搜索(suo)服務(wu)”后單擊“下(xia)一步”,配置云搜索(suo)服務(wu)連接(jie)參(can)數。
- 名稱:用戶自定義連接名稱,例如“csslink”。
- Elasticsearch服務器列表:配置為云搜索服務集群(支持5.X以上版本)的連接地址、端口,格式為“ip:port”,多個地址之間使用分號(;)分隔,例如192.168.0.1:9200;192.168.0.2:9200。
- 用戶名、密碼:配置為訪問云搜索服務集群的用戶,需要擁有數據庫的讀寫權限。
3.單擊(ji)“保存”回到連接管理界面。
創建Elasticsearch連接
1.在CDM集(ji)(ji)群(qun)管(guan)理(li)(li)界(jie)面(mian),單(dan)擊(ji)集(ji)(ji)群(qun)后的“作業(ye)管(guan)理(li)(li)”,選擇“連接(jie)管(guan)理(li)(li) > 新(xin)建連接(jie)”,進入連接(jie)器類型的選擇界(jie)面(mian)。
2.連(lian)接(jie)(jie)器類型選擇(ze)“Elasticsearch”后單擊“下一(yi)步”,配置Elasticsearch連(lian)接(jie)(jie)參數(shu),Elasticsearch連(lian)接(jie)(jie)參數(shu)與云搜(sou)索(suo)服務的連(lian)接(jie)(jie)參數(shu)一(yi)樣:
- 名稱:用戶自定義連接名稱,例如“es_link”。
- Elasticsearch服務器列表:配置為本地Elasticsearch數據庫的IP地址、端口,多個地址之間使用分號(;)分隔。
3.單擊“保(bao)存”回到連接管理界面。
創建整庫遷移作業
1.選(xuan)擇“整(zheng)庫遷(qian)移 > 新建作業”,開(kai)始創建Elasticsearch整(zheng)庫遷(qian)移到云搜索服務的任務。
詳見(jian)下圖:創建Elasticsearch整(zheng)庫(ku)遷移作業

- 作業名稱:用戶自定義便于記憶、區分的任務名稱。
- 源端作業配置
?源連(lian)接(jie)名稱:選(xuan)擇創(chuang)建Elasticsearch連(lian)接(jie)中的(de)“es_link”。
?索(suo)引(yin):單擊輸入框后(hou)面的(de)按(an)鈕,可(ke)選擇本地Elasticsearch數據(ju)庫中的(de)一個索(suo)引(yin),也(ye)可(ke)以手動輸入索(suo)引(yin)名稱,名稱只(zhi)能全(quan)部小寫。需要一次遷(qian)(qian)移(yi)多個索(suo)引(yin)時,這里(li)可(ke)配(pei)(pei)置(zhi)為通配(pei)(pei)符(fu),CDM會遷(qian)(qian)移(yi)所有符(fu)合通配(pei)(pei)符(fu)條件的(de)索(suo)引(yin)。例如這里(li)配(pei)(pei)置(zhi)為cdm*時,CDM將遷(qian)(qian)移(yi)所有名稱為cdm開頭的(de)索(suo)引(yin):cdm01、cdmB3、cdm_45……
- 目的端作業配置
?目的連接(jie)名(ming)稱:選擇創(chuang)建云(yun)搜(sou)索服務(wu)連接(jie)中的“csslink”。
?索(suo)(suo)引(yin)(yin):待寫(xie)入(ru)數據的索(suo)(suo)引(yin)(yin),這(zhe)里可以選擇(ze)一(yi)個(ge)云搜索(suo)(suo)服務(wu)中(zhong)已(yi)存在的索(suo)(suo)引(yin)(yin),也可以手動輸入(ru)一(yi)個(ge)不存在的索(suo)(suo)引(yin)(yin)名稱(cheng),名稱(cheng)只能全部小寫(xie),CDM會自(zi)(zi)動在云搜索(suo)(suo)服務(wu)中(zhong)創建該索(suo)(suo)引(yin)(yin)。一(yi)次遷(qian)移多個(ge)索(suo)(suo)引(yin)(yin)時,該參數將被禁止配(pei)置,CDM自(zi)(zi)動在目(mu)的端(duan)創建索(suo)(suo)引(yin)(yin)。
?導(dao)入(ru)前清(qing)(qing)空數據(ju)(ju):如果(guo)上面選擇(ze)(ze)(ze)的索(suo)引,在(zai)云搜索(suo)服務(wu)中(zhong)已存在(zai),這里可以選擇(ze)(ze)(ze)導(dao)入(ru)數據(ju)(ju)前是否清(qing)(qing)空該(gai)索(suo)引中(zhong)的數據(ju)(ju)。如果(guo)選擇(ze)(ze)(ze)不清(qing)(qing)空,則數據(ju)(ju)追(zhui)加(jia)寫入(ru)該(gai)索(suo)引。
2.作(zuo)業(ye)配置(zhi)完成后,單擊“保存并(bing)運行”,回到作(zuo)業(ye)管理(li)界面,在整庫遷移(yi)的作(zuo)業(ye)管理(li)界面可查(cha)看執行進度和(he)結果(guo)。
本地(di)Elasticsearch索引中的每個類型(xing)都會生(sheng)成一個子作業并(bing)發執(zhi)行,可以(yi)單(dan)擊作業名(ming)查(cha)看子作業進度。
3.作(zuo)業執行(xing)完成后(hou),單擊(ji)作(zuo)業操作(zuo)列(lie)的(de)(de)“歷史記(ji)錄”,可查看該作(zuo)業的(de)(de)歷史執行(xing)記(ji)錄、讀取和(he)寫入的(de)(de)統計數據,以及(ji)日志(zhi)信息(子作(zuo)業才有日志(zhi))。
詳(xiang)見下圖:作業執(zhi)行(xing)記錄
