場景說明
數(shu)據對賬對于數(shu)據開發和數(shu)據遷(qian)移流(liu)程中(zhong)(zhong)的數(shu)據一致性(xing)(xing)至關重要(yao)，而跨源(yuan)數(shu)據對賬的能力是檢(jian)驗(yan)數(shu)據遷(qian)移或數(shu)據加工前后是否一致的關鍵指標。本章分別以DLI和DWS作(zuo)為數(shu)據源(yuan)，介紹如(ru)何通過DataArts Studio中(zhong)(zhong)的數(shu)據質量模塊實現跨源(yuan)數(shu)據對賬的基本一致性(xing)(xing)校驗(yan)。
環境準備
需要準(zhun)備好(hao)對(dui)賬的數(shu)據(ju)源，即通過(guo)管理中(zhong)心分別創建數(shu)據(ju)連接，用于跨源數(shu)據(ju)對(dui)賬。
操作步驟
1.建立跨源數據連(lian)接。
a.創建DLI數(shu)據(ju)(ju)連(lian)接(jie)(jie)(jie)。在DataArts Studio管理中心模(mo)塊，單(dan)(dan)擊(ji)創建數(shu)據(ju)(ju)連(lian)接(jie)(jie)(jie)，數(shu)據(ju)(ju)連(lian)接(jie)(jie)(jie)類(lei)型選(xuan)擇(ze)“數(shu)據(ju)(ju)湖(hu)探索（DLI）”，輸(shu)入(ru)數(shu)據(ju)(ju)連(lian)接(jie)(jie)(jie)名稱，單(dan)(dan)擊(ji)“測試”，提(ti)示連(lian)接(jie)(jie)(jie)成功(gong)，單(dan)(dan)擊(ji)“確定”。
b.創(chuang)(chuang)建DWS數(shu)據(ju)連(lian)接(jie)(jie)。在DataArts Studio管理中心模(mo)塊，單(dan)擊創(chuang)(chuang)建數(shu)據(ju)連(lian)接(jie)(jie)，數(shu)據(ju)連(lian)接(jie)(jie)類(lei)型選(xuan)擇“數(shu)據(ju)倉(cang)庫服務(wu)（DWS）”，輸入數(shu)據(ju)連(lian)接(jie)(jie)名稱，設(she)置(zhi)其他(ta)參數(shu)，如下圖所(suo)示，單(dan)擊“測試”，提示連(lian)接(jie)(jie)成功，單(dan)擊“確定”。
2.創建對賬作業。
a.在DataArts Studio數據質(zhi)量模塊(kuai)，單擊左側(ce)導(dao)航菜(cai)單“對賬作(zuo)業(ye)”。
b.單擊(ji)“新建”，配置對賬作業的基本信息(xi)，如(ru)下圖所示(shi)。
c.單擊“下一步”，進入規則配置頁面。您需要點擊規則卡片中的
，然后配置對(dui)賬(zhang)規則，如下圖所(suo)示。
說明
要分(fen)別配置源端和目的端的信息。
配置告警條件，其中點擊左側的表行數?
（${1_1}）表示左側源端選中表的行數，點擊右側表行數?（${2_1}）表示目的端表行數。此處配置告警條件為?${1_1}!=${2_1}，表示當(dang)左側(ce)表行(xing)數(shu)與右側(ce)表行(xing)數(shu)不一(yi)致(zhi)時，觸(chu)發報警(jing)并顯示報警(jing)狀態。
d.單擊(ji)“下(xia)一步”，配置訂閱信(xin)息，如下(xia)圖所示。
說明
勾(gou)選(xuan)觸發(fa)告警表示作業(ye)報警時發(fa)送通知(zhi)到對(dui)應(ying)的(de)smn主題，勾(gou)選(xuan)運行成功表示不(bu)報警時發(fa)送通知(zhi)到SMN主題。
e.單擊“下一步”，配置(zhi)調度方式(shi)，如下圖所示。
說明
單(dan)次(ci)調度(du)表示需要(yao)手動觸(chu)發運(yun)行，周期性調度(du)表示會(hui)按照配(pei)置(zhi)定期觸(chu)發作業運(yun)行。此處以當(dang)天配(pei)置(zhi)為例(li)，設置(zhi)每15分(fen)鐘觸(chu)發運(yun)行一次(ci)對賬(zhang)作業為例(li)的(de)配(pei)置(zhi)。
3.查看對賬作業
a.單擊對(dui)應的(de)對(dui)賬(zhang)作業操作列中的(de)運行鏈接，運行對(dui)賬(zhang)作業后，自動(dong)跳轉到運維(wei)管(guan)理(li)頁面。
b.單擊結(jie)(jie)果(guo)&日志(zhi)查看運(yun)(yun)行結(jie)(jie)果(guo)和運(yun)(yun)行日志(zhi)，等待作業(ye)運(yun)(yun)行結(jie)(jie)束后，如下圖所示。
結果分析
至此，完成了通過DataArts Studio數據質(zhi)量模塊中的(de)對賬作業功能(neng)實現(xian)了DLI和DWS兩種(zhong)不同數據源中的(de)表行數一致性對賬功能(neng)。
運(yun)行結(jie)果(guo)(guo)中(zhong)，左側表(biao)示源端表(biao)行數(shu)規則(ze)運(yun)行結(jie)果(guo)(guo)，右側表(biao)示目的端表(biao)行數(shu)規則(ze)運(yun)行結(jie)果(guo)(guo)。
誤差率(lv)表(biao)示兩端數(shu)據行數(shu)的差異(yi)比(bi)率(lv)，此(ci)處誤差率(lv)為0表(biao)示兩端一致。
