MD5校驗文件一致性
更新時間 2023-08-17 16:15:09
最近更新時間: 2023-08-17 16:15:09
分享文章
本章節主要介紹MD5校驗文件一致性。
CDM數據遷移以抽取-寫入模式進行，CDM首先從源端抽取數據，然后將數據寫入到目的端。在遷移文件到OBS時，遷移模式如下圖所示。
圖 遷移文件到OBS
在這個過程中，CDM支持使用MD5檢驗文件一致性。
- 抽取時
?該功能支持源端為OBS、HDFS、FTP、SFTP、HTTP。可校驗CDM抽取的文件，是否與源文件一致。
?該功能由源端作業參數“MD5文件名后綴”控制（“文件格式”為“二進制格式”時生效），配置為源端文件系統中的MD5文件名后綴。
?當源端數據文件同一目錄下有對應后綴的保存md5值的文件，例如build.sh和build.sh.md5在同一目錄下。若配置了“MD5文件名后綴”，則只遷移有MD5值的文件至目的端，沒有MD5值或者MD5不匹配的數據文件將遷移失敗，MD5文件自身不被遷移。
?若未配置“MD5文件名后綴”，則遷移所有文件。
- 寫入時
?該功能目前只支持目的端為OBS。可校驗寫入OBS的文件，是否與CDM抽取的文件一致。
?該功能由目的端作業參數“校驗MD5值”控制，讀取文件后寫入OBS時，通過HTTP Header將MD5值提供給OBS做寫入校驗，并將校驗結果寫入OBS桶（該桶可以不是存儲遷移文件的桶）。如果源端沒有MD5文件則不校驗。
說明
遷移文件到文件系統時，目前只支持校驗CDM抽取的文件是否與源文件一致（即只校驗抽取的數據）。
遷移文件到OBS時，支持抽取和寫入文件時都校驗。
如果選擇使用MD5校驗，則無法?遷移文件時加解密。
