工具介紹：
對象存儲（CT-ZOS，Zettabyte Object Storage）數據遷移工具是一款用于將存儲在其他對象存儲服務中的數據，遷移至天翼云 ZOS 的命令行遷移工具。
主要功能：
-
適配多源端：支持多種數據源端，包括：亞馬遜 S3、阿里云 OSS、華為云 OBS（包含合營的OBS）、騰訊云 COS、天翼云 ZOS、天翼云 OOS 和 其他遵循標準 S3 協議的對象存儲服務。
-
源端配置
- 源端整桶遷移：支持整桶文件遷移。
- 源端過濾規則：支持指定源端文件夾、文件、前綴進行遷移；支持通過對象列表文件（.txt格式）指定源端遷移對象。
- 源端指定時間區間：支持遷移源桶內指定時間區間內的文件。
-
目的端配置
- 目的端指定前綴：支持指定遷移至目的端的對象統一新增前綴，若為目錄前綴則會將數據遷移至該目錄下。
- 目的端存儲類型及訪問控制：支持設置遷移至目的端的對象的存儲類型和訪問控制；支持設置對象遷移到ZOS為歸檔存儲。
-
高級配置
- 同名文件處理策略：支持處理同名文件的策略配置。
- 流量控制：支持對任務進行限流。
- 自定義分片：支持自定義分片大小。
- 數據一致性校驗：支持遷移過程中的一致性校驗（按最后修改時間和 size）。
-
失敗記錄及重試：支持記錄遷移失敗對象以及重試失敗對象的遷移；支持記錄對象遷移失敗原因。
-
并行傳輸和續傳：支持對象并行下載和上傳，支持斷點續傳。
-
遷移進度與日志：支持實時查詢遷移進度，支持日志記錄。
-
多任務遷移：支持自動按序執行遷移任務。您可一次創建多個任務配置文件，讓工具自動執行這些任務。
注意各源端廠商可能基于標準S3協議進行定制化改動，而非完全遵循標準S3協議，因此，非以上廠商的對象存儲服務，請您以實際支持情況為準。
為避免您的損失，遷移前我們建議您嘗試進行小部分數據遷移進行測試。
推薦配置
說明
遷移工具并發數如何配置：建議配置文件migration.conf中，進程數processNums設置不超過服務器CPU的核心數的1.5倍。每個進程內的并發線程數threadNums，建議不超過10。
網絡穩定性的影響：部署工具的設備與源端的網絡連通性會影響遷移的穩定性、部署工具的設備與目的端ZOS的網絡連通性也會影響遷移的穩定性，建議遷移前檢查網絡連通性。
遷移前測試的重要性：工具的并發數配置與您提供的帶寬都會影響遷移，造成對象遷移失敗的情況（這種情況您可進行失敗對象重試），建議您進行遷移前的測試。
我們建議按照如下配置進行部署。以下推薦方案在確定硬件配置與并發參數配置的情況下，已經幫您計算好所需的網絡帶寬。
服務器硬件配置 工具并發數配置（該部分參數在工具配置文件中進行配置） 網絡帶寬要求 8核心16GB內存 （系統盤40GB以上）
processNums參數為12；
threadNums參數為8；
60Mbps以上 4核心8GB內存
（系統盤40GB以上）
processNums參數為6；
threadNums參數為8；
30Mbps以上
注意
若您無法提供如上表的推薦配置，例如遷移主機配置為4核心8GB內存，工具與源端，或工具與目的端的帶寬僅有10Mbps時，建議配置processNums參數不高于2，threadNums參數不高于8，避免導致頻繁出現對象遷移失敗的情況。
若您提供的配置，特別是遷移的網絡帶寬較高（例如帶寬為1Gbps以上），您可以進行遷移前的測試，通過提供更多核心和內存的服務器設備，按并發數調優方式進行并發數配置，來實現更好的遷移效果。
使用手冊：
遷移工具提供各版本下載：
Windows-amd64版本，適配以下系統：
- Windows10/11
- Windows Server 2016
點擊下載該版本工具：ZOS_Migration_Tool_windows-amd64.zip
Linux-amd64版本，適配以下系統：
- CentOS 7.8
- CTyunOS 2.0.1-22.06.3
- CTyunOS 3-23.01
- Ubuntu 18.04/20.04/22.04
點擊下載該版本工具：ZOS_Migration_Tool_linux-amd64.zip
Linux-arm64版本，適配以下系統：
- KylinOS V10 SP1
- CTyunOS 2.0.1
- CTyunOS 3-23.01
點擊下載該版本工具：ZOS_Migration_Tool_linux-arm64.zip
常見問題
1.輸入對象前綴時，實際并未遷移指定前綴的對象，是什么原因？
可能是前綴的輸入有誤。遷移服務支持源端指定對象前綴，該前綴為包含著對象所在目錄路徑的內容，而非僅對象名稱的部分，格式為：文件夾/對象前綴。例如：桶內的根目錄有目錄A，目錄A下有待遷移對象的名為old-filetest.jpg 和 old-image.png，則實際待遷移對象的名稱應為：A/old-filetest.jpg 和 A/old-image.png。指定前綴時，不能僅輸入“old-”，而應該輸入“A/old-”。
2.源端請求超時，是什么原因？如何處理比較好？
源端請求超時常見以下原因：
- 用戶遷移機器公網訪問源端對象存儲不穩定，導致獲取元數據和下載對象請求超時;
- 用戶遷移機器帶寬很小，工具并發參數設置很高，低帶寬無法滿足高并發的數據遷移，故部分源端獲取元數據，下載對象請求超時
建議您遷移前進行遷移測試，針對以上原因提高帶寬，降低工具并發數。也可直接按照推薦配置部署資源。
3.工具常見異常提示
啟動遷移工具后，針對一些不規范或異常情況工具會進行異常提示，以下常見異常提示可幫助您快速確定異常原因：
錯誤提示 異常原因 Error: the migration.conf configuration file is incorrect 配置文件參數填寫不合規，請檢查配置文件參數。 Error: check whether the network path has a proxy or whether the destination end is ZOS 1、zos端url填寫錯誤；
2、目的端填寫正確，但用戶部署了代理轉發，導致檢測失敗；
3、目的端填寫正確，用戶開啟了代理網絡工具，導致檢測失敗；Source bucket error: Forbidden 源桶ak，sk錯誤，請檢查參數。 Source bucket error: Not Found 源端桶不存在，請確認源端桶及源端參數。 Destination bucket error: Forbidden 目的端zos的as,sk信息錯誤，請檢查參數。 Destination bucket error: Not Found 目的端的zos桶不存在，請確認源端桶及源端參數。
更新記錄
以下為您提供工具更新的記錄，方便您參考：
日期 更新內容 2025年8月28日 一、新增特性：
1.多任務遷移：新增自動按序執行遷移任務。您可一次創建多個任務配置文件，讓工具自動執行這些任務。
2.配置文件校驗：新增check?-c?file,?check-all等指令，支持對配置文件進行參數校驗。
二、修復與優化：
1.優化了遷移和部分異常的處理邏輯。
2025年7月31日 一、修復與優化：
1.修復工具在處理同名文件時，數據可能被覆蓋寫的問題。
2.日志優化：優化部分error日志，打印更多有用信息。
2025年3月7日 一、新增特性：
1.流量控制：支持對任務進行流量限制。
二、修復與優化：
1.操作優化：Windows版本適配對程序進行雙擊直接運行。
2024年12月24日 一、新增特性：
1.源端過濾規則：指定支持通過對象列表文件（.txt格式）指定源端遷移對象。
2.目的端指定前綴：支持指定遷移至目的端的對象統一新增前綴，若為目錄前綴則會將數據遷移至該目錄下。
3.支持設置分塊大小。
二、修復與優化：
1.遷移結果區分遷移完成和遷移中斷。
2.遷移進度查詢：遷移進度更新顆粒度從1000變為1；新增migration_size查詢。
3.backend優化：不再支持多版本；合并冗余接口，優化api調用次數。
4.失敗文件記錄：失敗文件格式優化。
5.工具架構與邏輯優化。
