批量上傳大量文件至對象存儲
批量上傳大量文件至對象存儲,如某應用系統日志文件上傳。尤其是MB左右及以下海量對象場景,推薦使用隨機前綴的對象名,從而能夠使業務請求均勻分布在多個分區,達到水平擴展性能最優的效果。
示例:
如某應用日志文件歸檔,原本上傳對象為如下形式:
/log/20220610-01.log.tar.gz
/log/20220610-02.log.tar.gz
/log/20220610-04.log.tar.gz
...
/log/20220611-01.log.tar.gz
/log/20220611-02.log.tar.gz
/log/20220611-03.log.tar.gz
/log/20220611-04.log.tar.gz
建議為對象名添加3位以上16進制哈希前綴:
/8bc-log/20220610-01.log.tar.gz
/95d-log/20220610-02.log.tar.gz
/6c5-log/20220610-03.log.tar.gz
/da3-log/20220610-04.log.tar.gz
...
/a7c-log/20220611-01.log.tar.gz
/2bc-log/20220611-02.log.tar.gz
/ea7-log/20220611-03.log.tar.gz
/1d8-log/20220611-04.log.tar.gz
大量上傳GB級以上大文件至對象存儲
當上傳GB及以上大文件甚至是TB級文件(如大型鏡像安裝包、高清視頻文件等)時,推薦使用分段方式進行上傳。
采用單次方式上傳文件存在5GB大小的限制,并且一旦出現網絡波動等原因導致傳輸中斷,需要完整的重新上傳整個文件,開銷較大。因此,建議使用分段的方式上傳大文件,一個文件的多個分段并發上傳同時能夠提升性能。對于開發者推薦使用分段上傳API接口方式,來進行大文件的上傳。