數據遷移
更新時間 2024-07-04 11:23:23
最近更新時間: 2024-07-04 11:23:23
分享文章
本節主要介紹數據遷移。
社區版InfluxDB是非常受歡迎的時序數據庫,著力于高性能地查詢與存儲時序型數據。
GeminiDB Influx是計算存儲分離架構,兼容InfluxDB的生態的時序數據庫。在云計算平臺高性能、高可用、高可靠、高安全、可彈性伸縮的基礎上,提供了一鍵部署、快速備份恢復、計算存儲獨立擴容、監控告警等服務能力。GeminiDB Influx相較于社區版本InfluxDB,有更強的查詢、寫入以及數據壓縮的性能。
本章節主要介紹社區版InfluxDB到GeminiDB Influx的遷移方案。
遷移原理
通過遷移工具解析社區版InfluxDB的tsm以及wal文件寫入到行協議(Line Protocal)文件中,最終將行協議文件數據解析并遷移至目標端。
整個遷移過程分為導出和導入階段兩個階段。
- 導出階段會并發解析社區版InfluxDB的tsm以及wal文件,并將解析數據寫入到行協議文件中。
- 導入階段會并發讀取行協議文件,將讀取數據發送至GeminiDB Influx集群各節點上。
遷移工具支持全量遷移和增量遷移,具體可在配置文件中配置。
使用須知
- 遷移工具,與社區版InfluxDB部署在相同機器上,準備好配置文件。
- 遷移工具需要從tsm以及wal提取數據到本地行協議文件,并從行協議文件中獲取數據發送到目標端GeminiDB Influx ,該過程中可能影響源端性能,建議在業務低峰期運行遷移工具。
- 由于需要將tsm/wal文件數據提取至行協議文件,請預留足夠大的磁盤空間。
- 遷移工具僅支持社區版InfluxDB 1.X版本遷移。
前提條件
- 確保源端、目標端之間網絡互通。
- 目標端GeminiDB Influx已創建好對應的數據庫和RP(Retention Policy)。
操作步驟
如需進行社區版InfluxDB到GeminiDB Influx的遷移,您可以在管理控制臺右上角,選擇“郵箱賬號 > 提交工單”,聯系技術支持進行處理。
遷移性能參考
- 遷移環境:
- 源端:4C16GB的彈性云主機部署開源InfluxDB以及遷移工具。
- 目標端:4C16GB,3節點GeminiDB Influx實例。
- 遷移性能:
- 源端單一進程數據導出速率為1GB/min。
- 目標端單線程導入速率為1GB/min。