管理索引
更新時間 2024-11-26 11:25:28
最近更新時間: 2024-11-26 11:25:28
分享文章
本文為您介紹如何對天翼云云搜索實例進行索引管理。
功能簡介
天翼云云搜索提供了高級的索引管理功能,通過該插件可以可視化查看并管理索引、創建索引策略、創建roll-up作業,通過Kibana和Opensearch Dashboards可視化對索引進行管理。
使用示例
我們以Opensearch Dashboards的索引管理界面來進行演示。
登錄Dashboards點擊左側菜單進入索引管理頁面,菜單如下:
索引相關信息的查看和基本操作
如圖所示,支持以下幾種管理方式:
- 顯示索引相關的信息。
- 還提供了一些界面化的高階操作,比如reindex、clear、cache、delete等指令,基本就是替代了直接查看的一些指令。
- 還可以直接創建索引,常規操作。
- 可以查看索引是否被某些策略控制。
使用索引策略來對索引進行管理
我們以自動清理索引策略為例子,進行演示。
- 如圖,我們創建了一個索引策略叫auto_delete_index_test,其中索引策略的配置和解釋如下:
- 我們創建一個mytest-01索引,格式符合索引模板的名稱。創建好后,可以看到該索引被索引策略所納管。
- 當一段時間過后,索引符合了被刪除的策略,狀態變為了to_delete_state狀態,如圖所示:
- 后臺的策略執行完后,我們再次查看,索引最終被刪除了。
rollup作業管理
Rollup Job是一個用于匯總和聚合索引中數據的任務。它可以在原始索引上執行一系列聚合操作,并將結果存儲在新的匯總索引中。這種匯總和聚合可以大大降低數據量,并提高查詢性能。
在某些場景下,比如流量、點擊、訪問等等采集的很細粒度的日志數據,近幾小時、幾天的數據,有一定的參考價值。非常久遠的數據,可以直接歸檔刪了。但是,對于比如7-90天的數據,如果仍然很細粒度保存,那么價值也不是特別大。因此,將細粒度的數據進行rollup處理,然后再刪除原始索引,對于使用和查詢上基本無任何影響,但是可以極大地降低存儲空間。
多數場景下,創建合適的rollup job可以減少90%存儲。
在索引管理界面,執行如下操作:
- 創建一個rollup job,并且選擇適用哪些索引,并且要重新生成新的索引。
- 定義聚合規則---比如按照1h的維度,去sum/avg/max/min某些特定的指標。
- 指定job Scheduler。
- 后臺系統運行rollup jobs。
創建好后,系統會在后臺自動執行rollup job。