AOM支持將日志轉儲到對象存儲服務(Object Storage Service,簡稱OBS)的OBS桶中,以便進行長期存儲。如果您有更長時間的日志存儲需求,可添加日志轉儲。
AOM提供周期性轉儲和一次性轉儲兩種轉儲方式,供您選擇使用。
- 周期性轉儲 :將當前日志實時轉儲到OBS桶中,且以轉儲周期為粒度對1天的日志進行分割,同一時間段的日志將轉儲到其對應的日志文件中。例如,您需長久存儲固定維度的日志,就可以選擇周期性轉儲,操作詳見添加周期性轉儲。
- 一次性轉儲 :將歷史日志一次性轉儲到OBS桶的同一個.log日志文件中。
一次性轉儲類似于“日志搜索”界面的導出功能,“日志搜索”界面最多可導出5000條日志,當日志數量比較多導出功能無法滿足需求時,可對指定日志進行一次性轉儲,操作詳見添加一次性轉儲。
添加周期性轉儲
下面以組件為例對其日志進行周期性轉儲:需實時將組件當前新產生的日志實時轉儲到OBS桶obs-store-test的/home/Periodical Dump目錄下,且將每3個小時的日志轉儲到其對應的日志文件中,可參考如下操作。
步驟 1 登錄AOM控制臺,在左側導航欄中選擇“日志 > 日志轉儲”。
步驟 2 單擊右上角的“添加日志轉儲”,參考下表設置相關參數后,單擊“確認”。
添加成功后,指定資源當前新產生的日志將會實時轉儲到OBS桶中。
組件當前新產生的日志會實時轉儲到OBS桶obs-store-test的/home/Periodical Dump目錄下,且每3個小時的日志轉儲到其對應的日志文件中。
說明
周期性轉儲屬于近實時轉儲,存在分鐘級轉儲時延,時延與日志條數和日志大小有關,具體規格如下:
5分鐘內累計日志條數大于1000條或日志大小超過2MB時,實時轉儲。
5分鐘內累計日志條數小于1000條或日志大小不足2MB時,每5分鐘轉儲。
步驟 3 將存儲在OBS中的日志文件下載到本地,以供定位問題使用。
- 在周期性轉儲列表中,單擊待操作的OBS桶名稱,進入OBS服務的“概覽”頁面。
- 在左側導航欄中單擊“對象”,在“對象”頁簽中,找到存儲在OBS中的日志文件,例如,192.168.0.74_var-paas-sys-log-apm-count_warn.log、192.168.0.74_var-paas-sys-log-apm-debug_erro.trace。
轉儲到OBS桶中的日志文件路徑: 日志文件路徑與選擇的“日志類型”有關,如下表所示。
轉儲到OBS桶中的日志文件路徑
| 日志類型 | 日志文件存儲路徑 |
|---|---|
| 組件 | 所屬桶目錄 > 日志分組名稱 > 集群名稱 > 組件名稱 > 日志采集日期(格式為YYYY-MM-DD) > 文件編號(格式為0X) 例如,obs-store-test > home > Periodical Dump > log-group1 > zhqtest0112n > als0320a > 2019-03-22> 03。 |
| 主機 | 所屬桶目錄 > 日志分組名稱 > CONFIG_FILE > default_appname >日志采集日期(格式為YYYY-MM-DD) > 文件編號(格式為0X) |
| 系統 | 所屬桶目錄 > 日志分組名稱 > 集群名稱 > 日志采集日期(格式為YYYY-MM-DD) > 文件編號(格式為0X) |
轉儲到OBS桶中的日志文件名稱 :主機IPV4_日志文件來源(將“/”替換為“-”)_日志文件名稱,例如,192.168.0.74_var-paas-sys-log-apm-count_warn.log、192.168.0.74_var-paas-sys-log-apm-debug_erro.trace。
- 選中待下載的日志文件,單擊右側的“下載”,日志文件將下載到瀏覽器默認下載路徑,如需要將日志文件保存到自定義路徑下,請單擊右側的“下載為”。
添加一次性轉儲
以組件為例對其日志進行一次性轉儲:將組件近30分鐘且包含關鍵詞warn的歷史日志,一次性轉儲到OBS桶obs-store-test的/home/One-off Dump目錄下,可參考如下操作。
步驟 1 登錄AOM控制臺,在左側導航欄中選擇“日志管理 > 日志轉儲”。
步驟 2 單擊右上角的“添加日志轉儲”,參考下表設置相關參數后,單擊“確認”。
一次性轉儲參數說明
| 參數 | 說明 | 示例 |
|---|---|---|
| 轉儲方式 | 包括一次性轉儲和周期性轉儲。 | 一次性轉儲 |
| 篩選條件 | 可按照日志采集時間、日志類型、命名空間等多個維度對日志進行篩選,以便對滿足篩選條件的日志進行轉儲。 | 日志采集時間選擇30分鐘,選擇組件,關鍵詞設置為warn。 |
| 日志分組名稱 | 待轉儲日志的邏輯分組,以便以分組為單位對日志進行轉儲。 說明 轉儲任務刪除后,日志分組也會同時刪除。 |
log-group2 |
| 目標OBS桶 | 存儲日志的OBS桶。 說明 如果沒有創建過OBS桶,請單擊“查看OBS”跳轉到OBS界面進行創建。 |
obs-store-test |
| 所屬桶目錄 | OBS桶中存儲日志的目錄。 說明 如果不配置,則日志默認存儲在OBS桶的根目錄下。 |
/home/One-off Dump |
添加成功后,待“轉儲狀態”變為“轉儲完成”時,符合條件的歷史日志會一次性轉儲到OBS桶的同一個.log日志文件中。
該組件近30分鐘且包含關鍵詞warn的歷史日志會一次性轉儲到OBS桶obs-store-test的/home/One-off Dump目錄下的log-group2_shard_0(custom).log日志文件中。
步驟 3 將存儲在OBS中的日志文件下載到本地,以供定位問題使用。
- 在一次性轉儲列表中,單擊待操作的OBS桶名稱,進入OBS服務的“概覽”頁面。
- 在左側導航欄中單擊“對象”,在“對象”頁簽中,找到存儲在OBS中的日志文件,例如:/home/One-off Dump/log-group2_shard_0(custom).log。
轉儲到OBS桶中的日志文件路徑: OBS桶 > 所屬桶目錄。例如,obs-store-test/home/One-off Dump。
轉儲到OBS桶中的日志文件名稱 :日志文件名稱與選擇的“轉儲文件形式”有關,如下表所示。
轉儲到OBS桶中的日志文件名稱
| 日志文件名稱 |
|---|
| 日志分組名稱_shard_0(custom),例如:log-group2_shard_0(custom).log。 日志分組名稱_shard_1(custom) |
- 選中待下載的日志文件,單擊右側的“下載”,日志文件將下載到瀏覽器默認下載路徑,如需要將日志文件保存到自定義路徑下,請單擊右側的“下載為”。