應用場景
更新時間 2024-02-19 11:34:58
最近更新時間: 2024-02-19 11:34:58
分享文章
本章節主要介紹數據湖探索(DLI)的應用場景。
DLI服務適用于海量日志分析、異構數據源聯邦分析、大數據ETL處理。
海量日志分析
游戲運營數據分析
游戲公司不同部門日常通過游戲數據分析平臺,分析每日新增日志獲取所需指標,通過數據來輔助決策。例如:運營部門通過平臺獲取新增玩家、活躍玩家、留存率、流失率、付費率等,了解游戲當前狀態及后續響應活動措施;投放部門通過平臺獲取新增玩家、活躍玩家的渠道來源,來決定下一周期重點投放哪些平臺。
優勢
- 高效的Spark編程模型:使用DLI直接從DIS中獲取數據,進行數據清理等預處理操作。只需編寫處理邏輯,無需關心多線程模型。
- 簡單易用:直接使用標準SQL編寫指標分析邏輯,無需關注背后復雜的分布式計算平臺。
- 按需計費:日志分析按時效性要求按周期進行調度,每次調度之間存在大量空閑期。DLI按需計費只在使用期間收費,成本較獨占隊列降低50%以上。
建議搭配以下服務使用:
OBS,DWS,RDS。
異構數據源聯邦分析
車企數字化服務轉型
面臨市場新的競爭壓力及出行服務不斷變革,車企通過構建車聯云平臺和車機OS,將互聯網應用與用車場景打通,完成車企數字化服務轉型,從而為車主提供更好的智聯出行體驗,增加車企競爭力,促進銷量增長。例如:通過對車輛日常指標數據(電池、發動機,輪胎胎壓、安全氣囊等健康狀態)的采集和分析,及時將維保建議回饋給車主。
優勢
- 多源數據分析免搬遷:關系型數據庫RDS中存放車輛和車主基本信息,表格存儲中存放實時的車輛位置和健康狀態信息,數據倉庫DWS中存放周期性統計的指標。通過DLI無需數據搬遷,對多數據源進行聯邦分析。
- 數據分級存儲:車企需要保留全量歷史數據支撐審計類等業務,低頻進行訪問。溫冷數據存放在低成本的對象存儲服務OBS上,高頻訪問的熱數據存放在數據引擎(DWS)中,降低整體存儲成本。
- 告警快速敏捷觸發服務器彈性伸縮:對CPU、內存、硬盤空間和帶寬無特殊要求。
建議搭配以下服務使用:
CDM、OBS、DWS。
大數據ETL處理
運營商大數據分析
運營商數據體量在PB~EB級,其數據種類多,有結構化的基站信息數據,非結構化的消息通信數據,同時對數據的時效性有很高的要求,DLI服務提供批處理、流處理等多模引擎,打破數據孤島進行統一的數據分析。
優勢
- 大數據ETL:具備TB~EB級運營商數據治理能力,能快速將海量運營商數據做ETL處理,為分布式批處理計算提供分布式數據集。
- 高吞吐低時延:采用Apache Flink的Dataflow模型,高性能計算資源,從用戶自建的Kafka、MRS-Kafka、DMS-Kafka消費數據,單CU每秒吞吐1千~2萬條消息。
建議搭配以下服務使用:
OBS、DataArts Studio。