應用場景
更新時間 2024-05-07 22:08:29
最近更新時間: 2024-05-07 22:08:29
分享文章
本章節主要介紹翼MapReduce服務在不同場景下的應用。
大數據在人們的生活中無處不在,在金融、交通、互聯網、醫療、能源和政府部門等行業均可以使用翼MR服務進行大數據處理。
批量數據處理場景
HDFS集群負責存儲海量日志數據。
YARN集群負責調度離線平臺上運行的所有任務。
Hive、Spark、Trino等主流計算框架從數據加工、數據挖掘到數據分析,快速獲取數據洞察力。
分析后的數據回寫進HDFS集群,為上層數據可視化等產品提供數據支撐。
離線數據分析場景
將海量數據通過導入或者外表等形式引入到OLAP分析引擎里,例如,Trino提供高效、實時和靈活的數據分析能力。
滿足用戶畫像、人群圈選、位置服務、BI報表和業務分析等一系列的業務場景。
流式數據處理場景
基于Flink流式計算框架,對各類業務日志或者消息等實時數據進行分析處理。
相應分析結果同步進HDFS集群存儲服務中。
在線查詢場景
基于Web和移動應用程序等生成的PB級別的結構化、半結構化或非結構化數據進行在線分析。
方便客戶的Web應用或者數據可視化產品獲取分析結果進行實時展示。