1. 傳統的(de)基于Hadoop的(de)大數(shu)據平臺
(1) 傳統(tong)Hadoop大數據(ju)平臺(tai)的架(jia)構

(2) 上(shang)云后(hou)的2種平臺(tai)架構

- 共享大集群(左側):雖然Hadoop HDFS和YARN都有一定的多租戶隔離能力,但在數據安全等方面還是存在致命漏洞,所以類似產品對外服務時,會嚴格限制用戶編程的自由度,只能開發運行SQL,且無法使用UDF,產品能力大打折扣,無法滿足用戶多樣的編程模型需求
- 每個租戶單獨集群(右側):為每個租戶在其虛機和VPC中部署獨立的集群,依靠IaaS的隔離能力,數據安全等方面有了足夠的保障;但租戶集群的管理需要用戶有一定技術基礎,對云廠商的運維能力也有很高的技術要求和人力成本
2.云原生的實時大數(shu)據(ju)平臺
(1)隨著K8s成為云(yun)原生時(shi)代的(de)分布式操作系統,多種workload都在積極(ji)遷(qian)移(yi)上車,大數據平(ping)臺也需要(yao)適應技(ji)術(shu)的(de)革(ge)新變(bian)化趨勢,進(jin)入云(yun)原生時(shi)代,新的(de)架(jia)構(gou)如圖

(2)平臺產品模式仍有2類(lei)

- 每個租戶單獨K8s集群(左側):繼承了獨立集群良好的隔離性,但運維管理仍有較大挑戰
- Serverless新模式:雖然是共享大集群,但通過VirtualCluster、Kata安全容器等擴展能力,也可以通過VPC實現網絡隔離。新架構既具有大集群統一運維管理能力,又具有足夠安全的隔離能力,同時還具備云原生時代增強的彈性伸縮能力,在運維成本和運行成本方面都有大幅降低。各大云廠商各產品線都在探索Serverless新架構