與對象存儲服務(OBS)的關系
對象存儲服務(Object Storage Service)作為數據湖探索的數據來源及數據存儲,與數據湖探索配合一起使用,關系有如下四種。
? 數據來源:數據湖探索服務提供API,支持將OBS對應路徑的數據導入到數據湖探索。
? 存儲數據:數據湖探索中支持創建OBS表,該類型表在數據湖探索服務中只有元數據,實際數據在該表對應的OBS路徑中。
? 備份數據:數據湖探索提供導出API,支持將數據湖探索的數據導出到OBS中備份。
? 存儲查詢結果:數據湖探索提供API供用戶將日常作業的查詢結果數據保存到OBS。
與統一身份認證服務(IAM)的關系
統一身份認證服務(Identity and Access Management)為數據湖探索提供了天翼云統一入口鑒權功能。
與云審計服務(CTS)的關系
云審計服務(Cloud Trace Service)為數據湖探索提供對應用戶的操作審計。
與云監控服務的關系
云監控(Cloud Eye)為數據湖探索提供監控數據,監控作業中的多項指標,從而集中高效地呈現狀態信息。
與消息通知服務(SMN)的關系
消息通知服務(Simple Message Notification)可以在數據湖探索發生作業運行異常時給用戶發送通知。
與云數據遷移服務(CDM)的關系
云數據遷移服務(Cloud Data Migration)可以將OBS的數據遷移到數據湖探索中。
與數據接入服務(DIS)的關系
數據接入服務(Data Ingestion Service)通過通道將數據導入到數據湖探索。
與表格存儲服務的關系
表格存儲服務(CloudTable Service)作為數據湖探索的數據來源及數據存儲,與數據湖探索配合一起使用,關系有如下兩種。
? 數據來源:數據湖探索服務提供DataFrame和SQL方式從CloudTable中導入數據到數據湖探索。
? 存儲查詢結果:數據湖探索使用標準SQL的Insert語法將日常作業的查詢結果數據存放到CloudTable表中。
與關系型數據庫服務(RDS)的關系
關系型數據庫(Relational Database Service)作為數據湖探索的數據來源及數據存儲,與數據湖探索配合一起使用,關系有如下兩種。
? 數據來源:數據湖探索服務提供DataFrame和SQL方式從RDS中導入數據到數據湖探索。
? 存儲查詢結果:數據湖探索使用標準SQL的Insert語法將日常作業的查詢結果數據存放到RDS表中。
與數據倉庫服務的關系
數據倉庫服務(Data Warehouse Service)作為數據湖探索的數據來源及數據存儲,與數據湖探索配合一起使用,關系有如下兩種。
? 數據來源:數據湖探索服務提供DataFrame和SQL方式從數據倉庫中導入數據到數據湖探索。
? 存儲查詢結果:數據湖探索使用標準SQL的Insert語法將日常作業的查詢結果數據存放到數據倉庫服務表中。
與云搜索服務的關系
云搜索服務(Cloud Search Service)作為數據湖探索的數據來源及數據存儲,與數據湖探索配合一起使用,關系有如下兩種。
? 數據來源:數據湖探索服務提供DataFrame和SQL方式從云搜索服務中導入數據到數據湖探索。
? 存儲查詢結果:數據湖探索使用標準SQL的Insert語法將日常作業的查詢結果數據存放到云搜索服務表中。
與分布式緩存服務(DCS)的關系
分布式緩存服務(Distributed Cache Service)作為數據湖探索的數據來源及數據存儲,與數據湖探索配合一起使用,關系有如下兩種。
? 數據來源:數據湖探索服務提供DataFrame和SQL方式從DCS中導入數據到數據湖探索。
? 存儲查詢結果:數據湖探索使用標準SQL的Insert語法將日常作業的查詢結果數據存放到DCS表中。
與文檔數據庫服務(DDS)的關系
文檔數據庫服務(Document Database Service)作為數據湖探索的數據來源及數據存儲,與數據湖探索配合一起使用,關系有如下兩種。
? 數據來源:數據湖探索服務提供DataFrame和SQL方式從DDS中導入數據到數據湖探索。
? 存儲查詢結果:數據湖探索使用標準SQL的Insert語法將日常作業的查詢結果數據存放到DDS表中。
與翼MapReduce服務(MRS)的關系
MapReduce服務(MapReduce Service)作為數據湖探索的數據來源及數據存儲,與數據湖探索配合一起使用,關系有如下兩種。
? 數據來源:數據湖探索服務提供DataFrame和SQL方式從MRS中導入數據到數據湖探索。
? 存儲查詢結果:數據湖探索使用標準SQL的Insert語法將日常作業的查詢結果數據存放到MapReduce服務表中。
與數據治理中心的關系
在數據湖治理中心(Data Lake Governance Center)中,數據開發是一個一站式的大數據協同開發平臺,提供全托管的大數據調度能力。它可管理多種大數據服務,極大降低用戶使用大數據的門檻,幫助用戶快速構建大數據處理中心。