瀏覽器限制
您需要使用支持的瀏覽器版本登錄DataArts Studio。
表1 瀏覽器兼容性
瀏覽器版本
建議版本
建議操作系統
備注
Google Chrome
115,114,113
Windows 10
分辨率最佳可視范圍為最小1366*768px,最大為1920*1080px。其中1920*1080px為最佳顯示分辨率,界面自適應為最優顯示。
使用限制
使用DataArts Studio前,您需要認真閱讀并了解以下使用限制。
表2 DataArts Studio使用限制一覽表
組件
約束限制
公共
DataArts Studio基于數據湖底座提供數據一站式集成、開發、治理等能力,本身不具備存儲和計算的能力,需要配合數據湖底座使用。
每個企業項目下最多綁定一個DataArts Studio實例。當企業項目下已綁定實例時,再次創建實例會失敗。
DataArts Studio各組件對不同數據源的支持程度不一,您需要按照您的業務需求來選擇數據湖底座。DataArts Studio平臺當前支持的數據湖產品請參見“DataArts Studio用戶指南 > 管理中心 > DataArts Studio支持的數據源”。
管理中心
由于管理中心的限制,數據治理各組件(如數據架構、數據質量、數據目錄等)暫不支持包含中文和“.”字符的庫表名。
建議為管理中心數據連接的Agent和CDM遷移作業規劃相互獨立的CDM集群,避免雙方使用同一集群,導致業務高峰期時資源搶占引起業務不可用。
CDM集群作為管理中心數據連接Agent時,單集群無法連接多個MRS安全集群。建議您按照業務情況規劃多個Agent與MRS安全集群一一映射。
CDM集群作為管理中心數據連接Agent時,單集群的并發活動線程最大為200。即當多個數據連接共用同一Agent時,通過這些數據連接提交SQL腳本、Shell腳本、Python腳本等任務的同時運行上限為200,超出的任務將排隊等待。建議您按照業務量情況規劃多個Agent分擔壓力。
單工作空間允許創建的數據連接個數最多200個。
管理中心相關開放API并發限制為100qps。
數據集成
CDM作業支持自動備份和恢復,將備份數據存儲到OBS中,該功能需要您手動開啟。詳情請參見用戶指南中“數據集成 > 管理作業 > 作業配置管理”章節。
CDM作業本身無配額限制,但建議作業數不超過CDM集群的vCPU核數*2,否則作業運行性能可能會受到一定影響。
數據集成CDM集群為單集群部署,集群故障可能會導致業務、數據損失。建議您使用數據開發作業CDM Job節點調用CDM作業,并選擇兩個CDM集群以提升可靠性。詳情請參見用戶指南中“數據開發 > 節點參考 > CDM Job”章節。
當所連接的數據源發生變化(如MRS集群擴容等情況)時,您需要重新編輯并保存該連接。
在驅動更新場景下,上傳驅動后必須在CDM集群列表中重啟集群才能更新生效。
單作業的抽取并發數取值范圍為1-300,集群的總抽取并發數取值范圍為1-1000。其中集群最大抽取并發數的設置與CDM集群規格有關,并發數上限建議配置為vCPU核數*2,作業的抽取并發數建議不超過集群的總抽取并發數,過高的并發數可能導致內存溢出,請謹慎修改。
關于數據集成中的更多約束限制,請參考用戶指南中“數據集成-> 約束與限制”章節。
數據開發
數據開發腳本、作業等資產支持備份管理,將備份數據存儲到OBS中,該功能需要您手動開啟。詳情請參見用戶指南中“數據開發 > 運維調度 > 備份管理”章節。
腳本、作業或節點的歷史運行記錄依賴于OBS桶,如果未配置測試運行歷史OBS桶,則無法查看歷史運行的詳細信息。
上傳資源時,如果資源位置為HDFS,則只支持MRS Spark,MRS Flink Job,MRS MapReduce節點使用該資源。
單工作空間允許創建的腳本個數最多1萬個,腳本目錄最多5000個,目錄層級最多為10層。
單工作空間允許創建的作業個數最多1萬個,作業目錄最多5000個,目錄層級最多為10層。
RDS SQL、DWS SQL、HIVE SQL、SPARK SQL、DLI SQL腳本執行結果頁面展示最多1千條,且數據量少于3MB。超過1千條數據可以使用轉儲功能,轉儲最多支持1萬條。
實例監控、補數據監控只能展示最近6個月的數據。
通知記錄只能展示最近30天的數據。
下載中心的下載記錄會每7天做老化處理,老化時下載中心記錄和已轉儲的OBS數據會同時被刪除。
數據架構
數據架構當前支持關系建模和維度建模(僅支持星形模型)這兩種建模方式。
數據架構支持最大導入文件大小為4Mb;支持最大導入指標個數為3000個;支持一次最大導出500張表。
碼表和數據標準的根目錄下禁止直接創建碼表和數據標準。
單工作空間中創建各類對象的配額如下:
l主題5000個。
l數據標準目錄500條,個數20000個。
l業務指標100000個。
l原子指標、衍生指標、復合指標各5000條。
配置中心中各類對象的自定義項配額如下:
l主題自定義項10條。
l表自定義項30條。
l屬性自定義項10條。
l業務指標自定義項50條。
數據質量
數據質量作業執行時長依賴數據引擎,如果底層數據引擎資源不足,可能會導致運行速度變慢。
單個數據質量作業最多可以配置50條規則,如有需要可拆分為多個質量作業。
單個數據連接上的質量作業關聯SQL的并發數默認為1000,如果超出則等待排隊執行。可配置范圍10-1000。
單Region內的質量作業關聯SQL的并發數為10000,如果超出則等待排隊執行。
業務指標監控模塊總覽中的實例運行狀態和實例告警狀態支持按照7天展示,告警趨勢、業務看板、指標看板支持按照7天、15天和30天展示。
數據質量監控模塊總覽中的變化趨勢支持按照30天展示,質量告警分類趨勢和規則數量趨勢支持按照7天展示。
質量報告采用T+1日定時批量生成,質量報告數據保留90天。
導出質量報告至OBS,會將質量報告導出到工作空間中配置的作業日志OBS路徑中,導出記錄保留3個月。
數據目錄
單工作空間中元數據采集任務最多創建100個。
元數據采集任務通過執行引擎相關的DDL SQL獲取,不建議單個任務采集超過1000張表。如有需要可拆分為多個采集任務,另外調度時間和頻次也需要根據業務需要進行合理設置,避免對引擎造成較大的訪問和連接壓力,設置建議如下:
l若業務對元數據時效性要求為1天,則設置調度周期=max(1天,單次采集周期時間),其他情況同理。
l若業務壓力集中在白天,則設置調度時間在夜間,其他情況同理,選擇數據源壓力最小的時間段。
數據血緣的產生依賴于數據開發中調度運行的作業,測試運行的作業不會產生血緣。
元數據采集模塊總覽中的數據連接歷史統計支持按照7天、15天和30天展示。
數據服務
數據服務共享版僅供開發測試使用,專享版性能優于共享版,推薦使用數據服務專享版。
DataArts Studio實例下最多支持創建5個數據服務專享版集群,且集群需要與某個工作空間綁定,不能多空間共用同一集群。
數據服務專享版集群創建后暫不支持修改規格或升級版本。
DataArts Studio實例下支持創建的專享版API最大數量由數據服務專享版API總分配配額(默認為5000)和當前實例下集群的API規格總和共同決定,取較小的作為限制。例如,某DataArts Studio實例下的數據服務專享版API總分配配額為5000,已分別創建了API規格為500和2000的兩個集群,則當前實例下支持創建的專享版API最大數量為2500。
單工作空間下支持創建的專享版API最大數量由數據服務專享版API已分配配額(通過編輯工作空間信息分配)和當前空間下集群的API規格總和共同決定,取較小的作為限制。例如,某工作空間下的數據服務專享版API已分配配額為800,當前工作空間下已創建了API規格為500的兩個集群,則當前工作空間下支持創建的專享版API最大數量為800。
單工作空間下支持創建的應用數量為1000。
單工作空間下支持創建的流控策略數量為500。
數據服務支持跟蹤并保存事件。對于每個事件,數據服務會報告事件發生日期、說明、時間源(某個集群)等信息,事件保存時長為30天。
數據服務專享版日志信息僅查詢集群最近100條訪問記錄,均分至集群全部所屬節點中獲取。
總覽中的調用趨勢、發布趨勢、調用比率 top5、調用時間 top5和調用次數 top5支持按照近12小時、近1天、近7天和近30天展示,總調用數為前7天數據總和(不含當天)。