亚欧色一区w666天堂,色情一区二区三区免费看,少妇特黄A片一区二区三区,亚洲人成网站999久久久综合,国产av熟女一区二区三区

  • 發布文章
  • 消息中心
點贊
收藏
評論
分享
原創

Doris 性能優化

2024-03-12 07:18:25
92
0

Doris 通過多種查詢優化策略,如 Join 優化、謂詞下推、運行時過濾,字典優化,算子優化等,來提供高性能的查詢能力。來提升整體性能

Join 優化

在查詢中,Join 操作往往是非常耗時的。Doris 提供了多種 Join 優化策略來提高查詢性能:

Join 順序優化:Doris 會根據統計信息選擇最優的 Join 順序。通常,先執行小表與大表的 Join 會更加高效。

Hash Join:對于某些類型的 Join,Doris 可能會使用 Hash Join 算法,它通過在內存中構建哈希表來加速 Join 操作。

Bucketed Join:如果兩個參與 Join 的表都進行了分桶,并且桶的劃分方式相同,Doris 可以利用這一特性進行 Bucketed Join,即只在同一桶內的數據進行 Join,這樣可以大大減少數據的掃描量。

謂詞下推

謂詞下推是一種將過濾條件盡可能早地應用到查詢執行過程中的優化策略。在 Doris 中,謂詞下推可以幫助減少數據的掃描量,從而提高查詢性能。例如,如果查詢中包含一個限制條件,Doris 會嘗試將這個條件盡早地應用到數據讀取階段,這樣只有滿足條件的數據才會被進一步處理,減少數據加載量,從而提升查詢性能。常見的謂詞有 where,on。

運行時過濾

運行時過濾是在查詢執行過程中,根據已經獲取的部分數據結果,動態地調整過濾條件,從而進一步減少數據的掃描量。這種優化通常與謂詞下推結合使用,可以在查詢執行的不同階段根據實際情況進行調整。

表結構優化

Doris表結構的優化包括分區,分桶,以及key列順序等,結合業務場景,對于常用作限制條件的字段,可以作為分桶字段,查詢時減少桶的掃描,從而提升查詢性能。注意:分桶字段的數據類型維整形。可結合實際應用場景進行設置。

字典優化

Doris 支持字典編碼,這是一種有效的數據壓縮和編碼技術。通過字典優化,Doris 可以進一步減少數據的存儲空間,加快數據的讀取速度。字典優化通常與列式存儲結合使用,因為列式存儲更容易利用字典編碼的優勢。

通過bitmap位圖實現精準查詢時,在表處理過程中,字段盡量都是整形,整形在構建全局字典時,避免了全局編碼,提升數據同步和查詢性能。

0條評論
0 / 1000
l****n
7文章數
0粉絲數
l****n
7 文章 | 0 粉絲
原創

Doris 性能優化

2024-03-12 07:18:25
92
0

Doris 通過多種查詢優化策略,如 Join 優化、謂詞下推、運行時過濾,字典優化,算子優化等,來提供高性能的查詢能力。來提升整體性能

Join 優化

在查詢中,Join 操作往往是非常耗時的。Doris 提供了多種 Join 優化策略來提高查詢性能:

Join 順序優化:Doris 會根據統計信息選擇最優的 Join 順序。通常,先執行小表與大表的 Join 會更加高效。

Hash Join:對于某些類型的 Join,Doris 可能會使用 Hash Join 算法,它通過在內存中構建哈希表來加速 Join 操作。

Bucketed Join:如果兩個參與 Join 的表都進行了分桶,并且桶的劃分方式相同,Doris 可以利用這一特性進行 Bucketed Join,即只在同一桶內的數據進行 Join,這樣可以大大減少數據的掃描量。

謂詞下推

謂詞下推是一種將過濾條件盡可能早地應用到查詢執行過程中的優化策略。在 Doris 中,謂詞下推可以幫助減少數據的掃描量,從而提高查詢性能。例如,如果查詢中包含一個限制條件,Doris 會嘗試將這個條件盡早地應用到數據讀取階段,這樣只有滿足條件的數據才會被進一步處理,減少數據加載量,從而提升查詢性能。常見的謂詞有 where,on。

運行時過濾

運行時過濾是在查詢執行過程中,根據已經獲取的部分數據結果,動態地調整過濾條件,從而進一步減少數據的掃描量。這種優化通常與謂詞下推結合使用,可以在查詢執行的不同階段根據實際情況進行調整。

表結構優化

Doris表結構的優化包括分區,分桶,以及key列順序等,結合業務場景,對于常用作限制條件的字段,可以作為分桶字段,查詢時減少桶的掃描,從而提升查詢性能。注意:分桶字段的數據類型維整形。可結合實際應用場景進行設置。

字典優化

Doris 支持字典編碼,這是一種有效的數據壓縮和編碼技術。通過字典優化,Doris 可以進一步減少數據的存儲空間,加快數據的讀取速度。字典優化通常與列式存儲結合使用,因為列式存儲更容易利用字典編碼的優勢。

通過bitmap位圖實現精準查詢時,在表處理過程中,字段盡量都是整形,整形在構建全局字典時,避免了全局編碼,提升數據同步和查詢性能。

文章來自個人專欄
文章 | 訂閱
0條評論
0 / 1000
請輸入你的評論
0
0