新聞中心
公司新聞
行業動態
行業動態
云技術的發展會讓數據倉庫呈現哪些新趨勢?
發布日期:2021-05-20 10:45:00閱讀量:277

使用托管服務

托管服務是高級服務的類型,對特定用例具有挑戰性的問題都由云自動處理。數據倉庫面臨的大部分挑戰都與可擴展性,可靠性,安全性,性能和效率相關,而這些主要是由云提供商在使用托管服務時進行管理。

當談到數據倉庫架構時,你可以使用完全托管的ETL服務(例如:Amazon Glue,Azure Data Factory),托管數據倉庫服務(例如Amazon RedShift,Azure SQL數據倉庫)等等。 在使用這些服務時,還可以在云中找到可互聯的服務,以進一步減少實施工作,也可以找到云基礎架構和服務供應模板,更簡單地設置數據倉儲解決方案

此外,大多數的服務都是由云提供商按需提供的,所以使用這些服務還可以降低成本。

生產線數據集市

在大型集中式數據倉庫中,分析不同生產線的數據也很重要。數據集市通過包含特定業務部門的匯總數據來提供解決方案。數據集市可以作為數據倉庫的中間來源,也可以用作每個業務部門獨立分析自己的數據。

數據湖啟發

數據湖和數據倉庫之間有著根本的區別。但是,我們已經看到Data Lake在數據分析和報告世界中越來越流行。Data Lake和Data Warehousing之間的主要差異之一是Data Lake在讀取時定義數據模式,而Data Warehousing在寫入時定義模式。盡管Data Lake也有自己的優缺點,但是我們可以從其數據倉儲的核心優勢中找到靈感。

目前DataLake最受歡迎的技術之一就是利用分布式存儲和使用Hadoop文件系統等工具進行處理。這對于數據倉庫來說也是有益的,它允許以高效且并行的過程預處理或后處理數據,從而減少時間和成本。

使用列式存儲

將來自各種來源的數據存儲在數據倉庫中非常重要,它可以有效查詢分析目的。為此,在檢索復雜分析查詢時,與基于行的存儲相比,使用列式存儲可以提高磁盤性能。云中有數據倉庫服務,可以以較低的成本提供這些功能(例如 Amazon RedShift)用于存儲和查詢。使用這些服務不僅降低了建立數據倉庫的復雜性,還為訪問控制提供了緊密集成,整合了各種數據源等等。

內存分析引擎

執行分析和報告時,使用內存中的處理引擎會更加高效,不僅可以導入大量數據,還可以并行處理以實現快速響應和可視化。云服務(如Microsoft Azure Power BI Embedded和Amazon QuickSight)可隨時用于內存分析和可視化。