焱融看｜非結構化資料場景下，資料湖到底有多香？

當前，雲端計算、人工智慧、物聯網等技術在各行各業更加廣泛地普及與應用，前沿技術在給社會創造價值以外，也在產生著大量的資料，導致資料的管理和價值挖掘變得愈加複雜和困難。這主要是因為，一方面，資料在不斷增長，根據 IDC 的預測，全球資料總量預計到 2025 年將達到 175ZB。據調查，很多企業每年的資料增長量超過了 60%，部分網際網路企業的資料量呈現指數式增長；另一方面，資料型別多樣，出現了大量文字、圖片、音訊和影片等非結構化資料。

然而，由於過去缺乏有效的資料處理機制，這些大量的資料，分散於各處，難以管理。因此，如何最大化釋放大資料帶來的價值，不僅成為各個企業關注的重點，也成為如今讓資料湖被高度重視的關鍵原因。那到底什麼是資料湖呢？今天我們就來一探究竟。

什麼是資料湖

資料湖是一個被定義為集中且可擴充套件的儲存庫，它主要是以本機格式儲存來自多個源和系統的大量原始大資料。

舉個例子，我們可以把資料湖看作是一個真實的湖，其中匯聚成湖裡的水則是原始資料，它們分別從多個數據源流入，然後再流出，用於滿足支援內部和麵向客戶的需求和目的。資料湖比資料倉庫更廣泛，資料倉庫更像是一個家用水箱，它主要是儲存“淨化水”，也就是結構化資料，且只能用於一個特定的房子，而不是在任何場景下都可以使用的。

資料湖可以使用內部構建的工具，或第三方供應商的軟體和服務來執行。根據外研機構 Markets and Markets 的資料，全球資料湖軟體和服務市場預計將從 2019 年的 79 億美元增長到 2024 年的 201 億美元。預計大量供應商將推動這一增長，包括 Databricks、AWS、Dremio、Qubole 和 MongoDB。當前，已經有許多組織開始提供所謂的 Lakehouse 產品，通過單一產品將資料湖和資料倉庫的優勢結合起來。

資料湖的概念是先載入後使用，這意味著儲存在儲存庫中的資料，不一定要立即用於特定目的。它可以按原樣轉儲，並在未來某個階段隨著業務需求的出現而全部一起使用（或部分使用）。這種靈活性和儲存海量資料的結合，使得資料湖成為企業內資料實驗、機器學習和高階分析應用程式的理想選擇。

資料湖有什麼好處

資料倉庫僅為某些預定義的商業智慧、報告應用程式儲存經過處理的結構化資料（按行和列組織），但是資料湖具有無限儲存一切的潛力，資料可以是是結構化資料、半結構化資料，甚至是非結構化資料，比如影象（.jpg）和影片（.mp4）。

資料湖對企業的好處包括：

儲存擴充套件資料型別多樣化 ：由於資料湖提供了儲存所有資料型別的能力，包括對執行高階分析形式至關重要的資料型別。企業可以利用它們來識別機會和可操作的建議，從而有助於企業提高運營效率、增加收入、節省資金和降低風險。

擴充套件資料分析帶來的收入增長 ：根據阿伯丁的一項調查（Angling for Insight in Today's Data Lake），實施資料湖的機構在收入有機增長方面，比同類公司高出 9%。這些公司能夠對儲存在資料湖中的先前未使用的資料，比如日誌檔案、點選流資料、社交媒體資料和聯網裝置資料中，進行新型分析。

來自孤島的統一資料 ：資料湖還可以集中來自不同部門孤島、大型機和遺留系統的資訊，從而減輕其個人容量的負擔，防止資料重複等問題，併為使用者提供 360 度的檢視。同時，他們可以將儲存資料成本保持在較低的水平，以備未來使用。

增強的資料捕獲，包括物聯網 ：組織可以實現資料湖，從多個來源（包括工廠和倉庫中的物聯網裝置感測器）吸收資料。這些資源可以是內部，或面向客戶資料的統一資料湖。面向客戶的資料可以幫助營銷、銷售和客戶管理團隊，為每一位客戶提供最新和統一的資訊來策劃全渠道的活動，而內部資料則用於整體員工和財務管理戰略。

藉助資料湖，大量企業內部技術高效地支撐了不同資料分析場景，滿足業務資料分析對於彈性擴充套件吞吐的需求。同時，資料湖多樣的儲存型別，也讓儲存成本有了更多的優化空間。

非結構化資料儲存，是否有更優解？

資料湖最大的優勢之一就是，可以輕鬆實現非結構化資料的採集、儲存和分析，幫助企業解決了一定的問題，但目前資料湖仍然面臨資料治理的問題。在資料湖中的資料往往大多采用不同的基於檔案的格式，但資料倉庫主要是資料庫格式，這增加了資料治理和兩種儲存型別之間沿襲管理的複雜性。

為此，焱融科技希望能幫助企業使用者打造更高效、精準的資料平臺，實現儲存資源可以有效且高效的全生命週期管理。同時，提供高效能、低延遲的資料服務能力，保證各業務系統平穩執行的基礎。

YRCloudFile 是一款在經過企業和使用者訪談、技術交流、全面測試以及版本迭代推出的非結構化資料統一儲存平臺，它可以在公有云、私有云環境下為客戶提供高效能、高擴充套件以及雲原生的非結構化資料儲存系統。其核心產品特色是具備高效能特性，藉助這一特性，YRCloudFile 可在人工智慧、自動駕駛領域中的訓練環節，以及高計算環境中的資料載入運算階段提供高速、穩定的資料訪問能力。

YRCloudFile 產品構架圖

YRCloudFile 產品架構經典特點：

海量小檔案下的高效能 ，採用元資料節點叢集化、多級智慧快取、智慧預讀等多種技術，深度優化海量檔案讀寫效能、目錄訪問熱點等問題；

雲原生容器儲存 ，提供了標準 CSI 介面，支援 PV 配額、Resize、QoS，分別從容量、IO 效能上對儲存資源做了隔離與規劃，通過 PV Insight 幫助管理員檢視儲存卷內部資料分佈和冷熱情況；

支援公有云、混合雲 ，實現在阿里雲、騰訊雲、AWS 等公有云上實現一鍵部署，在公有云上提供高效能的檔案儲存服務，並通過冷熱資料分層功能使資料在不同層級之間流動，從而降低儲存的總體擁有成本。

YRCloudFile 所採用的 Scale-Out 架構，可以給提供高效的目錄配額限制，精準的流量控制；數千客戶端的併發訪問能力滿足統一雲原生平臺的訪問需求；可以有效監控客戶端訪問及操作效能。另外，YRCloudFile通過多級智慧快取、預讀等機制，提供高效能、低延遲的資料訪問服務，助力企業使用者實現非結構化資料資源的共享，實現最高效的整合。

結語

目前，資料仍然是技術創新的核心之一，任何資料都需要保護、儲存和管理以便更好地應用。毋庸置疑，資料湖的應用可以有效幫助企業使用者解決一定的資料問題，但是若想真正成為未來主流的資料儲存管理方案，還需繼續努力。作為高效能檔案儲存和容器儲存的領導者，焱融科技長期關注企業使用者需求，解決資料面臨的儲存架構、資料安全、資料維護等方面的問題，打造海量資料儲存解決方案最優解。