資料圖譜,資料資產化的基石!

原創

覽眾科技

數字化智慧運營平臺

數字化時代,資料已成為生產要素之一

,人們除了透過資料可以認知事務、感知現象,更重要的是洞察資料中所蘊含的商業價值。資料科學的權威 Viktor 在其《大資料時代》中提到:“雖然資料還沒有被列入企業的資產負債表,但這只是一個時間問題”。對於企業的經營成長,政府的服務治理,“資料是核心資產”已成為共識。

資料圖譜,資料資產化的基石!

資料資源要成為資料資產應具備

可審計性

可跟蹤性

可審計性解決資料的產權問題,知道資料在哪,如何便捷地找到它;可跟蹤性瞭解資料資產是如何在企業內部的資料環境流動,是經過哪些可靠的計量和演算法進行變化的。

我們往往在形容大資料專案用各類災害的名詞來形容:

從雪崩到海嘯……

說明企業所獲得的資料量和複雜度正呈指數級增長,因此企業在數字化轉型過程中對資料的理解難度也不斷增加

同時,針對資料資產的治理體系又過於繁雜,如果按 DAMA 提倡的 DMBOK 來實施資料管理,包括資料標準、資料質量、元資料管理、主資料管理、數字安全管理……

其難度和範圍都超乎想象,

如何能聚焦找到企業資料管理的突破點,是實現企業資料資產化的核心。

在解決資料資產化的過程中,首先我們要了解哪些是我們的資料資產。

從大型機到目前的雲端分散式架構,從 OLTP 到 OLAP 應用,從 BI 到 AI,我們建設了各種各樣的資料應用,我們的資料資產不僅包括了資料,而且也有模型、演算法、程式、服務和產品等,而且這些資料資產之間在資料的全生命週期裡,形成了多種多樣的依賴關係,

而透過資料血緣和業務邏輯的梳理,我們可以根據資料擁有者、資料使用者、資料流轉度等綜合表現來判斷哪些資料具有更高的價值。

目前市場上有種類繁多的資料管理軟體,包括資料目錄、資料地圖、資料資產管理等,

大多數只做表面文章

,把它建設成為一個相對固化的為資料資產儀表盤服務的 MIS 系統,關注的資料只到系統級或應用級,稍為好一些的能夠到表級,

很少有平臺可以到欄位級的資料血緣分析

,而且不少是用手工梳理的簡單對映關係,

無法理清資料間的計算邏輯和業務關係。

尤其是沉澱在各類系統中的程式與指令碼中的計算邏輯,比如資料庫中的儲存過程、從傳統大機上的 COBOL 程式碼到目前機器學習中廣泛應用的

J

ava、Python 語言,對於這些的程式、演算法的資料資產,往往對於很多企業就是個黑盒。

如何能夠將複雜而繁多的程式程式碼變成有序的業務邏輯或計算邏輯,對於資料的遷移、升級,審計和追溯都至關重要。

資料圖譜,資料資產化的基石!

資料圖譜是新一代的企業資料資產化的基石,它是以元資料管理為核心,利用自動化、機器學習/人工智慧技術實現的企業資料資產管理與分析平臺:

資料圖譜,資料資產化的基石!

1。

超強的元資料採集器除了能夠全方位的元資料自動化採集,

包括:

從傳統資料庫到大資料到雲端資料、從資料整合工具到報表視覺化平臺、從 COBOL、Java 到資料科學的 Python 和 R 等,

不僅可以實現欄位級的血緣分析,而且可以解析其中程式碼的資料計算邏輯;

2。

利用人工智慧和機器學習將資料血緣自動化關聯起來,同時匯入資料質量、系統日誌等資訊,實現活動元資料的全鏈路分析;

3.將組織結構、資料目錄、業務術語及資料血緣結合起來,讓企業容易定位資料資產,瞭解資料資產在企業內部是如何流轉和變化的。

4.資料圖譜不僅可以佈署在雲端,也可以實現企業內部私有化部署。

下圖是從SPARK SQL到資料圖譜的解析樣例

資料圖譜,資料資產化的基石!

資料圖譜,資料資產化的基石!

有了資料圖譜,

理清了資料間的血緣關係和影響關係,同時透視其間的計算邏輯和業務邏輯,為後續的大資料協同創新及資料資產變現打下了堅實的基礎。

業務使用者可以透過資料目錄快速定位到自己所需的資料,瞭解其的真實含義及來龍去脈,透過資料API服務平臺實現資產服務化,對內可實現資產重用和激發創新,對外實現企業間資料資源的快速交換,實現企業的資料生態圈。

資料圖譜,資料資產化的基石!

覽眾科技的一站式資料服務平臺包括了企業資料智慧圖譜和資料服務功能,能夠幫助企業實現資料資產的盤點與洞察,並將其服務化,快速高效為企業的數字化轉型服務。