調研 | 黃勇 莫業林
撰寫 | 莫業林
“資料已成為企業最重要的生產要素之一，駕馭實時資料的分析為企業提供了挖掘資料價值的重要利器。當前，越來越多的企業已經意識到實時資料的分析價值，實時資料分析應用迎來爆發。不過，企業在落地應用的過程中，無論在技術還是業務層面都面臨諸多挑戰。”
當前，企業在生產和經營活動中產生的各類資料正以前所未有的速度增長，透過對實時及歷史資料的融合分析，及時挖掘業務洞察和輔助決策，也已成為企業的普遍行動。
傳統上，企業對資料的分析主要是在離線場景下，僅對歷史資料進行事後分析，反饋週期較長。隨著市場競爭環境和客戶需求的快速變化，以及資料應用的深入，企業對資料驅動業務決策的實時性需求在不斷提升。近兩年來，以通訊、金融、製造等行業為代表，企業對實時資料分析的應用迎來了爆發。
在實時資料的分析場景下，實時資料的分析結果在需求提出後即時處理完成，實現對業務需求的快速響應，實現資料價值的倍增。實時資料分析有哪些應用場景和價值？企業又該如何實現實時資料分析在自身業務場景的應用落地？
01
需求和技術驅動實時資料分析應用爆發
實時資料分析技術早前由網際網路行業等起始，典型應用如實時個性化推薦等，這是由於網際網路企業的業務本身就具備線上化特徵。線上化業務積累了豐富的資料，為實時資料分析提供了良好的基礎；此外，線上化業務一般具備業務量高併發等特徵，需要更實時的業務洞察和更短的決策週期，且使用者端對個性化服務和體驗的需求也更加強烈。
而傳統行業自身的線上化、數字化升級，實時資料分析也開始加速推進，需求開始爆發。
另一方面，實時處理技術的進步，也是推動實時資料分析應用場景快速落地的必要條件。尤其是各種開源框架的成熟，完善了實時處理技術生態。
實時資料的分析場景實現，包含了資料採集與接入、資料儲存與查詢、資料分析與計算、資料服務等環節的完整鏈條，每一個環節都要實現實時處理，這對相關資料技術提出了很大的挑戰。在這些環節上，近年來都有相應的開源框架出現並走向成熟。
例如，Kafka和Flume用於實現高可靠性的實時資料採集和接入；Druid、Clickhouse、Hbase等資料庫在儲存、查詢方面的高效能，支撐了海量資料的實時OLAP場景；Spark和Flink等計算引擎，實現了大規模流資料實時計算。
在這些成熟的開源框架的基礎上，眾多開發者可以結合自身要解決的具體業務場景需求，快速地構建完整實時資料的分析解決方案，並進一步地在應用實踐中不斷完善相關技術。
02
實時資料的分析應用價值
實時資料分析對於企業的價值是顯而易見的，主要體現在提升生產效率、提升客戶體驗、提供個性化產品服務三個方面。
1）提高生產效率
基於實時資料分析技術，企業能夠實時追蹤企業內部包括生產裝置、人員等的情況，同時還能對產品和服務生產到消費全鏈條的狀態進行監控，提高企業的生產效率。這方面典型的場景包括實時指標加工、實時反欺詐和實時監控等。
在實時指標加工的場景下，銀行對線上交易資料進行實時採集和加工計算，計算出來的指標結果可以實現實時監控，實時報表；也可以向實時工作流的下游供數，構建實時數倉，實現資料化運營。
如在銀行欺詐交易監測的場景下，透過實時資料分析，能在潛在欺詐交易尚未完成前，即可提前識別採取措施，以減少銀行的損失。然而僅基於傳統的歷史資料倉庫分析，在欺詐交易完成後，即便能夠識別出來，事後進行追查的成本也會比較大。
在實時監控的場景下，工廠透過感測器採集裝置資料，實時監控裝置的執行狀態，使用規則和模型配置進行關鍵資料的預測；對生產流水線進行二十四小時影片監控，對於採集的影片和影象透過模型及時發現生產中的異常狀態。
2）提升客戶體驗
基於實時資料分析技術，企業能夠實時感知到客戶需求並及時提供產品和服務予以滿足。這方面典型的應用場景包括實時授信和實時交易。
在實時授信的場景下，針對客戶的貸款申請，基於對客戶資料的實時採集，透過規則計算和模型預測，金融企業在數分鐘就能作出審批授信額度的決定。
在實時交易的場景下，基於實時資料分析技術，證券公司可實時追蹤股市波動，計算收益和價值，根據實時價格和投資策略自動平衡投資組合。
3）提供個性化產品和服務
基於使用者相關的各方面資料，例如消費記錄、購買偏好等，利用實時資料分析技術，能夠根據消費者需求，及時提供個性化產品和服務。
這方面典型的場景包括實時精準營銷。例如，網上商城使用基於日誌的實時使用者行為的實時統計與分析，提供精確產品營銷，提高廣告轉化率。另外，基於實時資料分析，還可結合GPS資料、代表性建築等對使用者進行定位，實現基於“情景”的精準商品推送，提升營銷效果。
總體來看，實時資料分析技術在金融、通訊、零售、製造業等諸多行業擁有成熟的應用場景。隨著未來物聯網時代的到來，更多的裝置將聯網，對資料的實時性要求更高，實時資料分析應用將迎來爆發。
03
企業落地實時資料分析應用仍需克服多重挑戰
雖然有較為成熟的技術生態做支撐，但企業在落地實時資料分析應用的過程中，要實現工程化落地和業務價值，仍然面臨多重挑戰，主要包括技術和業務兩個方面。
技術方面，在實時資料分析涉及到的資料採集與接入、資料儲存與查詢、資料分析與計算、資料服務等環節中，都有眾多難點需要突破。系統需要在滿足實時性指標的同時，具備生產環境下的高可用性和易用性。
在資料採集與接入環節，需要能夠接入各種實時資料來源和各類異構資料；在資料儲存和查詢環節，需要對用於資料分析產生的指標進行計算和儲存，需要具備同時支援熱資料、溫資料和冷資料查詢的頻率等；在資料分析與計算環節，需具備實時處理過程中的複雜計算邏輯，包括糅合指標、模型、業務規則等各類計算邏輯。
另一方面，實時資料分析是一個與業務場景進行深度結合的過程，在具體應用落地的過程中，需要具備將技術與業務結合的能力。
具體來看，企業實時資料分析賦能具體的業務場景，基於指標規則和業務模型進行實時決策，並支援簡單易行，零程式碼的配置實現。企業在日常生產經營活動中，積累了很多基於業務的專業知識體系，在應用實時資料分析技術時，需要將基於專家規則沉澱的知識體系能夠遷移過來，並與實時資料分析技術中的AI模型等元件進行結合決策。
04
基於成熟產品，加速應用落地
對於大部分企業而言，完全自建實時資料分析平臺往往需要投入大量資源，更好的選擇是與具備成熟解決方案的廠商合作，共同推進技術應用落地。
目前，市場上能夠提供實時資料的分析解決方案典型廠商主要包括以下兩類。
第一類是專注於資料智慧領域的廠商。此類廠商涉及從底層資料庫、資料倉庫，機器學習、日誌分析等通用技術到上層資料應用領域，典型廠商包括九章雲極DataCanvas等。
第二類是有網際網路背景的雲廠商。這類廠商在內部網際網路業務發展過程中，已廣泛應用實時分析技術，基於自身業務場景建立實時資料分析能力。
不同廠商提供的實時資料分析解決方案具備的功能和效能各有差異。總體來看，針對廠商提供的實時資料分析解決方案，企業應該從以下維度進行評估。
效能方面，實時處理能力和高可用性是核心指標。
實時處理能力可以從系統的吞吐量評估，通常由QPS（TPS）、併發數兩個因素決定，QPS指的是每秒的請求數量，而併發數則指的是同時訪問伺服器站點的連線數。
吞吐量越大，越能提升實時資料分析的效能。如在資料採集與接入環節，大吞吐量的情況下，可提升採集和接入資料的效率；在資料儲存和分析的環節，能夠降低實時響應的時長，提升實時效率的速度。
一般來看，系統的吞吐量由使用的開源框架本身決定，目前，Spark Streaming 和 Flink 在所有開源框架中具備的吞吐量最大。以九章雲極的DataCanvas RT實時決策中心產品為例，該產品支援高吞吐、高併發、毫秒級的實時計算需求。
功能層面，作為企業級產品，實時資料分析解決方案需要滿足易用性要求。
關鍵的易用性要求包括：需要支援靈活的許可權管理，保證資料安全；需要支援多租戶架構，滿足企業各個業務部門同時使用場景下的算力分配、資源隔離等，並便於彈性擴容；需要具備完整的監控運維工具，便於監控審計和故障定位；需要配備低程式碼開發、自動化建模等工具，便於業務人員快速開發和上線實時分析應用。
此外，面向特定業務場景的服務經驗也是重要的
考量
因素。
實時資料分析最終要服務於具體的業務場景，需要與業務知識相結合，具體體現在分析規則、指標、模型等方面。不同廠商由於客群定位、歷史服務記錄等方面的不同，跨業務場景服務能力有所差異。具體到產品層面，廠商在服務具體業務場景的過程中，可以沉澱大量基於專家規則、業務經驗的知識體系，並在廠商產品中預置相關規則庫、指標庫、模型庫等工具，助力應用的快速開發。
05
典型解決方案案例：九
章雲極
DataCanvas RT實時決策中心產品
以九章雲極DataCanvas與某總部位於上海的股份制銀行合作的專案為例。該銀行此前經過多年IT建設，依託主流網際網路大資料生態圈，引入開源社群軟體框架，完成了大資料分析平臺、資料湖的搭建，建立了體系化的批次資料分析能力。
不過，基於原有的系統，該銀行依然面臨多方面挑戰。首先，批次式、準實時資料效率無法滿足所有的業務場景，無法覆蓋實時營銷推薦、實時風控、反洗錢等業務領域；其次，傳統資料交付方式複雜，無法滿足快速變化的業務需求。
在這一情況下，該銀行客戶與九章雲極DataCanvas合作，基於DataCanvas RT實時決策中心軟體，搭建了全行級大資料應用支撐平臺。
該平臺的運作流程如下：透過Kafka實時進行資料接入後，實現對資料的實時儲存，利用一般規則、實時指標、CEP規則以及機器學習模型實現資料與業務的結合，最終在下游支撐起，營銷管理系統、反洗錢監控系統等。
效果層面，透過引入九章雲極DataCanvas RT實時決策中心，該銀行建立了全行實時資料處理服務能力，實現對交易、日誌等流式資料秒級的採集、處理能力，每日全行ESB報文采集和足跡採集量達17億以上；實現實時標籤（客戶標籤、產品標籤、活動標籤、內容標籤）加工能力，面向營銷業務提供基於事件的實時營銷推薦（基金/理財首次開戶、手機銀行足跡、大額存入、權益閾值等）。
同時透過平臺易用效能力建設，實現線上拖拽式、配置化場景開發能力，支援線上除錯、業務應用熱更新等能力，提升快速、自主、迭代式平臺的交付能力。
透過建立秒級資料加工、服務能力，成功支撐手機銀行足跡營銷、營銷管理、資金流向監控、大額資金變動、大額交易實時監控等近數十個實時場景；同時，視覺化的流應用開發能力能夠適應各種實時業務場景。
