Tapdata Cloud:異構資料庫實時同步服務

公司發展

Tapdata Cloud 是由深圳鈦鉑資料推出的異構資料庫實時同步雲服務平臺,它可以連線到業務的關鍵資料來源,並按需求將資料實時同步到目標的儲存資料庫、數倉或大資料平臺。鈦鉑資料剛完成 pre-A 輪融資,由五源資本領投,成立至今不到兩年的時間裡,發展還是挺迅速的:

2019年9月 由 MongoDB 中文社群創始人唐建法創辦,獲得變數資本等機構近千萬人民幣天使投資;

2020年服務超過 20 家行業客戶,包括周生生、中國一汽、南方電網、富邦銀行等標杆客戶,當年實現盈利;

2021年7月份宣佈完成 pre-A 輪融資,有五源領投,融資金額數千萬美元。

核心理念

Tapdata Cloud 要打造的是基於雲的資料服務平臺,產品口號 是 “

Make You Data on Tap

”,意思是透過產品連線各個資料來源,像一根根自來水管一樣幫企業接好資料,當企業的業務需要資料的時候,擰開水龍頭(Tap),就能得到新鮮的資料,非常的方便簡單。其特點可以概括為 4 點:

連線全域的資料來源,打通資料孤島;

提供實時的資料同步,源和目標庫之間的資料延遲達到1秒以內;

提供實時的資料處理能力,包括合併、清洗和轉化,以及資料建模、治理能力;(目前只有企業版支援,雲版本尚未上線)

提供資料釋出能力,以低程式碼的作業方式釋出 Data API,不需要專業的程式設計能力;(目前只有企業版支援,雲版本尚未上線)

架構

Tapdata Cloud包含兩部分:

Tapdata cloud manager,TCM是Tapdata Cloud的管理端,負責agent例項的安裝,同步任務的配置、分發、任務狀態監測。

Tapdata agent,是Tapdata Cloud資料同步服務的執行例項,負責從TCM獲取任務資訊,透過流式技術從源系統獲取資料、處理轉換資料併發送到目標系統,並在任務執行過程中監測並上報任務狀態至TCM。

Tapdata Cloud:異構資料庫實時同步服務

Tapdata Cloud 架構圖

Tapdata Cloud 採用了多種網路安全措施,確保使用者資料和資訊保安。

單向連線:同步例項節點單向連線管控端執行服務。 Tapdata agent例項節點對外不主動暴露網路資訊,只會連線 TCM 管理端服務,獲取任務資訊、上報狀態資訊。

HTTPS 協議:使用者部署的Tapdata agent 例項節點和 TCM 通訊鏈路採用 HTTPS 協議,防止盜取並篡改資訊。

可信環境:自建模式下,所有資料流轉均發生在受使用者管理的伺服器和網路環境,資料不流出洩漏。

資料來源支援

目前支援的資料來源如下,今年的目標是支援 top 150 的資料庫和版本。

Tapdata Cloud:異構資料庫實時同步服務

目前 Tapdata Cloud 的資料來源支援正逐漸增加,從它的企業版支援的資料來源看,應該會很快更新並支援

https://docs。tapdata。net/data-source/dbs

任務式管理

Tapdata Cloud 提供圖形化建立同步任務,支援異構資料庫實時同步,比如 Oracle 到 MongoDB 雙向同步;同步的型別包括 全量同步、增量同步、全量+增量同步;支援斷點續傳。

Tapdata Cloud:異構資料庫實時同步服務

同步任務管理列表

任務監控

Tapdata Cloud 提供任務監控頁面,隨時檢視同步任務的執行狀況,如日誌、同步程序等。

Tapdata Cloud:異構資料庫實時同步服務

任務監控

資料安全

Tapdata Cloud 跟一般的雲服務不通,資料在同步的過程中,不經過雲平臺網路,從源資料到目標資料,整個網路鏈路是跑在使用者自己清楚的網路裡,這歸功於 Tapdata Cloud 提供的計算引擎 agent, 它雖然叫“angent”,但它其實是一個計算引擎,這個計算引擎是執行在使用者提供的伺服器上,接受雲平臺的排程,自動同步和處理資料。 也就是說,當用戶的源資料庫和目標資料庫伺服器都在公司的內網,只需要執行agent的伺服器可以跟雲平臺通話,則同樣可以實現資料庫自動實時同步。

總結

資料庫實時同步的場景非常的具體和常見, 但同樣存在在一些技術難點:

支援異構資料庫:資料庫的產品非常多,由於資料庫的型別不一致,特別是關係型和非關係型,在資料轉化處理上,存在著非常多的坑。

實時同步:實現實時同步,靠普通的 ETL 工具或編寫的指令碼是難以實現真正的實時。最好的方式是監聽源資料庫的變化,一旦發生變化便主動將變化的操作同步到目標資料庫,這之間的延遲不能超過 1 秒。 這種延遲的要求,靠定時查詢是很難實現的。

Tapdata Cloud 是第一個將資料庫實時同步搬到雲上,以線上服務的方式提供給使用者使用,免安裝、且不需要有專業的程式設計能力,便能很好地實現資料庫的資料實時同步。

參考資料

https://cloud。tapdata。net

https://www。yuque。com/tapdata/cloud/chan-pin-jian-jie_zhi-chi-de-shu-ju-yuan-lei-xing