SpringBoot資料庫管理 - 用Liquibase對資料庫管理和遷移?

Liquibase是一個用於用於跟蹤、管理和應用資料庫變化的開源工具,透過日誌檔案(changelog)的形式記錄資料庫的變更(changeset),然後執行日誌檔案中的修改,將資料庫更新或回滾(rollback)到一致的狀態。它的目標是提供一種資料庫型別無關的解決方案,透過執行schema型別的檔案來達到遷移。本文主要介紹SpringBoot與Liquibase的整合。@pdai

知識準備

需要理解什麼是Liquibase,它的出現是要解決什麼問題。

什麼是Liquibase?這類工具要解決什麼問題?

Liquibase是一個用於

用於跟蹤、管理和應用資料庫變化的開源工具

,透過日誌檔案(changelog)的形式記錄資料庫的變更(changeset),然後執行日誌檔案中的修改,將資料庫更新或回滾(rollback)到一致的狀態。它的目標是提供一種資料庫型別無關的解決方案,透過執行schema型別的檔案來達到遷移。

其優點主要有以下

支援幾乎所有主流的資料庫,目前支援包括 Oracle/Sql Server/DB2/MySql/Sybase/PostgreSQL等 各種資料庫,這樣在資料庫的部署和升級環節可幫助應用系統支援多資料庫;

支援版本控制,這樣就能支援多開發者的協作維護;

日誌檔案支援多種格式,如XML, YAML, JSON, SQL等;

提供變化應用的回滾功能,可按時間、數量或標籤(tag)回滾已應用的變化。透過這種方式,開發人員可輕易的還原資料庫在任何時間點的狀態

支援多種執行方式,如命令列、Spring整合、Maven外掛、Gradle外掛等。

為何會出現Liquibase這類工具呢

在實際上線的應用中,隨著版本的迭代,經常會遇到需要變更資料庫表和欄位,必然會遇到需要對這些變更進行記錄和管理,以及回滾等等;同時只有指令碼化且版本可管理,才能在讓資料庫實現真正的DevOps(自動化執行 + 回滾等)。在這樣的場景下Liquibase等工具的出現也就成為了必然。

Liquibase有哪些概念?是如何工作的?

工作流程

:將

SQL

變更記錄到

changeset

,多個changeset變更組成了日誌檔案(

changelog

),liquibase將changelog更新日誌檔案同步到指定的

RDBMS

中。

SpringBoot資料庫管理 - 用Liquibase對資料庫管理和遷移?

日誌檔案(databaseChangeLog)支援多種格式,如XML, YAML, JSON, SQL; 我們以xml為例,看下相關配置

<?xml version=“1。0” encoding=“UTF-8”?> A sample change log

簡單示例

這裡主要介紹基於SpringBoot整合liquibase來管理資料庫的變更。

POM依賴

Maven 包的依賴,主要包含mysql驅動, JDBC(這裡spring-boot-starter-data-jpa包含了jdbc包,當然直接引入jdbc包也行),以及liquibase包。

mysql mysql-connector-java 8。0。28 com。github。wenhao jpa-spec 3。1。0 org。springframework。boot spring-boot-starter-data-jpa org。liquibase liquibase-core 4。9。1

yml配置

SpringBoot AutoConfig預設已經包含了對liquibase的配置,在spring。liquibase配置下。

基礎的配置,可以直接使用如下(主要是指定change-log的位置,預設的位置是classpath:/db/changelog/db。changelog-master。yaml):

spring: datasource: url: jdbc:mysql://localhost:3306/test_db_liquibase?useSSL=false&autoReconnect=true&characterEncoding=utf8 driver-class-name: com。mysql。cj。jdbc。Driver username: root password: bfXa4Pt2lUUScy8jakXf liquibase: enabled: true # 如下配置是被spring。datasource賦值的,所以可以不配置# url: jdbc:mysql://localhost:3306/test_db_liquibase?useSSL=false&autoReconnect=true&characterEncoding=utf8# user: root# password: bfXa4Pt2lUUScy8jakXf change-log: classpath:/db/changelog/db。changelog-master。yaml

在開發時,更多的配置可以從如下SpringBoot AutoConfig中找到。

SpringBoot資料庫管理 - 用Liquibase對資料庫管理和遷移?

新增changelog

XML方式固然OK,不過依然推薦使用yml格式。

databaseChangeLog: - changeSet: id: 20220412-01 author: pdai changes: - createTable: tableName: person columns: - column: name: id type: int autoIncrement: true constraints: primaryKey: true nullable: false - column: name: firstname type: varchar(50) - column: name: lastname type: varchar(50) constraints: nullable: false - column: name: state type: char(2) - changeSet: id: 20220412-02 author: pdai changes: - addColumn: tableName: person columns: - column: name: username type: varchar(8) - changeSet: id: 20220412-03 author: pdai changes: - addLookupTable: existingTableName: person existingColumnName: state newTableName: state newColumnName: id newColumnDataType: char(2)

測試

啟動springBootApplication, 我們可以看到如下的幾個changeSet被依次執行

2022-04-12 20:41:20。591 INFO 8476 ——- [ main] liquibase。lockservice : Successfully acquired change log lock2022-04-12 20:41:20。737 INFO 8476 ——- [ main] liquibase。changelog : Creating database history table with name: test_db_liquibase。DATABASECHANGELOG2022-04-12 20:41:20。783 INFO 8476 ——- [ main] liquibase。changelog : Reading from test_db_liquibase。DATABASECHANGELOGRunning Changeset: classpath:/db/changelog/db。changelog-master。yaml::20220412-01::pdai2022-04-12 20:41:20。914 INFO 8476 ——- [ main] liquibase。changelog : Table person created2022-04-12 20:41:20。914 INFO 8476 ——- [ main] liquibase。changelog : ChangeSet classpath:/db/changelog/db。changelog-master。yaml::20220412-01::pdai ran successfully in 53msRunning Changeset: classpath:/db/changelog/db。changelog-master。yaml::20220412-02::pdai2022-04-12 20:41:20。952 INFO 8476 ——- [ main] liquibase。changelog : Columns username(varchar(8)) added to person2022-04-12 20:41:20。952 INFO 8476 ——- [ main] liquibase。changelog : ChangeSet classpath:/db/changelog/db。changelog-master。yaml::20220412-02::pdai ran successfully in 31msRunning Changeset: classpath:/db/changelog/db。changelog-master。yaml::20220412-03::pdai2022-04-12 20:41:21。351 INFO 8476 ——- [ main] liquibase。changelog : Lookup table added for person。state2022-04-12 20:41:21。351 INFO 8476 ——- [ main] liquibase。changelog : ChangeSet classpath:/db/changelog/db。changelog-master。yaml::20220412-03::pdai ran successfully in 389ms2022-04-12 20:41:21。382 INFO 8476 ——- [ main] liquibase。lockservice : Successfully released change log lock

檢視資料庫,你會發現資料已經變更

SpringBoot資料庫管理 - 用Liquibase對資料庫管理和遷移?

那我們如果重新啟動這個SpringBootApplication,會怎麼呢?

很顯然,因為databasechangelog表中已經有相關執行記錄了,所以將不再執行變更

2022-04-12 20:49:01。566 INFO 9144 ——- [ main] liquibase。lockservice : Successfully acquired change log lock2022-04-12 20:49:01。761 INFO 9144 ——- [ main] liquibase。changelog : Reading from test_db_liquibase。DATABASECHANGELOG2022-04-12 20:49:01。812 INFO 9144 ——- [ main] liquibase。lockservice : Successfully released change log lock

進一步理解

通過幾個問題,進一步理解。

比較好的changelog的實踐?

簡單而言:yml格式 + sql-file方式

執行sqlFile格式的changeSet,如下

SpringBoot資料庫管理 - 用Liquibase對資料庫管理和遷移?

執行的日誌如下

2022-04-12 21:00:28。198 INFO 17540 ——- [ main] liquibase。lockservice : Successfully acquired change log lock2022-04-12 21:00:28。398 INFO 17540 ——- [ main] liquibase。changelog : Reading from test_db_liquibase。DATABASECHANGELOGRunning Changeset: classpath:/db/changelog/db。changelog-master。yaml::20220412-04::pdai2022-04-12 21:00:28。516 INFO 17540 ——- [ main] liquibase。changelog : SQL in file classpath:/db/changelog/db。changelog-20220412-04。sql executed2022-04-12 21:00:28。516 INFO 17540 ——- [ main] liquibase。changelog : ChangeSet classpath:/db/changelog/db。changelog-master。yaml::20220412-04::pdai ran successfully in 83ms2022-04-12 21:00:28。532 INFO 17540 ——- [ main] liquibase。lockservice : Successfully released change log lock

執行後,檢視變更記錄

SpringBoot資料庫管理 - 用Liquibase對資料庫管理和遷移?

資料表user表已經建立並插入一條資料

SpringBoot資料庫管理 - 用Liquibase對資料庫管理和遷移?

除了addColumn,addTable還有哪些changeType呢?

除了addColumn,addTable還有哪些changeType呢?

與此同時,還支援如下changeType:

SpringBoot資料庫管理 - 用Liquibase對資料庫管理和遷移?

此外,還支援執行command

changeSet: id: executeCommand-example author: liquibase-docs changes: - executeCommand: args: - arg: value: -out - arg: value: -param2 executable: mysqldump os: Windows 7 timeout: 10s

比如,回滾的操作可以透過如下command進行

SpringBoot資料庫管理 - 用Liquibase對資料庫管理和遷移?

再比如,我們可以透過Liquibase來生成相關差異,再製作成changeSet,最後部署。

示例原始碼

https://github。com/realpdai/tech-pdai-spring-demos

參考文章

https://docs。liquibase。com