作者丨追風視覺
編輯丨極市平臺
作者：田春偉，張豔寧，左旺孟，林嘉文，張大鵬，袁奕萱
單位：西北工業大學、空天地海一體化大資料應用技術國家工程實驗室、哈爾濱工業大學、臺灣國立清華大學、香港中文大學
論文連結：
https：//arxiv。org/abs/2209。12406
視覺化Demo連結：
https：//user-images。githubusercontent。com/25679314/192536076-f5122657-5f8e-4d39-9490-1aee0f94ce9d。mp4
專案連結：
https：//github。com/hellloxiaotian/HGSRCNN
01 摘要
卷積神經網路（Convolutional Neural Networks， CNNs）已透過深度結構獲得顯著的影象超分辨效能。但這些CNNs對複雜場景下的影象超分辨表現出差的魯棒性。對此，本文透過使用不同型別的結構資訊來設計一個異構組卷積神經網路的影象超分辨方法（Heterogeneous group super-resolution convolutional neural network，HGSRCNN），獲得高質量影象。其中，HGSRCNN的每個異構組塊都由一個對稱卷積塊和一個互補卷積塊組成的異構結構並以並行方式來增強不同通道的內部和外部的關聯，促進不同型別更豐富的低頻結構資訊。為了防止出行冗餘的特徵，一個提純訊號增強塊以序列工作方式來過濾無用的資訊。為了防止原始資訊的丟失，一個多級增強機制引導一個CNN來實現一個對稱結構，提高HGSRCNN的表達能力。此外，一個並行的上取樣機制用來訓練一個盲超分辨模型。實驗結果顯示提出的HGSRCNN在定性分析和定量分析上已經獲得好的超分辨效能。相關程式碼能在https：//github。com/hellloxiaotian/HGSRCNN處被獲取。
主要貢獻：
提出的52層的HGSRCNN利用異構結構和提純塊以並行和序列的工作方式來增強不同通道的內部和外部的關聯，獲得不同型別的豐富的低頻結構資訊，這是非常適合複雜場景下的影象超分辨任務。
一個多級增強機制引導一個卷積神經網路來實現一個對稱結構，逐步促進影象超分辨鐘的結構資訊。
提出的HGSRCNN能在影象超分辨任務上獲得可競爭的執行速度，它在恢復一個1024x1024大小的高質量影象上僅佔RDN的4。58%和SDRBN的4。27%
02 方法
網路結構如圖1所示，上取樣操作如圖2所示：
圖1 HGSRCNN網路結構圖
圖2 並行上取樣機制結構圖
03 實驗
本文提出的方法在Set5，Set14，B100，U100這四個基準資料上超過了很多流行的方法，如：A+、SelfEx、SRCNN和CARN-M等。更多的影象超分辨結果如表1到表4所示：
表1 不同SR方法在Set5資料集上恢復三種不同倍數（×2、×3和×4）的影象的PSNR/SSIM結果
表2 不同SR方法在Set14資料集上恢復三種不同倍數（×2、×3和×4）的影象的PSNR/SSIM結果
表3 不同SR方法在B100資料集上恢復三種不同倍數（×2、×3和×4）的影象的PSNR/SSIM結果
表4 不同SR方法在U100資料集上恢復三種不同倍數（×2、×3和×4）的影象的PSNR/SSIM結果
為了驗證提出方法的魯棒性，本文還在B100資料集上利用RDN，CSFM，SRFBN、CFSRCNN和CARN-M提出的方法恢復4倍高質量影象，測試提出方法的效能。如表5-7所示，雖然我們提出的模型的效能略低於RDN，CSFM和SRFBN方法，但HGSRCNN具有更低的複雜度和更快的恢復影象的速度。此外，本文還從影象質量評估的方面來測試恢復影象的效果。如表8所示，本文獲得特徵相似性（Feature Similarity， FSIM）比其他方法高，這說明了本文提出的方法具有較高的影象超分辨方法。
表5 不同SR方法在B100資料集上恢復4倍影象的PSNR/SSIM結果
表6 不同SR方法恢復256×256、512×512和1024×1024大小的2倍高解析度影象的執行時間（秒）
表7 不同SR方法恢復2倍高解析度影象的複雜度
表8 不同的SR方法恢復不同倍數影象時獲得FSIM值。
為了從視覺驗證本文提出方法的優越性，本文製作不同倍數的2組視覺化影象。如圖3和圖4所示，本文提出的方法獲得更清晰的細節資訊，這再次說明提出的HGSRCNN對影象超分辨任務有效。
圖3 不同SR方法在U100上覆原3倍影象的視覺化效果。（a） HR image， （b） VDSR， （c） DRCN， （d） CARN-M， （e） LESRCNN， （f） CFSRCNN， （g） ACNet and （h） HGSRCNN （Ours）。
圖4 不同SR方法在B100上覆原4倍影象的視覺化效果。Visual effect of different methods for ×4 on B100 as follows。 （a） HR image， （b） VDSR， （c） DRCN， （d） CARN-M， （e） LESRCNN， （f） CFSRCNN， （g） ACNet and （h） HGSRCNN （Ours）。
04 結論
在本文中，我們提出一種異構組卷積神經網路的影象超分辨方法（HGSRCNN）。HGSRCNN利用異構結構以並行的方式來增強不同通道外部和內部的聯絡，促進更豐富的低頻結構資訊。考慮冗餘資訊的影響，一個提純訊號增強塊以序列的方式來過濾無用資訊。為了防止原始資訊的丟失，一個多級增強機制引導CNN來實現一個對稱結構，增強HGSRCNN的表達能力。此外，一個並行上取樣機制用來訓練一個盲超分辨模型。大量的實驗被製作在四個公開的資料集上就影象超分辨效能、效率、複雜度和視覺化效果等方面來驗證提出的HGSRCNN的有效性。