在2021世界人工智慧大會中，達觀資料與浦東青聯聯合舉辦了“未來辦公 文字賦能”智慧語義分析應用論壇，多位專家學者圍繞人工智慧演算法、語義分析、智慧辦公機器人應用等話題展開了一場精彩的交流盛宴。

復旦大學教授、博士生導師

復旦大學計算機科學技術學院院長、軟體學院姜育剛

復旦大學計算機科學技術學院院長姜育剛以人工智慧演算法治理的角度分享，內容圍繞目前

人工智慧演算法治理現狀與問題、研究進展與侷限和未來展望

三個方面展開。對於人工智慧發展現狀，姜院長表示目前人工智慧在很多領域都取得了初步的成功，例如智慧金融、智慧客服、自動駕駛、智慧製造，智慧檔案，智慧醫療等等，很多行業都在體驗著AI帶來的便利。但與此同時，人工智慧也存在著演算法不透明、不公平、不安全、不友好、隱私洩漏、演算法濫用等隱患，有待進一步突破。對此問題，姜院長分別從

人工智慧演算法的透明性、公平性、安全性、隱私保護和濫用監測

五個方面和大家分享了最新的研究進展和侷限。

01 透明性

在大家最關注的透明度與可解釋性上，整個深度學習的框架決定了AI系統目前很難做到非常透明。姜院長分享瞭如何透過

視覺化

的方式，利用

熱力圖

視覺化類別

啟用圖、模型梯度與敏感度

，實現模型可解釋的研究內容。他表示，如果想做到模型絕對的可解釋，亟需深度學習基礎理論的突破，以構建天然可解釋的訓練及測試演算法。

02 公平性

從公平性的角度來說，姜院長認為在進行模型訓練和設計時，想辦法消除有可能存在的地域、性別、種族等潛在偏見是值得關注與研究的方向，亟需在訓練過程中引入人文社科知識，確保資料、模型的公平性。

03 安全性

在安全性方面，姜院長介紹了對抗樣本防禦、後門攻擊防禦，以及魯棒性評估這三種方式。

對抗樣本防禦：

目前最有效的防禦方式是將對抗樣本加到模型中，強制模型對於這些對抗樣本生成正確的預測，這也是目前被認為最有效的防禦的手段；

後門攻擊防禦：

該領域的研究比較新，最近一兩年才引起關注，也急需研究統一的標準和評測方法；

魯棒性評估：

透過整合不同的對抗攻擊方法，進行無限制攻擊測試以發現模型的安全漏洞，同時透過不同強度的對抗樣本攻擊來有效評估模型魯棒性。達觀在NLP方面做的文字魯棒性評估工具很好，復旦計算機學院也與達觀資料進行了深入的合作。

04 隱私保護

談及隱私保護，姜院長表示非常有代表性的就是

聯邦學習

，聯邦學習可以利用分散式學習在保證資料隱私安全及合法合規的基礎上，實現共同建模，提升智慧模型學習效果。但需有效的模型聚合方法，處理來自不同裝置、不同分佈的資料。

05 濫用監測

關於濫用檢測，姜院長主要圍繞機器生成文字檢測方向，利用文字統計特性如

詞頻、詞頻排序、文字熵值

等檢測文字是否為機器生成，同時藉助視覺化方法對檢測結果進行展示。也提出需要具有強泛化能力的演算法。

在分享最後，姜院長倡導發展以人為本的人工智慧，呼籲以人工智慧向善、改善人類生活為目的來推進人工智慧演算法的研究與應用。在設計過程中除了

產品層面

的指標，還需考慮

公平公正、和諧、友好、尊重隱私、安全可控、可解釋等維度因素

，以此引導人工智慧的健康發展。同時提倡

“技術+規則”

雙輪驅動的演算法治理，技術與規則聯動，一方面研究更符合規則的人工智慧演算法，發展評估技術以度量現有人工智慧演算法的合規程度；另一方面透過規則自頂向下約束人工智慧技術活動，牽引其健康發展。