導語：使用歷史資料來培訓風險評估工具可能意味著機器正在複製過去的錯誤。

如果你最常接觸機器學習演算法的是Facebook的新聞訂閱或谷歌的搜尋排名，那麼AI可能對你沒有太大的個人影響。但是，在上週末的“黑人生活資料”會議上，技術專家、法律專家和社群活動人士透過討論美國的刑事司法制度，發現了一個新的視角。在那裡，一個演算法可以決定你的人生軌跡。

美國關押的人比世界上任何國家都多。截至2016年底，近220萬成年人被關押在監獄或拘留所，另有450萬人被關押在其他懲教設施。換句話說，每38個美國成年人中就有一個受到某種形式的懲教監督。這種可怕的局面是少數幾個能讓兩黨政客團結起來的問題之一。

為了在不增加犯罪風險的情況下減少監獄數量，美國各地的法庭都面臨巨大壓力，它們求助於自動化工具，以求儘可能高效和安全地在法律體系中對被告進行洗選。

這就是這篇文章的開始。

警察部門使用預測演算法來制定戰略向何處派兵。執法機構使用面部識別系統來幫助識別嫌疑人。這些做法是否實際上改善了安全，或者只是使現有的不公平現象繼續存在，值得仔細審查。

例如，研究人員和民權倡導者一再證明，人臉識別系統可能會以驚人的速度失靈，尤其是對於面板黝黑的人，他們甚至會把國會議員誤認為已定的罪犯。

但到目前為止，最具爭議的工具是在警方逮捕之後使用犯罪風險評估。

風險評估工具的目的：收集被告的詳細資料，然後給出一個累犯評分，估計他或她再次犯罪的可能性。然後，法官不僅會把這些因素考慮進判決當中，還會影響到被告應該接受什麼樣的社會康復服務、他們是否應該在審判前被關進監獄，以及他們的刑期應該有多嚴重。較低的分數為較好的命運鋪平了道路，高分恰恰相反。

使用這種演算法工具的邏輯是，如果你能準確地預測犯罪行為，你就能相應地分配資源，無論是用於罪犯的康復還是服刑。從理論上講，這減少了影響決策過程的偏見，因為法官是根據資料驅動的建議而非直覺做出的決策。

你可能已經發現了問題。

現在的風險評估工具是基於歷史犯罪資料的演算法驅動。如前所述，機器學習演算法使用統計資訊來查詢資料中的模式。如果你輸入歷史犯罪資料，它就會找出與犯罪相關的模式。但這些模式在統計上的相關性與因果關係相去甚遠。

例如，如果一種演算法發現低收入與高累犯率相關，它不會讓你更清楚低收入是否真的導致了犯罪。但這正是風險評估工具的作用：它們將相關見解轉化為因果評分機制。

執法部門歷來不成比例地將執法物件鎖定在低收入和少數族裔社群，這些群體面臨著再犯分數高的風險。因此，該演算法可能會放大和延續嵌入式偏見，併產生更多受偏見影響的資料，從而形成惡性迴圈。由於大多數風險評估演算法是專有的，因此也不可能對他們的決策提出質疑或追究他們的責任。

關於這些工具的爭論仍在激烈進行。去年7月，包括美國公民自由聯盟（ACLU）和有色人種協進會（NAACP）在內的100多個民權組織和社群組織簽署了一份宣告，敦促不要使用風險評估。與此同時，越來越多的司法管轄區和州，包括加州，已經開始求助於風險評估，努力修復他們不堪重負的監獄和監獄。

Marbre Stahly-Butts，黑人生活的法律執行主任在麻省理工學院媒體實驗室主持的會議上發表意見，資料驅動的風險評估系統使壓迫合法化。這是一種將注意力從影響低收入和少數族裔社會的實際問題上轉開的方式，這些問題包括學校經費不足和醫療保健機會不足。

她說：“我們不是風險。”

作者：Karen Hao

編譯：悟空不吃菜