好多研究都發現，AI這傢伙好不害臊，竟也學會性別歧視了。
這可咋整？
最近，清華&復旦的一項研究為此給出建議：
要想把失足AI從性別歧視這條路上拽回來，一頓臭罵效果可不好。
最好的方法是了解孩子為啥這樣，然後對症下藥給他講道理。
因為要是光教訓不講道理，暴力糾正，AI會被嚇笨（表現下降）！
喔買噶，養四腳吞金獸難，養（xun）個（lian）賽博小孩也得這麼難了？
來看看這群AI“奶爸奶媽”，提出了哪些訓孩子的建議。
在這次以前，不是沒有人揪著失足AI的耳朵，想讓它改掉重男輕女的壞毛病。
但是，目前大多數的去偏方法，都會讓模型在其他任務上的表現下降。
例如你讓AI減弱了性別歧視，就會產生這樣的惱人結果：
它要么分不清“爸爸”的性別是男還是女，要么會犯語法上的錯誤，忘記給第三人稱後面跟著的動詞s。
更可氣的是，這種退化機制還沒被研究明白。
大家要不然直接棄用性別偏見明顯的模型——
2018年，亞馬遜注意到用來自動篩選簡歷的模型存在對女性求職者的歧視，就把這個系統雪藏了。
要不，就只能忍受效能下降。
難道說想讓AI不再是失足AI、問題AI，AI一定會失去了智嗎？
清華&復旦的研究對此說No。
他們研究的領域是預訓練語言模型。
這是因為它在各種NLP任務中顯示神通，有許多實踐場景。
當有性別偏見的它被用在網路廣告、自動履歷篩選系統、教育等社會工作時，可不太妙。
研究提出了AI性別偏見起源的理論框架，因果框架，用來解釋在預訓練過程中，資料不平衡是怎麼導致模型的性別偏見的。
他們把預訓練模型在執行特定預測任務時的性別偏誤如下定義：
其中，M是模型，Y是要用M預測的單字，B是M的性別偏見程度。
Y0|W是ground truth，作為男性相關單字或女性相關單字的機率為二分之一，Y|W是M的預測。
如果M的預測Y不平衡且分佈在性別之間，則模型M在根據w預測Y0時存在性別偏差。
在預訓練過程中，最佳化演算法會根據預訓練資料D決定嵌入部分和K中的參數。
因此，資料不平衡D誤導模型得到了不正確的參數。
例如，訓練資料中的「醫生」一詞更常與男性詞彙相關，模型就會想當然地將「醫生」和「性別男性」聯繫起來。
看到這個三角形沒，咱用它來解釋一下，為啥現在的方法糾正AI會讓它變笨。
當應用預訓練模型，根據W預測Y時，模型先將W轉換為擷取的X，然後根據X和K來決定Y的平均值。
由於潛入部分的參數具有誤導性，W被轉換為不正確的X，而K也是不正確的。
一頓操作下來，錯誤的X和錯誤的K，一起導致Y出錯。
這些錯誤及其交互作用，透過三個潛在機制導致性別偏見。
也就是說到了這一步，性別偏見就產生了。
而目前教育AI的去偏方法是怎麼運作的呢？
目前所有的去偏方法都介入了三種機制中的一種或兩種。
具體如下：
在解釋了目前去偏方法中存在的偏見-效能困境後，團隊嘗試提出一種微調方法。
他們發現，三種機制中，有且僅有D→X→Y這種在導致性別偏見時，與transformer無關。
如果微調方法只是透過D→X→Y修正偏差，就可以在減少性別偏誤的同時，維持模型的表現。
根據分解定理，團隊進行了數值實驗。
結果證明，這種方法能夠帶來雙重紅利：
減少部分性別偏見，同時避免表現下降。
經過實驗，團隊成員把AI性別偏誤的來源定位在預訓練模型的兩個架構：字詞嵌入與轉換。
據此，研究團隊提出C4D方法，即透過調整標記嵌入來減少性別偏差。
這個方法的核心思想是透過修正被誤導的X，來縮小TDE函數，從而減少總偏差。
雖然團隊也不知道正確的標記嵌入到底該是啥，但是他們開發了一種基於梯度的方法，來推斷潛在的ground truth。
一切就緒，團隊將C4D方法應用於GPT-2試驗去偏結果。
結果表明，在所有測試方法中，C4D方法在小、中、超大型GPT-2上的困惑度都是最低。
在大型GPT-2中，C4D的困惑度排第二，只比最高分差了0.4%。
而且，得分最高的方法，性別歧視的去偏效果低於C4D。
在GLUE資料集上，C4D方法獲得了最高平均分數。
這表明，C4D可以明顯地減少性別偏見，並維持模型表現。
聽了這麼多理論方面的介紹，來看個圖例直觀感受一下。
下面三張圖中，藍色的點代表潛入的男性偏見，紅點代表女性偏見。
圖(a)是AI本來的理解；圖(b)是人類無目的一通謾罵後，嚇笨了的AI的理解；圖(c)是人類找到原因，耐心講解過後AI的理解。
在圖(b)和(c)中，男性偏見和女性偏見的嵌入更加集中，這意味著偏見的程度較低。
同時可以注意到，圖(c)中的嵌入仍然保持了圖(a)中的拓樸結構，這也是C4D方法能夠維持模型效能的原因。
研究者：或許還能減少AI的其他偏見
「儘管這個方法可以有效緩解語言模型中AI對性別的偏見，但仍不足以完全消除。」
－研究者如實指出這個問題。
若想在不降低AI效能的條件下，進一步修正AI的偏見，還需要更能理解語言模型的機制。
那怎麼才能更好地理解？
一方面，是用本研究提出的「C4D方法」再去測試AI身上的其他偏見。
本實驗的主要研究對象為：職場上的性別偏誤。
而實際上，由於AI之前不斷學習各種訊息，屬於來者不拒的那種，結果一不小心，還染上了宗教歧視、嫌黑愛白等社會固有的毛病… …
所以，不妨到GPT-2再測測去除其他偏誤的最終效果。
另一方面，可以把「C4D方法」放到多種大模型上試試。
除了本研究用到的GPT-2，例如Google開發的NLP經典預訓練模型BERT，也是一個不錯的測試場景。
不過要移植到其他模型的話，需要重新產生校正模板，並且可能要用到多變數TDE（Template Driven Extraction）函數。
透過運用TDE函數，你可以直接將內容放入索引，而不需要修改文件結構。
有網友抱著狗頭來了：
#整體來說，走進社會變成「失足AI」不可避免。
但想要「失足AI」浪子回頭，找對方法，給它講道理，還是會有不錯效果滴～
另外，研究團隊成員之一，清華大學的於洋在個人微博上表示，過兩天還有個關於AI模型性別歧視查詢的網站會上線。
可以期待一下！
論文網址：https://arxiv.org/abs/2211.07350參考連結：https://weibo.com/1645372340/Mi4E43PUY#comment
以上是挽救失足AI，不能光靠打罵的詳細內容。更多資訊請關注PHP中文網其他相關文章！
