AI研究“重男輕女”要不得!

人工智能給女性求職者打低分，亞馬遜被迫解散研究團隊

今日視點

自2014年以來，美國亞馬遜公司的機器學習團隊一直在秘密研發和使用一款計算機程序，用于審查求職者的簡歷，希望能將尋找頂尖人才的工作智能化。但在專家發現新招聘引擎不喜歡女性后，亞馬遜最終在去年年初解散了該研究團隊。

效率提升需求推動機器學習應用

無論是在倉庫內部還是在推動定價決策方面，自動化是亞馬遜電子商務主導地位的關鍵。由于低成本計算能力的激增，機器學習在技術領域越來越受歡迎。亞馬遜的智能化招聘實驗就始于這家全球最大在線零售商的關鍵時刻。

監管機構的文件顯示，自2015年6月以來，亞馬遜的全球員工人數增加了兩倍多，達到57萬多名。為緩解人力資源部門劇增的工作壓力，提升其工作效率，亞馬遜愛丁堡工程中心建立了一支研發團隊，目標是開發人工智能技術，快速抓取網絡信息并發現值得招募的候選人。

該公司的實驗性招聘工具使用人工智能為求職者提供一星到五星的評分，類似于購物者對亞馬遜所售產品的評分。研究人員希望這個招聘軟件能達到“給軟件輸入100份簡歷，它會吐出前5名，然后公司就可優先雇用他們”的目標。

人工智能招聘軟件“重男輕女”

經過培訓，亞馬遜的計算機模型學習了過去10年內提交給公司的簡歷，找出了其固有模式，并據此來審查申請人。但從2015年開始，亞馬遜意識到在評定軟件開發和其他技術職位的申請人時，該招聘系統并非性別中立。因為大多數申請者都是男性，這反映了整個科技行業男性主導地位的現實。

研究團隊創建了500個專注于特定工作職能和職位的計算機模型。他們教會每個模型識別過去候選人簡歷中出現的約5萬個術語。這些算法對IT應用程序中常見的技能幾乎沒有重要意義，例如編寫各種計算機代碼的能力等。相反，這項技術有利于那些用男性工程師簡歷中諸如“執行”“捕獲”等常見動詞來描述自己的候選人。

事實上，亞馬遜的系統通過自學得出了男性候選人更可取的結論。系統對包含“女性”這個詞的簡歷進行了處罰，如“女子國際象棋俱樂部隊長”等。系統還降低了兩所全女子大學畢業生的評級。

亞馬遜曾嘗試對程序進行更新，力圖使其對特定術語保持中立。但這并不能保證機器不會根據其他方式來對可能具有歧視性的候選人進行分類。

性別偏見也不是唯一的問題。支持模型判斷的數據也有問題，這意味著不合格的候選人經常被推薦到各種工作崗位。亞馬遜最終在去年年初解散了該團隊，因為高管們對這個項目已失去信心。

算法公平之路任重道遠

根據人才軟件公司“職業創造者”2017年的一項調查顯示，約55%的美國人力資源經理表示，未來5年內，人工智能將成為他們工作的常規部分。

長期以來，雇主一直夢想利用技術擴大招聘網絡，減少對招聘人員主觀意見的依賴。但亞馬遜的失敗案例，為越來越多正在尋求自動化招聘流程的大型公司提供了一個教訓。

卡內基梅隆大學機器學習專家表示，如何確保算法公平、真正可理解和可解釋的道路還相當遙遠。

《麻省理工技術評論》在此次事件的報道中指出，我們不能將人工智能視為內在的無偏見。在有偏見的數據上訓練系統，意味著算法也會變得有偏見。如果這樣不公平的人工智能招聘計劃在實施之前沒有被發現，將使長期存在于商業中的多樣性問題延續下去，而不是解決它們。