挑戰在于人們是否可以信任這些決定。復雜的深度學習神經網絡做出的決策通常無需解釋。由于這些系統基本上是自己編程的，因此它們的決策缺乏可解釋性。這被稱為"黑匣子AI"。正在進行的研究旨在提高AI決策的透明度。
對于那些現在部署AI的人來說，我們怎么知道我們是否可以相信AI所說的話？處理不良購買建議或錯誤拒絕信用購買的影響只是一些小事，當關鍵操作(尤其是我們的安全)依賴于AI時會發生什么？
信任是對某人或某事的可靠性、真理、能力和/或力量的堅定信念。要讓人們相信AI，他們需要的不僅僅是一個黑匣子解釋"AI就是工作"。它需要超越這一點，用戶需要通過以下方式信任AI：
◆可解釋性: 用戶需要知道為什么AI系統會做出他們所做的決定。
◆局限性：用戶必須了解AI的局限性。此外，AI系統還需要意識到并適應自己的局限性。
◆運營透明度：用戶必須實時查看AI系統的運行方式，并知道它們為什么會這樣做。
◆可預測性：用戶必須能夠預測AI系統在特定情況下的反應。
◆道德：AI系統必須避免道德問題，如果不小心解決，這些問題可能會破壞信任。
信任的重要性
英特爾前工業創新高級總監Irene Petrick在談到信任時表示，"我們詢問科技公司什么對他們最重要。大約三分之一的評論圍繞著信任(圖1)，比如AI是否以正確的方式使用正確的數據。AI應該以預測其他問題的方式，迅速推動更多更好的行動。如果用戶不信任人工智能，這就無法推動行動。"
Neurala首席技術官Anatoli Gorchet在2022年AI和智能自動化會議上的演講中描述了歸納局限性可能引起的信任問題。例如，常見的AI盲點是環境差異。如果只在早上捕獲訓練模型數據，則由于太陽的角度發生了變化，模型精度將在下午或晚上直線下降。這給用戶帶來了信任問題，因為通常人類不會犯這樣的錯誤。
請注意，環境差異可能非常微妙。考慮將成功的AI部署到準確性嚴重下降的新生產線上。盡管工程師認為這條線與原始生產線相同，但事實并非如此：新操作員比原始操作員高六英寸，并阻擋了更多的背景光，改變了環境條件，而這些可能足以使神經網絡癱瘓。
Gorchet指出，信任需要很多時間來發展，但只需要一個事件就可以打破。挑戰在于，我們如何教人們信任可能像這樣失敗的系統？
圖1 雖然AI應該以預測其他問題的方式驅動，但如果用戶不信任 AI，這是沒有意義的
生成可信賴的數據
AI模型建立在數據之上。因此，如果用戶要信任AI，他們必須能夠信任用于構建它的數據，這是有道理的。Micropsi Industries首席技術官Dominik Boesl分享了數據影響信任的多種不同方式。
對數據的信任始于仔細捕獲數據。"在一個案例中，訓練期間桌子上有一支筆。AI認為筆是一個參考點，"Boesl說，只需要一張沒有筆的圖像就可以表明它不是必需的。
開發人員還需要考慮采樣偏差，因為它會影響系統的準確性。采樣偏差的一個常見示例是照明等環境條件。AI并不總是相同的。有不同的類型和技術。一個人尋找的東西并不一定與AI正在尋找的東西相匹配。早在1995年，北約就使用識別軟件來區分友方坦克和敵方坦克。它表現不佳。經過幾個月的故障排除，他們發現訓練數據是從明亮的光線下干凈的小冊子圖片中獲取的，而不是被泥土覆蓋或光線不足的坦克。AI的專注點在于清晰與骯臟。"
"方差在數據中至關重要，"Boesl說，"考慮一下特斯拉演示車手必須擁有95%的駕駛記錄。這輛車正在接受訓練，以期待一個可預測的司機。但并不是每個司機都是可以預測的。添加方差通過顯示可接受的更大樣本來消除盲點。"
他說，"有了足夠的方差，就沒有必要表現出不想要的狀態，不需要說好或壞。我們確保使用各種白色和彩色背景來教AI不要專注于背景特征。為了獲得燈光獨立性，我們在訓練時使用視頻投影儀照亮系統。由于光線在不斷變化，這告訴AI光不是一個相關的特征。并讓訓練有素的操作員教AI而不是工程師。操作員是專家，也是最終與AI合作的人。"
GE研究院機器學習高級科學家兼"謙遜人工智能計劃"負責人Nurali Virani博士說："從根本上說，如果模型在訓練數據有限，或沒有訓練數據的罕見和具有挑戰性的情況下，對其預測過于自信，那么它可能會產生推斷錯誤。這有助于理解用戶的觀點。許多技術人員和最終用戶擁有數年甚至數十年的經驗。理所當然，他們可以質疑，'在如此具有挑戰性的情況下，AI怎么能比我更清楚？'"
還有人為錯誤的問題。如果某些數據標記不正確，則AI對于類似實例將不可靠。如果AI依靠這些數據進行自信的預測，那么它可能會導致違反信任。但是，如果AI能夠知道哪些標簽可能是錯誤的，并且對某些標簽錯誤具有魯棒性，那么它就可以要求反饋以保持信任。
Gorchet認為，AI系統的開發方式會影響信任。考慮到當開發人員更改硬件時，他們可能還必須更改Cuda版本。某些用戶的模型可能不受支持，因為新版本不支持Tensorflow。這可能會導致用戶質疑其他可能不起作用的內容。從用戶中抽象出此類開發問題至關重要。
AI與局限性
信任AI的另一個基礎是意識到它的局限性。Virani說："我們創造了'謙卑的AI'一詞，指的是一種意識到自己能力、可以尋求幫助并隨著時間的推移而提高能力的AI。當它發現超出其權限范圍時，它會將決定權傳遞給操作員或回退到其他安全操作模式。最終，這些新數據可以進入模型，以提高AI的能力水平。"
這是一個重要的想法。AI不需要在一開始就到處工作。它可以在具有足夠數據以提供幫助和信任的地方使用。例如，AI可能不知道如何診斷工業系統中的新故障。它可以說，"我不知道，你是專家，請幫助我。"然而，AI可能知道足夠的信息來說明情況不是什么。"這不是故障A，但可能是故障B或故障C。"
當開發人員接受局限性是一個因素時，這也有助于建立信任。Virani說："沒有對局限性的認識，AI即使不知道答案也會做出決定。"與其冒著給出錯誤建議和破壞用戶信任的風險，AI可以縮小選擇范圍。它仍然有幫助。它仍然可以是正確的。因此，它繼續在其有能力的領域建立信任并減少工作量。
"廣義AI面臨著在所有條件下工作的挑戰。" Virani說，但是，如果AI的所有數據都來自白天，那么它可能會在晚上遇到麻煩。你不可能在一開始就涵蓋所有的可能性。因此，對于模特來說，能夠說"我在這里不能被信任"是很重要的。它需要對自己的局限性有自我意識。從相關地區的支持開始，而不是完全自治。分階段地建立信任。
這提出了一種通過將復雜問題分解為更小的部分來部署AI的方法。起初，整體精度可能較低。例如，Virani與GE機器學習團隊的一項合作表明，用于維護記錄標記的AI模型可能總體性能較差(80%)，但在該模型認為可以信任的能力范圍內，它可以提供97%的準確率。
因此，超過50%的文檔標記案例可以自動化，而其他案例需要一些人工幫助來標記不明確或異常的實例。這些來自人類的新標簽可用于更新模型。參與一個值得信賴的AI的訓練，看到它的發展，可以成為它成為可信AI的堅實基礎。
Boesl 說："我們為每個客戶區分任務。解決專用問題比解決一般問題更容易、更快捷。例如，我們教機器人如何插入特定的電纜，而不是一般的電纜。我們還對某個設施進行培訓，以捕捉其環境條件。AI可以通過重新校準過程將技能轉移到第二根電纜或第二個設施，該過程捕獲場景之間的所有相關差異。重新校準需要一些工作，但比從頭開始或創建完全通用的方法要少得多。通過這種方法，智能機器人可以在數小時或數天內完成訓練，而不是數周，以逐行對機器人進行編程。此外，機器人可以再培訓或以更少的投資改變生產線。"
Gorchet建議，與其針對所有可能的情況進行訓練，不如針對已經發生的場景進行訓練。這可能比創建通用模型便宜，即使團隊必須進行多個特定的訓練。
它有助于記住AI是一個不斷發展的領域。如果AI沒有提供所需的結果，那么這很可能不是AI今天能夠解決的問題。最好承認這一點，而不是聲稱AI可以做它不能做的事情。因為當它第一次失敗時，信任就會被打破，很難重新獲得。
此外，用戶應該能夠停止或暫停智能設備。Boesl表示，人們必須有一種感覺，即他們處于控制之中，如果出現問題，機器也可以關閉。人類控制機器，而不是機器控制人類。當用戶覺得自己被控制時，可能會失去很多信任。同時，用戶需要解釋AI的局限性。例如，在工廠車間行走的人必須意識到移動機器人通行權，或者如果他們踩到地板上的黑色和黃色膠帶，他們可能會受到嚴重傷害。
通過可解釋性建立對AI的信任
可解釋性是建立AI信任的主要工具之一。簡而言之，它的想法是，如果用戶了解AI如何做出決策，他們將更愿意相信其建議。可解釋性的另一個好處是，它可以更輕松地驗證 AI 是否按預期執行。這可以加速工程師的開發，并與用戶建立信任。
例如，經理可能會問："為什么這個機器人這么慢？"雖然機器人可以走得更快，但它的速度是為了保護工人。Gorchet 描述了AI的"黑匣子"問題(圖2)。試圖向用戶解釋神經網絡的工作原理不是可解釋性的。
圖2 試圖向用戶解釋神經網絡是如何工作的是不可解釋的，也沒有觸及人工智能為什么選擇以某種方式做某事的核心。
Petrick說："可解釋性始于，'我到底為什么要這樣做？' 如果不解釋原因，就會為不安和不信任奠定基礎。為了獲得員工的支持，鼓勵他們的參與，他們需要了解公司面臨的挑戰，AI如何提供幫助，以及他們自己在整個解決方案中的重要作用。只有這樣，你才能討論黑匣子里發生了什么。接下來，我們提倡用通俗易懂的語言解釋AI是如何工作的。接下來是 AI 如何分解任務、評估任務以及如何提出建議。正因為AI解決方案可以100%自動化，它可以幫助分階段引入這種自動化。一旦用戶收到正確的建議，他們往往會更放心地將該決定作為合作伙伴發布給AI。"
Gorchet描述了如何使用優質產品的圖像進行培訓，這樣就不需要貼標簽了。當AI認為它檢測到缺陷時，它會在它認為缺陷所在的地方繪制一個分割掩碼。你可以看到系統為什么會做出這樣的決定。如果掩碼顯示的東西不是缺陷，則系統會學習錯誤并可以糾正它。
Virani將能力和可解釋性聯系在一起。特定AI在某些驗證數據集上的整體準確性并不像了解當前建議的預期準確性那么重要。還需要一定程度的可解釋性來解釋為什么AI在特定情況下有信心或不自信。例如，使用帶有標簽的訓練數據創建包裝器使 AI 能夠引用用于做出決策的相關數據。我們已經探索了AI模型的這種基于示例的可解釋性，以便為它們在我們的項目中的預測提供理由。當然，這并不總是有用的。如果決策是在圖像的像素級別做出的，那么當AI向他們展示來自訓練數據的像素示例時，用戶可能無法理解他們在看什么。
這是可解釋性問題的一部分。AI可能很復雜，可用的工具為開發人員抽象了這種復雜性。例如，對于無代碼生成的AI系統，開發人員告訴AI他們想要做什么，AI生成自己的程序。然而，這種抽象只會使黑匣子更加不透明。開發人員檢查AI所能做的就是輸入數據并驗證結果是否正確。在某些情況下，可能幾乎沒有可解釋性。
Petrick說："如果開發人員不理解或無法解釋黑匣子的工作原理，那么用戶怎么能理解呢？如果理解和評估AI的可靠性需要太多的工作，用戶可能會認為不使用AI更有效率。"
解決可解釋性挑戰的一種方法是雙向溝通。Petrick說："AI工程師正在艱難地學習，他們不了解工廠車間的細微差別。在工廠車間訓練的AI解決方案應該很容易轉移到另一個以相同方式布置的工廠。但事實往往并非如此。例如，照明、灰塵、噴水、相機角度等環境因素使每種情況都不同。有效的可解釋性包括一個反饋渠道，使用AI的用戶可以在其中提供有關AI如何不能滿足他們需求的見解。"
倫理在AI中的作用
信任的一部分包括感覺用戶的最大利益被牢記在心。當用戶感到害怕或他們不是必需的時，信任就會受到侵蝕。
Petrick說："機器人解放了人們去做只有人類才能完成的任務。機器人有助于最大限度地發揮一個人創造價值的潛力。但是，當AI被認為比用戶更可靠時，這可能會使用戶和AI發生沖突。用戶需要能夠說，'我做決定。AI幫助了我，做了我不想做的事情。' 目前，只有20%的受訪制造商考慮AI技術的道德規范。許多人認為道德都是關于數據偏見的。例如，氧脈監護儀中的AI對深色皮膚的影響可能較小，因為工程人員沒有意識到傳感器不能很好地讀取。數據偏差的挑戰之一是偏差不是故意的。這通常是一個盲點，一種沒有人考慮過的可能性。但這并不是唯一需要考慮的道德問題。"
隱私對于信任也至關重要。操作員想知道如何使用有關它們的數據。Petrick說："我們傾向于衡量最容易衡量的東西。"
辦公室工作人員不希望通過他們點擊鼠標的次數來評估他們的生產力，因為這并不能準確反映他們所做的工作。操作員對可用于對他們的生產力的任意評估也有同樣的感覺。考慮一個用戶，由于他們的專業知識而遇到更多麻煩的情況；由于難度較高，它們產生的產量更少。系統需要在操作過程中了解一個人，但有些人認為需要從數據中清除這個人。Petrick說："這個行業在隱私方面只是冰山一角。"
還有公平的因素需要考慮進去。Virani說："考慮一個想要推薦最好的技術人員來修復某些問題的 AI。如果數據集不夠多樣化，AI會讓這個人只做他們以前做得很好的任務。這不僅會成為技術人員的負擔，而且從道德的角度來看，技術人員將沒有機會獲得新的經驗和在公司內成長。因此，當人員參與其中時，需要確保他們的需求也得到滿足。"
這種方法也可能造成單點故障，因為只有有限的技術人員獲得處理此問題的經驗。你的人才庫中可能有更多的選擇，但它們從未被探索過，所以沒有其他人可以學習如何解決這個問題。
當談到問責制時，Petrick說，"當AI失敗時會發生什么，看起來用戶有責任？可解釋性需要擴展，以便不僅能夠解釋將要發生的事情，而且能夠解釋實際發生的事情。如果用戶不相信他們有辦法保護自己，他們對系統的信任就會降低。這不是毫無根據的考慮。工程師們正在為他們從未工作過的環境創造AI。"
考慮數據的道德使用。Boesl說："有了像GDPR這樣的法規，關于誰擁有數據有很多爭論。還可能出現道德問題。例如，一家AI公司是否可以使用在客戶設施收集的數據來改善客戶競爭對手的運營？如果不仔細解決，這樣的問題可能會破壞信任。"
道德問題只會變得更加普遍和復雜。如今，相機對準生產線。但是，當這些相機轉身并包括用戶時，必須考慮廣泛的道德問題，這些問題因國家而異。
正如我們所看到的，信任對于充分利用AI技術至關重要。有了可解釋性，可以更快地建立信任，并得到用戶的支持。當道德問題被認為很重要時，這是保護信任不被破壞的最佳防御措施。
