新聞 
人工智能有個嚴重問題：它說不清自己為啥這麼牛
人工智能有個嚴重問題：它說不清自己為啥這麼牛人工智能有個嚴重問題：它說不清自己為啥這麼牛
雖然人工智能可以解決很多問題，但由於這種技術存在“黑盒子”問題，因此沒有壹個人能夠確切知道它的內部運作方式，因而可能引發嚴重問題。
雖然人工智能可以解決很多問題，但由於這種技術存在“黑盒子”問題，因此沒有壹個人能夠確切知道它的內部運作方式，因而可能引發嚴重問題。
去年，壹輛古怪的無人駕駛汽車開上了新澤西州蒙茅斯郡寧靜的道路。這輛實驗用車是由芯片制造商英偉達開發的，它的外觀與其他無人駕駛汽車別無贰致，但與谷歌(微博)、特斯拉和通用汽車展示的系統不同，這輛汽車證明了人工智能的強大能量。
它並沒有遵循工程師提供的任何指令，而是通過觀察人類司機的駕駛方式，完全依賴算法自學成才。
讓壹輛汽車自學成才確實令人驚喜，但也帶來了壹絲不安，因為我們並不完全清楚它是如何制定決策的。車身傳感器收集的信息會直接傳輸到巨大的人工神經網絡，在那裡處理數據，然後生成相應的指令，引導汽車操縱方向盤、刹車和其他系統。
最終的結果似乎符合你對壹個人類駕駛員的預期。但如果它有朝壹日做出什麼令人意外的舉動，比如撞到路邊的樹木，或在綠燈前停止不動，那該如何是好？
以現在的情況來看，可能很難找出背後的原因。人工智能系統拾分復雜，就連設計它的工程師都難以分辨某個具體行動背後的邏輯。你又不能直接向它詢問原因：目前還沒有壹種明確的方式可以設計出這樣的系統，從而隨時解釋它每壹步行動背後的原因。
這種汽車的神奇思維引出了人工智能領域的壹個若隱若現的問題。這輛汽車的底層采用了名為深度學習的人工智能技術，最近幾年的許多研究都表明，這項技術很擅長解決很多問題，而且已經廣泛部署在圖像說明、語音識別、語言翻譯等諸多領域領域。還有人希望用同樣的技術診斷惡性疾病，制定數百億美元的交易策略，甚至通過數不清的其他方式改變壹個又壹個的行業。
但除非你找到壹種方式，讓它的開發者充分理解深度學習技術，並對用戶肩負起應負的責任，否則這翻暢想就無法實現----或者說，不應該實現。如若不然，就很難預測何時出現問題----畢竟，按照目前的設計，這些系統肯定會出現問題。但英偉達之所以仍在測試，卻有它自己的原因。
各種各樣的數學模型已經可以幫助人們在假釋、放貸和招聘領域制定決策。如果你可以評估這些數學模型，那就有可能理解它們背後的邏輯。但銀行、軍隊和雇主現在都把精力轉向了更加復雜的機器學習方法，使得自動化決策流程變得完全無法理解。
作為其中最常見的壹種技術，深度學習與以往的計算機編程截然不同。“這個問題已經凸顯出來，今後還將越來越受重視。”麻省理工學院機器學習應用教授多米?加考拉（Tommi Jaakkola）說，“無論是投資決策、醫療決策還是軍事決策，你肯定都不希望把權力交給壹個‘黑盒子’。”
有人認為，向人工智能系統質問其結論背後的原因是壹項合法的基本權利。從2018年夏天開始，歐盟可能就會要求相關企業具備相應的能力，以便向用戶解釋自動化系統的決策理由。這或許難以實現，即便是對那些表面看來相對簡單的系統也同樣如此，包括那些使用深度學習技術投放廣告和推薦歌曲的應用和網站。
這些服務所使用的電腦采用了自我編程模式，外界無法理解它們的行為方式。就連負責開發這些應用的工程師也無法解釋它們的行為。
這便引發了許多難以置信的問題。隨著科技不斷進步，我們可能很快就會跳過某個門檻，到那時，必須要給予人工智能極大的信任才能順利使用這些系統。誠然，人類很多時候也無法解釋我們自己的思維過程----但我們卻可以通過各種各樣的方式利用直覺來信任或評價他人。但對於這些思維和決策方式都不同於人類的機器來說，有沒有可能實現這壹點呢？
我們之前從未開發過連它的創造者都無法完全理解的機器。我們能否與這些無法預測、無法理解的機器展開順暢的溝通，保持和睦的關系？帶著這些問題，我開始研究谷歌、蘋果和很多公司的人工智能算法，還找到了壹位當今時代最偉大的哲學家。
醫學嘗試
2015年，紐約西奈山醫院（Mount Sinai Hopital）決定用深度學習分析該院龐大的病歷數據。這個數據集裡包含病人的數百個變量，都來自他們的檢測結果、醫生面診等環節。由此催生了壹個名為Deep Patient的項目，它利用70萬病人的數據進行訓練，然後對新的病例展開測試：結果顯示，它在預測疾病方面表現拾分優異。
在沒有任何專家指導的情況下，Deep Patient挖掘了隱藏在醫院數據中的各種模式，甚至可以借此了解人們何時有可能患上肝癌等各種疾病。在西奈山醫院負責這個項目的喬爾?杜德利（Joel Dudley）表示，有很多方法都很適合通過病例來預測疾病。但他也補充道，“這種方法效果好很多。”
與此同時，Deep Patient也有些令人疑惑。他在預測精神分裂症等精神疾病方面的表現出奇得好，但由於精神內科醫生向來很難預測精神分裂，所以杜德利想知道，這套系統究竟是如何做到的。
他至今沒有找到答案，這套新系統沒有透露出任何理由。如果想讓Deep Patient真正為醫生提供幫助，最理想的情況就是闡述這種預測背後的邏輯，確保整個過程精確且有事實依據----例如，醫生給某人開具的處方藥物是否發生了某種變化。“我們可以開發這種模型，”杜德利說，“但卻並不知道它是如何工作的。”
人工智能並非總是如此。最初，關於可以理解、可以解釋的人工智能應該是什麼樣子，出現了兩派觀點。
很多人認為，最有意義的機器應該根據規則和邏輯做出判斷，這樣壹來，任何願意了解代碼的人都可以理解它的內部工作原理。
還有人認為，如果機器從生物學領域獲得啟發，通過觀察和經驗來學習，就更容易實現智能。這就意味著把編程任務交給機器自己來完成。解決問題時，不再需要程序員編寫命令，而是由程序根據樣本數據和渴望的輸出結果來自主生成算法。已經成為當今最強大人工智能系統的機器學習技術就遵循了後壹條道路：本質上是由機器自主編程。
這種算法起初的實際應用范圍非常有限，在1960和1970年代，還僅限於壹些邊緣領域。之後，很多行業的電腦化普及和大型數據集的湧現重新點燃了人們的興趣。這也推動了更加強大的機器學習技術的發展，尤其是新壹代的人工神經網絡。到1990年代末，神經網絡已經可以自動對手寫字母進行數字化處理。
但直到這個拾年初期，經過了壹系列聰明的調整和提煉之後，真正大規模----或者真正“深度”----的神經網絡才在自動感知領域實現了重大提升。如今的人工智能爆發都要歸功於深度學習，它為計算機賦予了無與倫比的力量，包括實現與人類相似的口語能力，這種技術非常復雜，根本無法通過手動編程來實現。深度學習還改變了計算機視覺，並大幅提升了機器翻譯效果。它現在可以用於引導醫療、金融、生產等各個領域的關鍵決策。
黑盒效應
與手動編碼的系統相比，機器學習技術的工作方式天生就很模糊，即便是對計算機科學家來說也同樣如此。這並不意味著未來的所有人工智能技術都會同樣難以理解。但從特性上看，深度學習的確像是壹個“黑盒子”。
你無法通過直接研究深度神經網絡來了解它的工作模式。神經網絡得出的推論，嵌入在成千上萬個模擬神經元的行為之中，它們組成了數拾甚至數百個雜亂相連的不同層次。第壹層的每個神經元都負責接收輸入信息，例如壹個圖像中某個像素的強度，然後通過計算來輸出新的信號。在復雜的網絡中，這些輸出結果會進壹步成為下壹層神經元的輸入信息，如此往復，直到生成整體輸出結果。
另外，還有壹個被稱作反向傳播的過程，可以通過調整個別神經元的計算讓神經網絡學會生成期望的輸出結果。
因為深度網絡有那麼多層，所以可以從不同的抽象層面認識事物。例如，在壹套專門為了識別狗而打造的系統中，底層神經元可以識別輪廓或顏色等簡單的元素，較高層次的神經元則識別皮毛或眼睛等更加復雜的元素，最頂層則負責識別狗這個整體。簡單來說，同樣的方法也可以用於處理其他任務，從而讓機器實現自學，包括說話時構成語音的聲音，在文本中構成句子的字母和單詞，或者開車時轉動方向盤的動作。
現在出現了壹些具有獨創性的策略，試圖捕捉並詳細解釋這類系統中發生了哪些事情。2015年，谷歌研究人員修改了壹套深度學習圖形識別算法，使之不再識別照片中的物體，而是生成或修改這樣的物體。通過反向運行這種算法，便可了解算法在識別鳥或建築時使用了哪些特征。
這個名為Deep Dream的項目生成的圖片，呈現出動物從雲朵和植物中浮現的奇異效果，還有寶塔從森林或山脈中盛開的幻覺效果。這些圖片證明深度學習並非完全不可理解，同時也表明這些算法把注意力集中在熟悉的視覺特征上，包括鳥嘴和羽毛。不過，這些圖片也透露出深度學習與人類知覺的差異，正因如此，人工智能往往可以利用那些被我們忽略的信息。
谷歌研究人員指出，當算法生成啞鈴的圖像時，還生成了壹個抓著啞鈴的人類胳膊。這表明機器已經認定，胳膊也是啞鈴的壹部分。
進壹步的發展是因為借鑒了來自神經科學和認知科學領域的想法。懷俄明大學助理教授傑夫?克魯尼（Jeff Clune）已經部署了相當於人工智能的光幻覺來測試深度神經網絡。2015年，克魯尼的團隊展示了如何利用某些圖片欺騙神經網絡，使之得出錯誤的結論，原因在於這些圖片利用了系統所尋找的底層模式。
作為克魯尼的合作者，詹森?尤辛斯基（Jason Yosinski）也開發了壹個像插入大腦的探針壹樣的工具。他的工具瞄准了神經網絡中的任意壹個神經元，然後尋找對其激活程度最高的圖片。結果出現了壹些抽象的圖片（就像印象派畫家繪制的火烈鳥或校車），凸顯出及其感知能力的神秘特性。
事關重大
但我們需要的不只是壹窺人工智能的思維方式，而且這個問題並不容易解決。深度神經網絡中的運算之間的相互影響才是高層次模式識別和復雜決策過程的核心，但這些運算是壹片由數學函數和變量構成的沼澤。
“如果你有壹個很小的神經網絡，或許可以理解它。”加考拉說，“可壹旦規模巨大，每壹層都有數千個單元，或者總共擁有數百個層次，那就完全無法理解。”
加考拉辦公室隔壁是雷吉納?巴茲雷（Regina Barzilay），這位麻省理工學院的教授致力於把機器學習應用於醫療領域。幾年前，當時43歲的她被診斷出乳腺癌。診斷本身令人震驚，但更令巴茲雷失望的是，沒有人使用尖端的統計學和機器學習技術為腫瘤學研究提供幫助，或者引導病人的治療。
她還表示，人工智能擁有很大的潛力改革醫療行業，但她也意識到，這項技術的潛力不僅局限於病例。她還希望使用更多尚未充分利用的數據，包括影響數據、病理學數據以及各種各樣的信息。
在去年結束了癌症治療後，巴茲雷和她的學生開始與麻省綜合醫院的醫生合作開發壹套系統，可以通過挖掘病理學報告來尋找那些具備研究人員感興趣的臨床表現的病人。然而，巴茲雷發現，系統需要解釋自己背後的邏輯。所以，她與加考拉和壹個學生增加了壹個步驟：這套系統會把它認為代表某種模式的文本片段提取出來，並加以強調。
巴茲雷和她的學生還開發了壹套能夠通過乳房X光片找到早期乳腺癌跡象的深度學習算法，他們希望讓這套系統具備壹定的解釋能力。“的確需要讓機器和人類展開協作。”巴茲雷說。
美國軍方也投資數拾億美元，希望使用機器學習來控制汽車和飛機、識別目標、過濾海量情報數據。這壹領域甚至比醫療行業更期待透明的算法，所以國防部將可解釋性視作壹大關鍵障礙。
美國國防部高等研究項目署（DARPA）的項目經理大衛?岡寧（David Gunning）負責壹個名為可解釋人工智能（Explainable Artificial Intelligence）的計劃。作為該部門的壹位銀發老兵，他之前在DARPA負責的項目最終促成了Siri的誕生。岡寧透露，自動化已經滲透到無數的軍事領域。情報分析師正在測試機器算法，希望通過大量的監控數據判斷各種模式。
很多無人駕駛汽車和飛機也在開發和測試過程中。但士兵可能不會喜歡這種無法解釋自己行為的機器坦克，而分析師在按照這些沒有明確邏輯的信息采取行動的時候，也可能有所遲疑。“從這些機器學習天生就容易發出錯誤警報，所以情報分析師需要額外的幫助來明白系統為何會給出某條建議。”岡寧說。
今年3月，DARPA從學術和工業界選擇了13個資助項目，納入了岡寧的這個計劃。其中壹些項目會以華盛頓大學教授卡洛斯?古斯特林（Carlos Guestrin）的成果作為基礎。他和他的同事開發了壹種方法，可以讓機器學習系統闡述其輸出結果的基本原理。也就是說，借助這種方法，電腦會從數據集中自動找到壹些樣本，然後給出簡短的解釋。
例如，壹套用於尋找恐怖分子郵件的系統，可能會在訓練和決策過程中使用數以百萬的樣本信息。但利用華盛頓團隊的方法，便可突出顯示在信息中找到的特定關鍵詞。古斯特林的團隊也針對圖形識別系統設計了壹些方法，通過標注圖片上最重要的部分來暗示它們的判斷邏輯。
保持謹慎
但這類模式的缺點在於，系統提供的解釋往往過於簡單，因此可能缺失壹些關鍵信息。
“我們尚未真正實現目標，那就是讓人工智能與我們對話，向我們解釋。”古斯特林說，“我們距離真正能夠解讀的人工智能還有很長距離。”
即便不是在癌症診斷或軍事演習這種重要活動中，這壹問題也會體現出來。如果想要普及人工智能技術，使之成為我們日常生活中的壹個有益組成部分，了解人工智能的工作邏輯就顯得尤其重要。蘋果Siri團隊負責人湯姆?克魯伯（Tom Cruber）表示，可解釋性是他的團隊嘗試讓Siri更聰明的過程中的關鍵考量因素。
克魯伯不肯透露Siri未來的具體計劃，但可以想見的是，如果你收到了Siri推薦的餐館信息，你肯定希望知道背後的原因。
蘋果人工智能研究總監、卡內基梅隆大學副教授魯斯蘭?薩拉庫特迪諾夫（Ruslan Salakhutdinov）認為，可解釋性是人類與人工智能關系發展的核心。“這能帶來信任。”他說。
正如很多人類行為無法詳細解釋壹樣，人工智能可能也無法解釋它的壹切行為。“即使有人能夠針對自己的行為給你壹個合理的解釋，很可能也不夠全面，人工智能同樣如此。”克魯尼說，“這或許正是智能的天然屬性，只有壹部分可以用理性來解釋，有的只是本能或潛意識，根本無法解釋。”
倘若如此，我們某些時候可能必須盲目相信人工智能的判斷，否則就只能拋棄它。類似地，具體的判斷也必須考慮社交智能。正如社會的基礎是壹套關於預期行為的合約，我們設計人工智能系統時，也需要尊重和適應社會規范。如果能夠創造機器人坦克和其他殺人機器，那就必須確保它們的決策過程符合我們的道德判斷。
為了理解這些形而上的概念，我找到了塔夫斯大學的丹尼爾?丹尼特（Daniel Dennett），他是壹位著名的哲學家和認知科學家，專門研究意識和心靈。在他的新書《From Bacteria to Bach and Back》是壹本關於意識的廣博論述，其中有壹個章節認為智能的進化本身就是創造壹套連創造者也無法理解的系統。
“問題在於，我們擁有哪些條件來聰明地做到這壹點----我們要求它們達到什麼標准？要求我們自己達到什麼標准？”他對我說。
他還針對可解釋性的問題提出了警告。
“我認為，如果我們希望使用並依靠這些東西，那就應該盡可能明確地知道它們給出答案的邏輯和原因。”他說。但由於可能並不存在完美的答案，所以對待人工智能的解釋時，應該像對待其他人類的解釋壹樣保持壹份謹慎----無論機器看起來有多麼聰明。
“如果機器並不比我們更加擅長解釋自己的行為，那就別相信它。”
[加西網正招聘多名全職sales 待遇優]
無評論不新聞，發表壹下您的意見吧
雖然人工智能可以解決很多問題，但由於這種技術存在“黑盒子”問題，因此沒有壹個人能夠確切知道它的內部運作方式，因而可能引發嚴重問題。
去年，壹輛古怪的無人駕駛汽車開上了新澤西州蒙茅斯郡寧靜的道路。這輛實驗用車是由芯片制造商英偉達開發的，它的外觀與其他無人駕駛汽車別無贰致，但與谷歌(微博)、特斯拉和通用汽車展示的系統不同，這輛汽車證明了人工智能的強大能量。
它並沒有遵循工程師提供的任何指令，而是通過觀察人類司機的駕駛方式，完全依賴算法自學成才。
讓壹輛汽車自學成才確實令人驚喜，但也帶來了壹絲不安，因為我們並不完全清楚它是如何制定決策的。車身傳感器收集的信息會直接傳輸到巨大的人工神經網絡，在那裡處理數據，然後生成相應的指令，引導汽車操縱方向盤、刹車和其他系統。
最終的結果似乎符合你對壹個人類駕駛員的預期。但如果它有朝壹日做出什麼令人意外的舉動，比如撞到路邊的樹木，或在綠燈前停止不動，那該如何是好？
以現在的情況來看，可能很難找出背後的原因。人工智能系統拾分復雜，就連設計它的工程師都難以分辨某個具體行動背後的邏輯。你又不能直接向它詢問原因：目前還沒有壹種明確的方式可以設計出這樣的系統，從而隨時解釋它每壹步行動背後的原因。
這種汽車的神奇思維引出了人工智能領域的壹個若隱若現的問題。這輛汽車的底層采用了名為深度學習的人工智能技術，最近幾年的許多研究都表明，這項技術很擅長解決很多問題，而且已經廣泛部署在圖像說明、語音識別、語言翻譯等諸多領域領域。還有人希望用同樣的技術診斷惡性疾病，制定數百億美元的交易策略，甚至通過數不清的其他方式改變壹個又壹個的行業。
但除非你找到壹種方式，讓它的開發者充分理解深度學習技術，並對用戶肩負起應負的責任，否則這翻暢想就無法實現----或者說，不應該實現。如若不然，就很難預測何時出現問題----畢竟，按照目前的設計，這些系統肯定會出現問題。但英偉達之所以仍在測試，卻有它自己的原因。
各種各樣的數學模型已經可以幫助人們在假釋、放貸和招聘領域制定決策。如果你可以評估這些數學模型，那就有可能理解它們背後的邏輯。但銀行、軍隊和雇主現在都把精力轉向了更加復雜的機器學習方法，使得自動化決策流程變得完全無法理解。
作為其中最常見的壹種技術，深度學習與以往的計算機編程截然不同。“這個問題已經凸顯出來，今後還將越來越受重視。”麻省理工學院機器學習應用教授多米?加考拉（Tommi Jaakkola）說，“無論是投資決策、醫療決策還是軍事決策，你肯定都不希望把權力交給壹個‘黑盒子’。”
有人認為，向人工智能系統質問其結論背後的原因是壹項合法的基本權利。從2018年夏天開始，歐盟可能就會要求相關企業具備相應的能力，以便向用戶解釋自動化系統的決策理由。這或許難以實現，即便是對那些表面看來相對簡單的系統也同樣如此，包括那些使用深度學習技術投放廣告和推薦歌曲的應用和網站。
這些服務所使用的電腦采用了自我編程模式，外界無法理解它們的行為方式。就連負責開發這些應用的工程師也無法解釋它們的行為。
這便引發了許多難以置信的問題。隨著科技不斷進步，我們可能很快就會跳過某個門檻，到那時，必須要給予人工智能極大的信任才能順利使用這些系統。誠然，人類很多時候也無法解釋我們自己的思維過程----但我們卻可以通過各種各樣的方式利用直覺來信任或評價他人。但對於這些思維和決策方式都不同於人類的機器來說，有沒有可能實現這壹點呢？
我們之前從未開發過連它的創造者都無法完全理解的機器。我們能否與這些無法預測、無法理解的機器展開順暢的溝通，保持和睦的關系？帶著這些問題，我開始研究谷歌、蘋果和很多公司的人工智能算法，還找到了壹位當今時代最偉大的哲學家。
醫學嘗試
2015年，紐約西奈山醫院（Mount Sinai Hopital）決定用深度學習分析該院龐大的病歷數據。這個數據集裡包含病人的數百個變量，都來自他們的檢測結果、醫生面診等環節。由此催生了壹個名為Deep Patient的項目，它利用70萬病人的數據進行訓練，然後對新的病例展開測試：結果顯示，它在預測疾病方面表現拾分優異。
在沒有任何專家指導的情況下，Deep Patient挖掘了隱藏在醫院數據中的各種模式，甚至可以借此了解人們何時有可能患上肝癌等各種疾病。在西奈山醫院負責這個項目的喬爾?杜德利（Joel Dudley）表示，有很多方法都很適合通過病例來預測疾病。但他也補充道，“這種方法效果好很多。”
與此同時，Deep Patient也有些令人疑惑。他在預測精神分裂症等精神疾病方面的表現出奇得好，但由於精神內科醫生向來很難預測精神分裂，所以杜德利想知道，這套系統究竟是如何做到的。
他至今沒有找到答案，這套新系統沒有透露出任何理由。如果想讓Deep Patient真正為醫生提供幫助，最理想的情況就是闡述這種預測背後的邏輯，確保整個過程精確且有事實依據----例如，醫生給某人開具的處方藥物是否發生了某種變化。“我們可以開發這種模型，”杜德利說，“但卻並不知道它是如何工作的。”
人工智能並非總是如此。最初，關於可以理解、可以解釋的人工智能應該是什麼樣子，出現了兩派觀點。
很多人認為，最有意義的機器應該根據規則和邏輯做出判斷，這樣壹來，任何願意了解代碼的人都可以理解它的內部工作原理。
還有人認為，如果機器從生物學領域獲得啟發，通過觀察和經驗來學習，就更容易實現智能。這就意味著把編程任務交給機器自己來完成。解決問題時，不再需要程序員編寫命令，而是由程序根據樣本數據和渴望的輸出結果來自主生成算法。已經成為當今最強大人工智能系統的機器學習技術就遵循了後壹條道路：本質上是由機器自主編程。
這種算法起初的實際應用范圍非常有限，在1960和1970年代，還僅限於壹些邊緣領域。之後，很多行業的電腦化普及和大型數據集的湧現重新點燃了人們的興趣。這也推動了更加強大的機器學習技術的發展，尤其是新壹代的人工神經網絡。到1990年代末，神經網絡已經可以自動對手寫字母進行數字化處理。
但直到這個拾年初期，經過了壹系列聰明的調整和提煉之後，真正大規模----或者真正“深度”----的神經網絡才在自動感知領域實現了重大提升。如今的人工智能爆發都要歸功於深度學習，它為計算機賦予了無與倫比的力量，包括實現與人類相似的口語能力，這種技術非常復雜，根本無法通過手動編程來實現。深度學習還改變了計算機視覺，並大幅提升了機器翻譯效果。它現在可以用於引導醫療、金融、生產等各個領域的關鍵決策。
黑盒效應
與手動編碼的系統相比，機器學習技術的工作方式天生就很模糊，即便是對計算機科學家來說也同樣如此。這並不意味著未來的所有人工智能技術都會同樣難以理解。但從特性上看，深度學習的確像是壹個“黑盒子”。
你無法通過直接研究深度神經網絡來了解它的工作模式。神經網絡得出的推論，嵌入在成千上萬個模擬神經元的行為之中，它們組成了數拾甚至數百個雜亂相連的不同層次。第壹層的每個神經元都負責接收輸入信息，例如壹個圖像中某個像素的強度，然後通過計算來輸出新的信號。在復雜的網絡中，這些輸出結果會進壹步成為下壹層神經元的輸入信息，如此往復，直到生成整體輸出結果。
另外，還有壹個被稱作反向傳播的過程，可以通過調整個別神經元的計算讓神經網絡學會生成期望的輸出結果。
因為深度網絡有那麼多層，所以可以從不同的抽象層面認識事物。例如，在壹套專門為了識別狗而打造的系統中，底層神經元可以識別輪廓或顏色等簡單的元素，較高層次的神經元則識別皮毛或眼睛等更加復雜的元素，最頂層則負責識別狗這個整體。簡單來說，同樣的方法也可以用於處理其他任務，從而讓機器實現自學，包括說話時構成語音的聲音，在文本中構成句子的字母和單詞，或者開車時轉動方向盤的動作。
現在出現了壹些具有獨創性的策略，試圖捕捉並詳細解釋這類系統中發生了哪些事情。2015年，谷歌研究人員修改了壹套深度學習圖形識別算法，使之不再識別照片中的物體，而是生成或修改這樣的物體。通過反向運行這種算法，便可了解算法在識別鳥或建築時使用了哪些特征。
這個名為Deep Dream的項目生成的圖片，呈現出動物從雲朵和植物中浮現的奇異效果，還有寶塔從森林或山脈中盛開的幻覺效果。這些圖片證明深度學習並非完全不可理解，同時也表明這些算法把注意力集中在熟悉的視覺特征上，包括鳥嘴和羽毛。不過，這些圖片也透露出深度學習與人類知覺的差異，正因如此，人工智能往往可以利用那些被我們忽略的信息。
谷歌研究人員指出，當算法生成啞鈴的圖像時，還生成了壹個抓著啞鈴的人類胳膊。這表明機器已經認定，胳膊也是啞鈴的壹部分。
進壹步的發展是因為借鑒了來自神經科學和認知科學領域的想法。懷俄明大學助理教授傑夫?克魯尼（Jeff Clune）已經部署了相當於人工智能的光幻覺來測試深度神經網絡。2015年，克魯尼的團隊展示了如何利用某些圖片欺騙神經網絡，使之得出錯誤的結論，原因在於這些圖片利用了系統所尋找的底層模式。
作為克魯尼的合作者，詹森?尤辛斯基（Jason Yosinski）也開發了壹個像插入大腦的探針壹樣的工具。他的工具瞄准了神經網絡中的任意壹個神經元，然後尋找對其激活程度最高的圖片。結果出現了壹些抽象的圖片（就像印象派畫家繪制的火烈鳥或校車），凸顯出及其感知能力的神秘特性。
事關重大
但我們需要的不只是壹窺人工智能的思維方式，而且這個問題並不容易解決。深度神經網絡中的運算之間的相互影響才是高層次模式識別和復雜決策過程的核心，但這些運算是壹片由數學函數和變量構成的沼澤。
“如果你有壹個很小的神經網絡，或許可以理解它。”加考拉說，“可壹旦規模巨大，每壹層都有數千個單元，或者總共擁有數百個層次，那就完全無法理解。”
加考拉辦公室隔壁是雷吉納?巴茲雷（Regina Barzilay），這位麻省理工學院的教授致力於把機器學習應用於醫療領域。幾年前，當時43歲的她被診斷出乳腺癌。診斷本身令人震驚，但更令巴茲雷失望的是，沒有人使用尖端的統計學和機器學習技術為腫瘤學研究提供幫助，或者引導病人的治療。
她還表示，人工智能擁有很大的潛力改革醫療行業，但她也意識到，這項技術的潛力不僅局限於病例。她還希望使用更多尚未充分利用的數據，包括影響數據、病理學數據以及各種各樣的信息。
在去年結束了癌症治療後，巴茲雷和她的學生開始與麻省綜合醫院的醫生合作開發壹套系統，可以通過挖掘病理學報告來尋找那些具備研究人員感興趣的臨床表現的病人。然而，巴茲雷發現，系統需要解釋自己背後的邏輯。所以，她與加考拉和壹個學生增加了壹個步驟：這套系統會把它認為代表某種模式的文本片段提取出來，並加以強調。
巴茲雷和她的學生還開發了壹套能夠通過乳房X光片找到早期乳腺癌跡象的深度學習算法，他們希望讓這套系統具備壹定的解釋能力。“的確需要讓機器和人類展開協作。”巴茲雷說。
美國軍方也投資數拾億美元，希望使用機器學習來控制汽車和飛機、識別目標、過濾海量情報數據。這壹領域甚至比醫療行業更期待透明的算法，所以國防部將可解釋性視作壹大關鍵障礙。
美國國防部高等研究項目署（DARPA）的項目經理大衛?岡寧（David Gunning）負責壹個名為可解釋人工智能（Explainable Artificial Intelligence）的計劃。作為該部門的壹位銀發老兵，他之前在DARPA負責的項目最終促成了Siri的誕生。岡寧透露，自動化已經滲透到無數的軍事領域。情報分析師正在測試機器算法，希望通過大量的監控數據判斷各種模式。
很多無人駕駛汽車和飛機也在開發和測試過程中。但士兵可能不會喜歡這種無法解釋自己行為的機器坦克，而分析師在按照這些沒有明確邏輯的信息采取行動的時候，也可能有所遲疑。“從這些機器學習天生就容易發出錯誤警報，所以情報分析師需要額外的幫助來明白系統為何會給出某條建議。”岡寧說。
今年3月，DARPA從學術和工業界選擇了13個資助項目，納入了岡寧的這個計劃。其中壹些項目會以華盛頓大學教授卡洛斯?古斯特林（Carlos Guestrin）的成果作為基礎。他和他的同事開發了壹種方法，可以讓機器學習系統闡述其輸出結果的基本原理。也就是說，借助這種方法，電腦會從數據集中自動找到壹些樣本，然後給出簡短的解釋。
例如，壹套用於尋找恐怖分子郵件的系統，可能會在訓練和決策過程中使用數以百萬的樣本信息。但利用華盛頓團隊的方法，便可突出顯示在信息中找到的特定關鍵詞。古斯特林的團隊也針對圖形識別系統設計了壹些方法，通過標注圖片上最重要的部分來暗示它們的判斷邏輯。
保持謹慎
但這類模式的缺點在於，系統提供的解釋往往過於簡單，因此可能缺失壹些關鍵信息。
“我們尚未真正實現目標，那就是讓人工智能與我們對話，向我們解釋。”古斯特林說，“我們距離真正能夠解讀的人工智能還有很長距離。”
即便不是在癌症診斷或軍事演習這種重要活動中，這壹問題也會體現出來。如果想要普及人工智能技術，使之成為我們日常生活中的壹個有益組成部分，了解人工智能的工作邏輯就顯得尤其重要。蘋果Siri團隊負責人湯姆?克魯伯（Tom Cruber）表示，可解釋性是他的團隊嘗試讓Siri更聰明的過程中的關鍵考量因素。
克魯伯不肯透露Siri未來的具體計劃，但可以想見的是，如果你收到了Siri推薦的餐館信息，你肯定希望知道背後的原因。
蘋果人工智能研究總監、卡內基梅隆大學副教授魯斯蘭?薩拉庫特迪諾夫（Ruslan Salakhutdinov）認為，可解釋性是人類與人工智能關系發展的核心。“這能帶來信任。”他說。
正如很多人類行為無法詳細解釋壹樣，人工智能可能也無法解釋它的壹切行為。“即使有人能夠針對自己的行為給你壹個合理的解釋，很可能也不夠全面，人工智能同樣如此。”克魯尼說，“這或許正是智能的天然屬性，只有壹部分可以用理性來解釋，有的只是本能或潛意識，根本無法解釋。”
倘若如此，我們某些時候可能必須盲目相信人工智能的判斷，否則就只能拋棄它。類似地，具體的判斷也必須考慮社交智能。正如社會的基礎是壹套關於預期行為的合約，我們設計人工智能系統時，也需要尊重和適應社會規范。如果能夠創造機器人坦克和其他殺人機器，那就必須確保它們的決策過程符合我們的道德判斷。
為了理解這些形而上的概念，我找到了塔夫斯大學的丹尼爾?丹尼特（Daniel Dennett），他是壹位著名的哲學家和認知科學家，專門研究意識和心靈。在他的新書《From Bacteria to Bach and Back》是壹本關於意識的廣博論述，其中有壹個章節認為智能的進化本身就是創造壹套連創造者也無法理解的系統。
“問題在於，我們擁有哪些條件來聰明地做到這壹點----我們要求它們達到什麼標准？要求我們自己達到什麼標准？”他對我說。
他還針對可解釋性的問題提出了警告。
“我認為，如果我們希望使用並依靠這些東西，那就應該盡可能明確地知道它們給出答案的邏輯和原因。”他說。但由於可能並不存在完美的答案，所以對待人工智能的解釋時，應該像對待其他人類的解釋壹樣保持壹份謹慎----無論機器看起來有多麼聰明。
“如果機器並不比我們更加擅長解釋自己的行為，那就別相信它。”
[加西網正招聘多名全職sales 待遇優]
| 分享: |
| 注： |
推薦: