我們將如何被記住，取決於我們現在正在做什麼。

作者| Sharon Goldman

出品|產業家

十年前，人工智慧先驅Geoffrey Hinton便開始研究深度學習“革命”，被稱為人工智慧開拓者之一。在近期，他表示，未來，人工智慧的快速發展將繼續加速。

此前，在2012年實現重大AI突破的關鍵神經網路研究10週年一次採訪中，Hinton和其他領先的AI傑出人物回擊了一些批評者，他們認為深度學習“碰壁了”。

“我們將看到機器人技術的巨大進步——靈巧、敏捷、更順從的機器人，它們可以像我們一樣更高效、更溫和地做事。”Hinton 說。

包含AI負責人兼Meta首席科學家Yann LeCun和斯坦福大學教授李飛飛在內的其他AI開拓者同意Hinton的觀點——即2012年對ImageNet資料庫的開創性研究的結果。他們認為，該資料庫旨在解鎖重大計算機視覺和整體深度學習方面的進步並將深度學習推向了主流，並引發了一股難以阻擋的勢頭。

LeCun在接受VentureBeat採訪時表示，“如今，這道障礙正在以令人難以置信的速度被清除。”他補充道，“過去四五年的進展令人驚訝。”

Li在2006年發明了ImageNet（一個用於開發計算機視覺演算法的大規模人工註釋照片資料集），他告訴VentureBeat，自2012年以來，深度學習的發展堪稱“一場我做夢也想不到的驚人革命”。

不過，成功往往會招致批評。也有強烈的聲音指出深度學習的侷限性，並指責它成功範圍是極其狹窄的。

他們還堅持認為，神經網路所創造的炒作就是這樣，並不能接近一些支持者所說的根本性突破，它是最終幫助我們達到預期的“人工智慧”的基礎。AGI（通用人工智慧）中的推理能力才真正類似於人類。

一、蓬勃發展的人工智慧十年

紐約大學名譽教授、Robust。AI 的創始人兼執行長加里·馬庫斯 （Gary Marcus） 在去年3月寫過一篇關於深度學習“碰壁”的文章，並表示技術雖然取得了進展，但“我們仍舊堅持常識知識和推理的物理世界。”

華盛頓大學計算語言學教授Emily Bender表示，她認為如今的自然語言處理 （NLP） 和計算機視覺模型加起來並沒有“邁向“其他人對AI和AGI的意義的實質性步驟。

無論如何，批評者不可否認的是，計算機視覺和語言等一些關鍵應用已經取得巨大進步，成千上萬的公司都在爭相利用深度學習的力量，這種力量在推薦引擎、翻譯軟體、聊天機器人等方面均產生出令人印象深刻的成果。

然而，也有不容忽視的嚴肅的深度學習爭論。例如，圍繞人工智慧倫理和偏見有一些基本問題需要解決；關於人工智慧監管如何保護公眾在就業、醫療保健和監控等領域免受歧視的問題。

身處2022，當我們回顧蓬勃發展的AI十年時，VentureBeat提出疑問，我們可以從過去十年的深度學習進步中學到什麼？這種改變世界的革命性技術的未來發展會如何，是好是壞？

二、人工智慧先驅者：一場革命即將到來

Hinton一直都知道深度學習“革命”即將到來。

“我們中的很多人相信這一定是（人工智慧）的未來，”Hinton說，他在1986年的論文中推廣了用於訓練多層神經網路的反向傳播演算法。“可我們設法證明，我們一直相信的東西是正確的。”

1989年率先使用反向傳播和卷積神經網路的LeCun對此表示贊同。他說：“我毫不懷疑未來最終會採用類似於我們在80年代、90年代開發的技術”。

Hinton和LeCun等人表示了一種相反的觀點，即多層神經網路等深度學習架構可以應用於計算機視覺、語音識別、NLP和機器翻譯等領域來造就與人類相同或超過人類的專家。他們反駁了那些經常拒絕思考便駁斥他們研究的批評者，他們堅持認為，反向傳播和卷積神經網路等演算法技術是推動人工智慧進步的關鍵，自1980年代和1990年代的一系列挫折以來，人工智慧一直停滯不前。

與此同時，身兼斯坦福以人為本人工智慧研究所聯合主任、前谷歌人工智慧和機器學習首席科學家的李也對她的假設充滿信心，認為透過正確的演算法，ImageNet 資料庫實現推進計算機視覺和深度學習研究是正確的。

“這是一種可以開箱即用的機器學習思維方式和高風險舉措，”她說，但“我們在科學上相信這項假設是正確的。”

這些歷經數十年人工智慧研究發展的理論，直到2012年秋天才被完全證明，許多人認為這引發了一場新的深度學習革命。

2012年10月，Alex Krizhevsky和Ilya Sutskever與Hinton一起獲得了博士學位。期間參加了由李創立的ImageNet競賽（該競賽旨在評估為大規模物件檢測和影象分類而設計的演算法），這三人憑藉他們的論文ImageNet Classification with Deep Convolutional Neural Networks獲勝。該論文使用ImageNet資料庫建立了一個名為AlexNet的開創性神經網路。事實證明，它在對不同影象進行分類方面比以前任何方法都準確得多。

這篇讓AI研究界讚歎不已的論文建立在早期突破的基礎上，並得益於 ImageNet資料集和更強大的GPU硬體，直接引導了未來十年的主要AI成功案例——從 Google Photos、Google Translate 和 Uber 到 Alexa， DALL-E 和AlphaFold。

此後，人工智慧的投資呈指數級增長，人工智慧的全球啟動資金從2011 年的6。7億美元增長到2020年的360億美元，然後在2021年再次翻番，達到770億美元。

三、神經網路成為主流

從2012年ImageNet競賽之後，媒體機構迅速關注深度學習趨勢。次月，《紐約時報》的一篇文章《科學家們在深度學習計劃中看到了希望》表示，這種受大腦如何識別模式理論啟發出的人工智慧技術，在不同領域均取得驚人的進展例如計算機視覺、語音識別和識別用於設計藥物的有前途的新分子。文章還表示，新的東西是“深度學習程式的速度和準確性正在不斷提高，通常被稱之為人工神經網路或簡稱為‘神經網路’，因為它們與大腦中的神經連線相似。”

其實，AlexNet並不是唯一一家在那些年對深度學習方面大肆關注的人。2012年6月，谷歌X實驗室的研究人員構建了一個由16，000個計算機處理器組成的神經網路，具有10億個連線，隨著時間的推移，它開始能夠識別“類似貓”的特徵，並可以高度準確地識別YouTube上的貓影片。與此同時，Jeffrey Dean和Andrew Ng也在Google Brain進行大規模影象識別方面的突破性工作。在2012 年的IEEE計算機視覺和模式識別會議上，研究人員Dan Ciregan等人顯著提高了卷積神經網路在多個影象資料庫上的最佳效能。

總而言之，到2013年，“幾乎所有的計算機視覺研究都轉向了神經網路。”Hinton 說，他從那時起就在Google Research和多倫多大學之間分配時間。他補充說，從2007年開始，幾乎成為人工智慧的一次徹底改變，不過當時“在一次會議上發表兩篇關於深度學習的論文是不合適的”。

四

十年深度學習進展

Li表示，她密切參與深度學習突破，並且在2012年義大利佛羅倫薩會議上親自宣佈了ImageNet競賽的獲勝者——這意味著人們認識到那一刻的重要性也就不足為奇了。

“［ImageNet］是一個始於2006年的願景，幾乎沒有人支援，”李說。但是，它“真的以如此具有歷史意義的重大方式獲得了回報。”

自2012年以來，深度學習的發展速度驚人，深度也令人震驚。

“有一些障礙正在以令人難以置信的速度被清除，”LeCun說，他引用了自然語言理解、文字生成翻譯和影象合成方面的進展。

有些領域的進展甚至比預期的要快。對於Hinton來說，這包括在機器翻譯中使用神經網路，這在2014年取得了長足的進步。“我曾以為會需要很多年，”他說。李認為計算機視覺的進步例如DALL-E——“比想象中更快。”

五、駁回深度學習批評者

然而，並不是所有人都認同深度學習的進展。2012年11月，紐約大學名譽教授、Robust。AI的創始人兼執行長Gary Marcus為《紐約客》寫了一篇文章，他在文章中說：“套用一句古老的寓言，Hinton建造了一個不錯的梯子，但梯子並不一定能讓你登上月球。”

今天，Marcus說，他認為深度學習沒有比十年前更接近“月球”——月球是通用人工智慧，或人類水平的人工智慧。

“當然有進步，但為了登上月球，你必須解決因果理解和自然語言理解和推理，”他說。“在這些事情上沒有太大進展。”

Marcus表示，他認為將神經網路與符號人工智慧（在深度學習興起之前主導該領域的 AI 分支）相結合的混合模型是對抗神經網路極限的前進方向。

Hinton和 LeCun都駁斥了Marcus的批評。

“如果你看看最近的進展，那真是太棒了，”Hinton 說，儘管過去深度學習能夠解決的問題範圍是有限的。

“我認為有一些障礙需要清除，而這些障礙的解決方案現階段還並不完全清楚，”LeCun補充說，“但我並未看到進展放緩，可以說，進展正在加速。”

不過，本德爾並不相信。“在某種程度上，他們只是在談論根據ImageNet等基準提供的標籤對影象進行分類的進展，相較2012年取得了一些質的突破，”她透過電子郵件告訴 VentureBeat，“如果他們在談論比這更宏大的事情，那都是炒作。”

六、人工智慧偏見和道德問題迫在眉睫

在其他方面，本德爾也認為人工智慧和深度學習領域已經走得太遠了。她說：“我確實認為，將非常大的資料集處理成可以生成、合成文字和影象的系統的能力（計算能力 + 有效演算法）能夠使我們能夠以多種方式超越滑雪板。” 不過，“我們似乎陷入了一個迴圈，人們‘發現’模型有偏見，並提議試圖去訓練它們，儘管公認的結果是不會出現完全去偏見的資料集或模型。”

此外，她表示，希望看到該領域遵守真正的問責標準，無論是為了實際測試的經驗主張還是為了產品安全。為此，我們需要廣大公眾瞭解如何看穿人工智慧的炒作，我們需要有效的監管。

然而，LeCun指出，“人們傾向於簡化複雜而重要的問題”。並且，許多人“有惡意的假設”。他堅持認為，大多數公司“實際上都想做正確的事”。

此外，他還抱怨那些不參與人工智慧科技和研究的人。

“你要有一個完整的生態系統，”他說，“人們在看臺上‘射擊’，基本上只是在吸引注意力。”

七、深度學習辯論會繼續

儘管這些辯論看起來很激烈，但李強調它們是科學的全部內容。

“科學不是真理，科學是尋求真理的旅程。”

她說，“這是發現和改進的旅程。所以辯論、批評、慶祝都是其中的一部分。”

然而，一些辯論和批評讓她覺得“有點做作”，無論是說AI都是錯誤的，還是說 AGI指日可待。“我認為這是一場更深入、更微妙、更細緻、更多維的科學辯論的相對普及版本。”她說。

李指出，在過去十年中，人工智慧的進步令人失望的並不只是體現在技術上。“我認為最令人失望的事情發生在2014年，當時我和我以前的學生共同創立了AI4ALL，並開始將年輕女性、有色人種學生和服務欠缺社群的學生帶入人工智慧的世界，”她說。“我們希望看到人工智慧世界更加多樣化的未來。”

儘管現在只經歷了八年，但她堅持認為變化太過緩慢。“我希望看到更快、更深層次的變化，但卻沒看到在培育方面付出的足夠努力。尤其是在初中和高中年齡段，”她說。“我們已經失去了這麼多有才華的學生。”

八、人工智慧和深度學習的未來

LeCun承認，一些人們投入大量資源的AI挑戰尚未得到解決，例如自動駕駛。

“我會說其他人低估了它的複雜性，”他說，並補充說他沒有將自己歸入這一類別。“我知道這很難，而且需要很長時間，”他聲稱。“我不同意一些人的說法，他們說我們基本上已經弄清楚了……那不過是讓這些模型出現更大問題。”

事實上，LeCun最近釋出了一份建立“自主機器智慧”的藍圖，這也表明他認為當前的人工智慧方法不會讓我們達到人類水平的人工智慧。

但他也看到了深度學習未來的巨大潛力。他說自身最興奮和積極工作的是讓機器更有效地學習——變得更像動物和人類。

“對我來說，最大的問題是動物學習的基本原則是什麼。這是我一直倡導自我監督學習等事物的原因之一。”他說。“這一進展將使我們能夠構建出目前完全遙不可及的東西，比如可以在日常生活中幫助我們的智慧系統，就好像它們是人類助手一樣，這才是我們將需要的東西。因為我們正在為所有人戴上增強現實眼鏡，從而不得不與他們互動。”

Hinton同意深度學習正在取得更多進展。除了機器人技術的進步，他還相信神經網路的基本計算基礎設施將會有另一個突破，因為“目前只是用非常擅長做矩陣乘法器的加速器完成數字計算。” 他認為，對於反向傳播，需要將模擬訊號轉換為數字訊號。

“我認為我們會找到在模擬硬體中工作的反向傳播的替代方案。”他說。“我非常相信，從長遠來看，幾乎所有的計算都將以模擬方式完成。”

李說，

對於深度學習的未來，最重要的是交流和教育

。“（在 Stanford HAI），我們實際上花費了過多的精力來教育商業領袖、政府、政策制定者、媒體、記者和記者以及整個社會，並建立專題討論會、會議、研討會、釋出政策簡報、行業簡報。”

她補充到，對於如此新的技術，“我個人非常擔心出現由於缺乏背景知識而無助於傳達對這個時代更細緻和更深思熟慮的描述。”

九、10年的深度學習將如何被銘記

對於 Hinton 來說，過去十年在深度學習方面取得了“超出我最瘋狂夢想”的成功。

“雖然深度學習取得了巨大的進步，但它也應該被記載為計算機硬體進步的時代。因為這完全取決於計算機硬體的進步。”他說。

像Marcus這樣的批評者說，雖然深度學習已經取得了一些進展，但“我認為事後看來這可能是一種不幸。”他表示，我認為2050年的人們會從2022年開始審視這些系統，然後發現，過去的人很勇敢，但卻並沒有真正發揮作用。

李希望過去十年將被銘記為“偉大的數字革命的開端，它使所有人，而不僅僅是少數人或部分人類，生活和工作得更好。”

她補充說，作為一名科學家，“我永遠不會認為當下的深度學習是人工智慧探索的終結。” 在社會方面，她希望

將人工智慧視為“一種令人難以置信的技術工具，用以人為本的方式被開發和使用。

我們必須認識到這種工具的深遠影響，並接受以人為本的思維框架以及設計和部署人工智慧。

“（畢竟）我們將如何被記住，取決於我們現在正在做什麼。”

本文發自VentureBeat，原題為“10 years later， deep learning ‘revolution’ rages on， say AI pioneers Hinton， LeCun and Li”，作者Sharon Goldman，經作者編譯整理，供業內參考。