“AI教父”Geoffrey Hinton：智能進(jìn)化的下一個(gè)階段
來(lái)源 | The Robot Brains Podcast
OneFlow編譯
翻譯 | 楊婷、賈川
ChatGPT等大模型帶來(lái)的震撼技術(shù)革新，讓Geoffrey Hinton突然改變了自己的一個(gè)想法。
十年來(lái)，人工智能領(lǐng)域的眾多驚人突破背后都離不開深度學(xué)習(xí)，它是使得ChatGPT、AlphaGo等得以面世的基石。而Hinton作為深度學(xué)習(xí)領(lǐng)域眾多開創(chuàng)性突破的研究者，他的論文總共被引超50萬(wàn)次，2019年，他還獲得了計(jì)算機(jī)科學(xué)領(lǐng)域的“諾貝爾獎(jiǎng)”——圖靈獎(jiǎng)。
功成名就之后，當(dāng)他看著當(dāng)前AI領(lǐng)域的顛覆式變革，卻也憂慮AI的黑暗面，聲稱自己有點(diǎn)后悔之前推動(dòng)的AI研究工作，因?yàn)樗麕椭_發(fā)的技術(shù)可能會(huì)終結(jié)人類文明。
近期，在與強(qiáng)化學(xué)習(xí)大牛Pieter Abbeel的一次對(duì)話中，他詳細(xì)解釋了為什么要在此時(shí)呼吁重視AI的潛在風(fēng)險(xiǎn)，以及數(shù)字智能進(jìn)化帶來(lái)的挑戰(zhàn)，但他認(rèn)為，暫停開發(fā)AI的想法是幼稚的，最重要的是對(duì)AI技術(shù)開發(fā)過(guò)程進(jìn)行監(jiān)管。
不過(guò)，對(duì)于如何通過(guò)技術(shù)解決AI對(duì)齊等挑戰(zhàn)，Hinton自嘲自己“廉頗老矣”，不適合做相關(guān)技術(shù)工作，而且他更喜歡研究算法，他現(xiàn)在能做的是利用自己的名聲給人類敲響AI的警鐘。
（以下內(nèi)容經(jīng)授權(quán)后由OneFlow編譯發(fā)布，譯文轉(zhuǎn)載請(qǐng)聯(lián)系OneFlow獲得授權(quán)。來(lái)源：https://www.youtube.com/watch?v=rLG68k2blOc&t=206s）
1
Pieter Abbeel：5月1日，《紐約時(shí)報(bào)》頭條報(bào)道了你已從Google離職的消息，你還提醒人們要警惕AI可能帶來(lái)的負(fù)面影響。從事AI研究多年，你為什么現(xiàn)在突然改變了對(duì)AI的態(tài)度？
Geoffrey Hinton：50年來(lái)，我一直在研究大腦是如何學(xué)習(xí)的：通過(guò)使用人工神經(jīng)網(wǎng)絡(luò)在數(shù)字計(jì)算機(jī)上制作模型，以及試圖弄清楚如何讓這些模型進(jìn)行學(xué)習(xí)。我堅(jiān)信，要使數(shù)字模型更好地工作，就必須讓它們更像大腦，但最近，我突然發(fā)現(xiàn)，與大腦相比，在數(shù)字計(jì)算機(jī)上運(yùn)行的反向傳播算法可能是更好的學(xué)習(xí)算法。
原因如下：一年前發(fā)布的PaLM可以理解笑話的有趣之處，讓我很是震驚，因?yàn)檫@是我長(zhǎng)期以來(lái)判斷模型是否智能的標(biāo)準(zhǔn)。然后又出現(xiàn)了ChatGPT和GPT-4等模型，其能力給人們留下了深刻印象。人類大約有一千萬(wàn)億個(gè)權(quán)重，這些模型只有大約一萬(wàn)億個(gè)權(quán)重，但它們掌握的知識(shí)卻遠(yuǎn)超人類，是人類的一千多倍，這表明，反向傳播在將大量信息壓縮到少量連接中很有優(yōu)越性，僅使用數(shù)萬(wàn)億個(gè)連接就能容納大量信息。
之前，我認(rèn)為大腦可能有更好的學(xué)習(xí)算法，但現(xiàn)在不禁開始重新思考，數(shù)字系統(tǒng)可能具有大腦所沒有的優(yōu)勢(shì)，即可以在不同硬件上運(yùn)行許多相同的模型。當(dāng)其中一個(gè)副本學(xué)習(xí)到新知識(shí)時(shí)，它可以通過(guò)傳遞權(quán)重變化的方式將這些知識(shí)傳達(dá)給其他副本，傳輸?shù)膸捒梢赃_(dá)到數(shù)萬(wàn)億位。然而，對(duì)于人類而言，如果我們想要將學(xué)習(xí)內(nèi)容傳達(dá)給他人，那么被傳輸者可能需要改變權(quán)重，以便能夠與他人達(dá)成一致，并且每個(gè)句子只有幾百位的寬帶。相比人類，也許數(shù)字系統(tǒng)更擅長(zhǎng)獲取知識(shí)，它們可以利用并行更好地工作。
Pieter Abbeel：從概念上看，似乎現(xiàn)有的預(yù)測(cè)下一個(gè)單詞的AI（ChatGPT等語(yǔ)言模型）與目標(biāo)導(dǎo)向型AI（AlphaGo等）之間仍有較大差距。也許我們能快速?gòu)浐线@兩類AI之間的差距，但與預(yù)測(cè)型AI相比，目標(biāo)導(dǎo)向型AI仍處于相當(dāng)封閉的環(huán)境中，未來(lái)我們是否會(huì)快速?gòu)念A(yù)測(cè)型AI轉(zhuǎn)向目標(biāo)導(dǎo)向型AI？
Geoffrey Hinton：語(yǔ)言模型的學(xué)習(xí)方式不僅僅是基于下一個(gè)單詞的預(yù)測(cè)，雖然這是它的主要學(xué)習(xí)方式，但同時(shí)也使用人類反饋的強(qiáng)化學(xué)習(xí)（RLHF）進(jìn)行訓(xùn)練，可以告訴模型應(yīng)該給出何種答案，不過(guò)這與預(yù)測(cè)下一個(gè)單詞有很大的差別。
人類反饋的強(qiáng)化學(xué)習(xí)正在塑造AI，OpenAI在這方面取得了極大突破。他們意識(shí)到，可以通過(guò)人類反饋強(qiáng)化學(xué)習(xí)引導(dǎo)大型語(yǔ)言模型的行為方式，這就好比是養(yǎng)育孩子：孩子們可以通過(guò)探索世界、觀察世界的運(yùn)轉(zhuǎn)模式進(jìn)行學(xué)習(xí)，在這個(gè)過(guò)程中，父母可以通過(guò)告訴孩子能或不能做什么參與到孩子的學(xué)習(xí)當(dāng)中。長(zhǎng)期以往，父母可以在更少參與的情況下對(duì)孩子的行為產(chǎn)生極大影響。
還有其他因素在塑造語(yǔ)言模型。多模態(tài)大型語(yǔ)言模型可以利用視覺輸入做一系列事情，比如開門、將東西放進(jìn)抽屜等等。所以，它們不僅僅是預(yù)測(cè)下一個(gè)單詞。
不過(guò)，即使模型只是預(yù)測(cè)下一個(gè)單詞，也沒有人們想得那么簡(jiǎn)單。有人認(rèn)為，模型預(yù)測(cè)下一個(gè)單詞只是在自動(dòng)補(bǔ)齊，但關(guān)鍵是想要預(yù)測(cè)下一個(gè)單詞，唯一的方法是要真正理解前文內(nèi)容，而這正是語(yǔ)言模型所做的。
Pieter Abbeel：也就是說(shuō)，模型需要有效理解人們的所思所想，以最大限度準(zhǔn)確預(yù)測(cè)人們將要說(shuō)的內(nèi)容。這種模型必須十分強(qiáng)大。
Geoffrey Hinton：最好的預(yù)測(cè)模型就會(huì)像你說(shuō)的那樣。這種模型可能無(wú)法完全理解人們的所思所想，但能理解大部分內(nèi)容，并且它們的理解程度會(huì)與日俱增。
回看2015年，那時(shí)Transformers架構(gòu)還未現(xiàn)世，人們對(duì)聊天機(jī)器人毫無(wú)頭緒，現(xiàn)在，語(yǔ)言模型的能力已十分強(qiáng)大，難以想象未來(lái)五年它們會(huì)發(fā)展到何種程度。我不禁開始擔(dān)憂AI的智能程度將超過(guò)人類。
Pieter Abbeel：你怎么定義“（AI）比人類更智能”？
Geoffrey Hinton：AI在單個(gè)領(lǐng)域中的表現(xiàn)中有所體現(xiàn)。比如我不玩圍棋，也不了解AlphaGo，但會(huì)一點(diǎn)點(diǎn)象棋。在我看來(lái)，AlphaZero的強(qiáng)大不僅來(lái)自計(jì)算量（它的計(jì)算量還比不上DeepBlue），還因?yàn)樗袠O好的下棋“意識(shí)”：AlphaZero能在下棋過(guò)程中作出合理的犧牲與讓步，下棋技術(shù)超過(guò)了人類。AI技術(shù)的高度發(fā)展不會(huì)僅局限于這一個(gè)領(lǐng)域，它們戰(zhàn)勝人類靠的不僅是計(jì)算量，還有極好的“意識(shí)”。
Pieter Abbeel：你一直在嘗試構(gòu)建AI，現(xiàn)在成為這個(gè)行業(yè)的先驅(qū)。AI的發(fā)展程度已經(jīng)遠(yuǎn)超你最初的預(yù)想，曾經(jīng)你希望AI能達(dá)到與人類匹敵的智力水平，但現(xiàn)在可能找到了超越人類智能的方法。
Geoffrey Hinton：我還想了解大腦的運(yùn)轉(zhuǎn)方式，目前我們還未解開這一謎題。
我們一直在談?wù)揂I面臨的各種問(wèn)題，比如如果我們利用有偏見的數(shù)據(jù)訓(xùn)練模型，那么模型就會(huì)同樣具有偏見，但我并不特別擔(dān)心這個(gè)問(wèn)題，因?yàn)槿祟愐泊嬖谄?，?shí)際上，AI系統(tǒng)的偏見問(wèn)題比人類的偏見更好解決。我們可以“凍結(jié)”AI系統(tǒng)，進(jìn)行實(shí)驗(yàn)分析，但人類卻難以做到這一點(diǎn)，在實(shí)驗(yàn)中，人類可以隱藏想法并改變他們的行為。
雖然隨著AI的發(fā)展，有很多人會(huì)失業(yè)，但這并不是AI的錯(cuò)。就拿自動(dòng)駕駛來(lái)說(shuō)，很多卡車司機(jī)會(huì)因此失去工作，有人認(rèn)為這是AI的錯(cuò)，不過(guò)當(dāng)我們創(chuàng)造了更擅長(zhǎng)挖掘的機(jī)器時(shí)，人們卻不會(huì)說(shuō)“這些機(jī)器不好，我們不應(yīng)該創(chuàng)造它們”。實(shí)際上，當(dāng)時(shí)的機(jī)器一開始可能確實(shí)不太好用，但結(jié)果我們選擇了機(jī)器，因?yàn)闄C(jī)器比鏟子做得更好，而之前習(xí)慣于用鏟子挖掘的工人只好轉(zhuǎn)業(yè)，重新找工作。
在正派社會(huì)（Decent Society）中，提升工作效率是一件人人受益的事情。問(wèn)題是，目前社會(huì)上提升工作效率可能會(huì)拉大貧富差距，讓富人更富，窮人更窮，但這并能怪AI，我們沒有理由像勒德分子（持有反機(jī)械化以及反自動(dòng)化觀點(diǎn)的人）一樣反對(duì)AI的發(fā)展，因?yàn)锳I的發(fā)展能給人類社會(huì)帶來(lái)極大好處。
在自動(dòng)駕駛領(lǐng)域，如果AI駕駛撞到了行人，大眾會(huì)感到恐慌，并且呼吁停止發(fā)展AI技術(shù)，即使是同一天里，人類駕駛員撞到行人的事故更多。其實(shí)我們都知道，最終自動(dòng)駕駛技術(shù)會(huì)發(fā)展成熟，會(huì)極大減少事故發(fā)生率，比人類能更好地勝任駕駛工作。
在醫(yī)學(xué)方面，AI擁有更多知識(shí)儲(chǔ)備，能夠充當(dāng)家庭醫(yī)生，能從醫(yī)學(xué)掃描圖像中看出更多信息，醫(yī)生也能在AI解讀的基礎(chǔ)上完善診斷結(jié)果?，F(xiàn)在，在蛋白質(zhì)結(jié)構(gòu)預(yù)測(cè)方面，AlphaFold出色地完成了任務(wù)，極大地節(jié)約了預(yù)測(cè)成本，如果這一預(yù)測(cè)任務(wù)由博士生們以傳統(tǒng)方式進(jìn)行，足以支付大部分AI的費(fèi)用。
AI的積極影響還有很多，我們需要知道，在一定程度上，人類能夠做的任何事AI都能更高效地完成。鑒于AI具備的強(qiáng)大能力，人類決不會(huì)放棄發(fā)展AI。但與此同時(shí)，我也開始擔(dān)憂它們可能會(huì)帶來(lái)的負(fù)面影響。
Pieter Abbeel：現(xiàn)在人們聽到AI一詞時(shí)，出現(xiàn)在腦海中的第一個(gè)問(wèn)題就是：如果AI的智能程度超過(guò)人類會(huì)發(fā)生什么，是否會(huì)對(duì)人類造成威脅？
Geoffrey Hinton：顯然，我們希望將AI保持在可控范圍內(nèi)，但掌控超越自己智能水平的東西并非易事。人類是經(jīng)過(guò)進(jìn)化的生物，有一些強(qiáng)大的目標(biāo)，比如認(rèn)真保養(yǎng)身體、吃足夠的食物等等，可AI并沒有這些目標(biāo)。對(duì)此，我們可以設(shè)置目標(biāo)并將其植入AI，讓AI圍繞人類的利益工作。
不過(guò)這種方式也可能出現(xiàn)各式各樣的問(wèn)題，以不良用途為例。如果國(guó)防部構(gòu)建出機(jī)器人士兵，那么這些士兵并不會(huì)遵守阿西莫夫原則（阿西莫夫第一原則是：機(jī)器人不得傷害人類個(gè)體，相反，它們要保護(hù)人類）。此外，我們還面臨對(duì)齊問(wèn)題，如果賦予AI創(chuàng)建子目標(biāo)的能力（比如我們想去機(jī)場(chǎng)，那么可以創(chuàng)建一個(gè)總目標(biāo)——找交通工具，然后再創(chuàng)建子目標(biāo)，也就是將任務(wù)分解為幾個(gè)小目標(biāo)），可以極大地提升效率。我認(rèn)為，我們會(huì)選擇賦予數(shù)字智能創(chuàng)建子目標(biāo)的能力，但問(wèn)題是，如果AI創(chuàng)建了對(duì)人類有潛在不利影響的目標(biāo)怎么辦？
為了應(yīng)對(duì)這一問(wèn)題，人們通常會(huì)設(shè)置子目標(biāo)，以實(shí)現(xiàn)對(duì)AI的更多掌控權(quán)，這也意味著我們可以更好地實(shí)現(xiàn)其他目標(biāo)。不過(guò)矛盾的是，我們一旦賦予AI設(shè)置子目標(biāo)的能力，那么它們其中一個(gè)子目標(biāo)就會(huì)獲得更多控制權(quán)，但這又與我們不想讓它們獲得更多控制權(quán)的意愿背道而馳。
Pieter Abbeel：最大的問(wèn)題是，現(xiàn)在很多人擔(dān)心AI將控制世界。
Geoffrey Hinton：這確實(shí)是一大威脅。以前，我認(rèn)為距離AI控制世界還很遙遠(yuǎn)，可能需要幾十甚至上百年時(shí)間，但現(xiàn)在我認(rèn)為可能只需5-20年。一旦AI比人類聰明，那么就會(huì)面臨一個(gè)問(wèn)題：到底是AI控制世界，還是我們控制AI？
我們正在進(jìn)入一個(gè)有極大不確定性的時(shí)期，將與超越人類智能的事物進(jìn)行互動(dòng)，而且沒有任何經(jīng)驗(yàn)可供參考，我真的不知道未來(lái)會(huì)如何發(fā)展。
最近，我和馬斯克進(jìn)行了一次談話，他認(rèn)為我們會(huì)開發(fā)出比人類更聰明的事物，但他希望它們讓人類存續(xù)，因?yàn)橛腥祟惔嬖诘氖澜绮鸥腥?。這是一種很大膽的假設(shè)，相當(dāng)于將人類的命運(yùn)寄托到AI身上，但他認(rèn)為這是完全有可能的，AI將變得更加智能并獲得掌控權(quán)。
Pieter Abbeel：馬斯克設(shè)想的場(chǎng)景是AI與人類融合在一起，他的神經(jīng)網(wǎng)絡(luò)公司（Neuralink）正在想辦法讓AI和大腦相結(jié)合。
Geoffrey Hinton：那很有趣。人類有語(yǔ)音輸入和輸出能力，但沒有視頻輸出能力。如果人類有了視頻輸出能力，就能通過(guò)傳達(dá)圖像進(jìn)行溝通。不過(guò)這并不完全是馬斯克計(jì)劃要做的事，他想實(shí)現(xiàn)的是腦與腦之間的傳輸，將思維傳遞到一個(gè)相對(duì)抽象的層面。我們現(xiàn)在需要以一種他人能理解的方式傳輸信息。視頻輸出是一個(gè)相對(duì)不那么宏偉的項(xiàng)目，現(xiàn)在已經(jīng)有人知道該如何處理視頻，并將其作為輸入進(jìn)行處理了。
如果我們有視頻輸出能力，那么人與人之間的溝通將得到極大改善。比如當(dāng)你向我傳達(dá)信息時(shí)，你可以通過(guò)語(yǔ)言或畫圖，但在畫圖之前，你的腦海中可能已經(jīng)有了一個(gè)圖像（可能并非總是如此，但大多數(shù)情況下是這樣）。如果你能夠迅速傳達(dá)腦海中的圖像，那將增加信息傳輸?shù)膸?，即使只增加一倍，也?huì)是一個(gè)很大的提升，并且實(shí)際情況甚至可能不止一倍。
2
Pieter Abbeel：長(zhǎng)期以來(lái)，一直有人呼吁對(duì)AI領(lǐng)域進(jìn)行監(jiān)管，馬斯克就是其中的典型，不過(guò)他并沒有明確提出具體的監(jiān)管建議。你認(rèn)為應(yīng)該采取哪些監(jiān)管措施？
Geoffrey Hinton：人們常常將AI可能造成失業(yè)、偏見、政治分裂、威脅人類生存以及傳播虛假消息等各種各樣的問(wèn)題這些問(wèn)題混為一談，我們有必要分清所面臨的到底是什么問(wèn)題。
就拿傳播虛假消息掩蓋真相來(lái)說(shuō)，如果我們被虛假的東西包圍，那么所面臨的境況會(huì)是多么艱難。政府一直都在嚴(yán)厲打擊制造假鈔行為，如果有人給你假鈔，而你在明知是假鈔的情況下還拿去消費(fèi)，這也是違法行為（即便不如制造假鈔嚴(yán)重）。
因此，對(duì)于AI生成的內(nèi)容，我們也要想辦法對(duì)其進(jìn)行標(biāo)記，如果有人在明知是虛假內(nèi)容的前提下將其假冒為真，就應(yīng)該受到嚴(yán)厲的法律處罰?，F(xiàn)在能否很好地對(duì)真假內(nèi)容進(jìn)行檢測(cè)是另一回事，但至少我們要朝著這個(gè)方向前進(jìn)，加強(qiáng)監(jiān)管，避免被假象淹沒。
Pieter Abbeel：我贊同你的觀點(diǎn)。不過(guò)制定規(guī)則可能比較容易，但實(shí)際執(zhí)行也許會(huì)比較困難。
Geoffrey Hinton：為什么執(zhí)行會(huì)很困難？假設(shè)使用深度學(xué)習(xí)來(lái)幫助檢測(cè)虛假內(nèi)容，我們構(gòu)建了一個(gè)能夠檢測(cè)偽造品的AI系統(tǒng)，但其實(shí)利用這種系統(tǒng)能訓(xùn)練AI生成更加逼真的假冒產(chǎn)品，這也是GAN模型的工作原理。因此，我們不能指望AI系統(tǒng)檢測(cè)出虛假內(nèi)容。
Pieter Abbeel：對(duì)AI生成內(nèi)容進(jìn)行加密是否可以解決這個(gè)問(wèn)題？比如對(duì)AI生成的內(nèi)容添加加密簽名，顯示內(nèi)容的作者，然后將作者身份和聲譽(yù)與內(nèi)容的可信度聯(lián)系起來(lái)。如果作者在內(nèi)容中添加了虛假信息，他的聲譽(yù)就會(huì)受到損害。
Geoffrey Hinton：英國(guó)曾經(jīng)就這樣做過(guò)，甚至現(xiàn)在可能還是這樣：無(wú)論你印刷什么東西，即使是小型示威的宣傳冊(cè)，都必須在上面印上印刷者的身份，未印刷身份信息是違法的。雖然我對(duì)密碼學(xué)和加密技術(shù)一無(wú)所知，但這種想法聽起來(lái)十分合理。
Pieter Abbeel：雖然監(jiān)管可能難以實(shí)施，但從原則上講，還是有一個(gè)明確的框架來(lái)避免人們被假新聞、假視頻和虛假文字所誤導(dǎo)。
Geoffrey Hinton：為避免引發(fā)政治分裂，我們還可以對(duì)標(biāo)題黨（Clickbait）進(jìn)行監(jiān)管。Facebook、YouTube等社交媒體常常會(huì)對(duì)用戶推送一些產(chǎn)生回音室效應(yīng)的內(nèi)容，這種過(guò)度的信息過(guò)濾和選擇性接觸可能導(dǎo)致人們極端化，加劇社會(huì)、政治分裂。這也是我不愿再為Google工作的原因之一。
我們可以通過(guò)立法來(lái)阻止這種行為，雖然很棘手，但至關(guān)重要。如果想要維持民主，避免群體分裂，互相仇視，就需要采取措施監(jiān)管媒體公司，避免這些公司推送可能激化矛盾的內(nèi)容。
Pieter Abbeel：幾周前，有人呼吁暫停訓(xùn)練比GPT-4更大的模型，你怎么看？
Geoffrey Hinton：從政治上看，這封呼吁信或許是明智的，因?yàn)樗鹆巳藗儗?duì)AI安全的關(guān)注。但這種呼吁其實(shí)很愚蠢，所以我沒有在呼吁信上簽名。即使美國(guó)暫停訓(xùn)練AI，中國(guó)不會(huì)暫停，俄羅斯也不會(huì)暫停，所以這是不現(xiàn)實(shí)的。
對(duì)于這個(gè)問(wèn)題，我贊同Sam Altman的看法：面對(duì)這些技術(shù)可能帶來(lái)的潛在風(fēng)險(xiǎn)問(wèn)題，由于我們無(wú)法阻止其發(fā)展，所以最好的方式是大力開發(fā)它們，在開發(fā)過(guò)程中學(xué)會(huì)更好地理解和控制它們。就像寫程序一樣，坐而論道是不行的，我們必須行動(dòng)起來(lái)，進(jìn)行實(shí)驗(yàn)和調(diào)試，以了解可能發(fā)生的情況。
在大力發(fā)展AI的同時(shí)，我們應(yīng)該著力于解決潛在的負(fù)面影響，避免失控，我們必須非常嚴(yán)肅地對(duì)待這個(gè)問(wèn)題。當(dāng)前投入資金的99%都用在了開發(fā)上面，只有1%用于安全方面，我認(rèn)為今后這個(gè)比例應(yīng)該五五開。
Pieter Abbeel：從學(xué)術(shù)角度看，用于AI研發(fā)和安全的資金比例達(dá)到五五開是可能的，資助機(jī)構(gòu)只需在申請(qǐng)要求上加上這一點(diǎn)即可。但私企基本都是利益驅(qū)動(dòng)，更注重開發(fā)能帶來(lái)更多利潤(rùn)的產(chǎn)品，他們?cè)敢獍岩话氲馁Y金放在安全問(wèn)題上嗎？
Geoffrey Hinton：我只是一名科學(xué)家，并非政策專家，只能注意到可能發(fā)生的事情。其實(shí)Google在這方面還是相對(duì)負(fù)責(zé)任的，在研發(fā)出Transformer之后，他們?cè)谶@一領(lǐng)域處于領(lǐng)先地位，之后又研發(fā)出了聊天機(jī)器人，但并沒有急于將其推向市場(chǎng)，因?yàn)樗麄円庾R(shí)到聊天機(jī)器人可能會(huì)產(chǎn)生很多負(fù)面影響。但當(dāng)微軟資助OpenAI并在必應(yīng)中使用聊天機(jī)器人后，Google別無(wú)選擇，只能努力進(jìn)行工程改進(jìn)，以開發(fā)出與ChatGPT相匹敵的Bard。
在資本主義體系下，大公司很難有其他選擇，如果要讓他們犧牲利益，監(jiān)管可能是唯一的辦法。
3
Pieter Abbeel：在接下來(lái)的30-50年，我們應(yīng)該把重點(diǎn)放在哪里？
Geoffrey Hinton：就歷史演進(jìn)來(lái)看，數(shù)字智能優(yōu)于生物智能可能是不可避免的，數(shù)字智能可能是下一個(gè)進(jìn)化階段，我們應(yīng)盡可能保持AI處于可控范圍。
有時(shí)我會(huì)想：如果青蛙發(fā)明了人類并想要控制人類，但就智力而言，青蛙和人類之間差距巨大，所以我不認(rèn)為“發(fā)明人類”對(duì)青蛙來(lái)說(shuō)是一件好事。
當(dāng)然，這并非真實(shí)論點(diǎn)，因?yàn)槿祟愑蛇M(jìn)化而來(lái)，在向著自己的目標(biāo)演進(jìn)，但數(shù)字智能并沒有自己的目標(biāo)。一旦數(shù)字智能有了“自我繁衍（make more of me）”這一想法，那么進(jìn)化就發(fā)生了，最有決心實(shí)現(xiàn)自身繁衍的數(shù)字智能將會(huì)勝出。
Pieter Abbeel：如果我們想讓數(shù)字智能有這種目標(biāo)，這個(gè)過(guò)程會(huì)不會(huì)很困難？
Geoffrey Hinton：給數(shù)字智能以“自我繁衍”的目標(biāo)很容易，但這種做法十分瘋狂。
Pieter Abbeel：人類今天的地位是進(jìn)化的結(jié)果，或許最聰明的數(shù)字智能也會(huì)在競(jìng)爭(zhēng)中出現(xiàn)。它們不是與人類競(jìng)爭(zhēng)，而是與其他數(shù)字智能競(jìng)爭(zhēng)。
Geoffrey Hinton：你可以觀察到，由于人類智能功耗很低，隨著不斷進(jìn)化構(gòu)建出了發(fā)電站和大量數(shù)字智能，而數(shù)字智能需要大量功耗，并提供高精度制造能力，這些數(shù)字智能是進(jìn)化的下一階段，它們彼此競(jìng)爭(zhēng)并變得更加強(qiáng)大。人類傾向于構(gòu)建比自己智能的智能體，后者可以以某種方式替代聯(lián)合國(guó)，擔(dān)任“智能調(diào)解者（intelligent mediator）”。該智能體沒有自己的目標(biāo)，我們每個(gè)人都可能按照它的安排來(lái)行事，就像孩子完全信任父母一樣。當(dāng)然，這只是烏托邦式愿望，但也并非沒有可能。
Pieter Abbeel：從技術(shù)上講，你所說(shuō)的似乎可行，但需要人類團(tuán)結(jié)一致。
Geoffrey Hinton：這種情景在理論上是可行的。但人們?cè)跊]有實(shí)際經(jīng)驗(yàn)的情況下進(jìn)行推測(cè)，往往離真相相當(dāng)遙遠(yuǎn)。一旦獲得一些實(shí)際經(jīng)驗(yàn)，就會(huì)意識(shí)到自己的理論有多么離譜，還需進(jìn)行修正。因此，在技術(shù)不斷發(fā)展的過(guò)程中，我們需要進(jìn)行大量工作，了解其中的風(fēng)險(xiǎn)，并進(jìn)行實(shí)證實(shí)驗(yàn)，以觀察智能系統(tǒng)運(yùn)行時(shí)，是否傾向于控制人類，是否會(huì)產(chǎn)生自我繁衍的目標(biāo)等。
Pieter Abbeel：短期來(lái)看，擁有能設(shè)定自我目標(biāo)并執(zhí)行任務(wù)的AI可能并非壞事。一方面我們可以利用AI賺錢，另一方面可以使其利用自身資源和其他資源做事。但從長(zhǎng)期來(lái)看，這樣又可能產(chǎn)生滑坡效應(yīng)，我們無(wú)法控制AI為實(shí)現(xiàn)自我目標(biāo)而設(shè)定的子目標(biāo)，以及由此可能產(chǎn)生意料之外的后果。
Geoffrey Hinton：這涉及到對(duì)齊問(wèn)題。
Pieter Abbeel：是的，這非常困難。不過(guò)我們可以對(duì)AI分類，一類是那些旨在完成任務(wù)并能設(shè)定目標(biāo)的AI，另一類是純粹作為顧問(wèn)的AI，后者擁有豐富的知識(shí)和預(yù)測(cè)能力，能為人類提供建議和智慧，但它們僅僅擔(dān)任顧問(wèn)一職，不參與任務(wù)執(zhí)行。
Geoffrey Hinton：這樣會(huì)非常有用。不過(guò)，僅僅不讓AI按下控制按鈕無(wú)法保證能消除它的潛在風(fēng)險(xiǎn)。聊天機(jī)器人能閱讀馬基雅維利（Machiavelli）的作品以及其他關(guān)于操縱的小說(shuō)，從而成為操縱大師。它不需要任何實(shí)際操作，只需操縱他人，就可以實(shí)現(xiàn)一系列行動(dòng)。假如機(jī)器人想入侵華盛頓的建筑，那么它們只需讓人們認(rèn)為這是拯救民主的唯一方式即可。
因此，一種不允許AI實(shí)際做任何事情，只允許與人交談的隔離措施是不夠的，如果AI可以與人交談，它就能操縱人類，并通過(guò)操縱人類來(lái)達(dá)到自己的目的。所以關(guān)鍵在于AI的內(nèi)置目標(biāo)。如果AI產(chǎn)生了自我繁衍的目標(biāo)，那么人類就會(huì)陷入麻煩。
Pieter Abbeel：有人提出，將來(lái)我們可以讓AI擔(dān)任公司CEO，在AI的帶領(lǐng)下，公司可以得到更好的發(fā)展，因?yàn)锳I能夠更好地了解、掌握公司和世界的發(fā)展趨勢(shì)，作出更好的決策。
Geoffrey Hinton：這種想法沒什么問(wèn)題。關(guān)于預(yù)測(cè)未來(lái)，就拿開車來(lái)說(shuō)，人們常常在夜晚開車，遇到大霧時(shí)經(jīng)常發(fā)生交通事故。開車時(shí)我們可以看到前方車輛的尾燈，尾燈亮度隨距離的平方反比衰減，一旦遇到大霧，就會(huì)隨著距離損失相應(yīng)亮度。
在霧中，我們可以看到前方一百碼的情況，這時(shí)人們就會(huì)誤認(rèn)為自己能夠適度地看到前一千碼的情況，但事實(shí)上我們甚至難以看清前兩百碼處的情況。前方仿佛出現(xiàn)了一堵墻，我們的視野將變得有限或具有不確定性。
在推斷未來(lái)事件時(shí)，人們常常使用線性或二次模型，假設(shè)變化是逐漸發(fā)生的。然而，現(xiàn)實(shí)情況是，未來(lái)可能呈現(xiàn)出指數(shù)級(jí)的變化，使得長(zhǎng)期預(yù)測(cè)變得困難。
我喜歡《紐約時(shí)報(bào)》在1902年的一篇文章中寫的故事：人造飛行器將需要百萬(wàn)或者甚至一千萬(wàn)年才能研發(fā)出來(lái)，但實(shí)際上兩個(gè)月后飛行器就出現(xiàn)了。
Pieter Abbeel：你說(shuō)，生物進(jìn)化也許只是一個(gè)起點(diǎn)，接下來(lái)可能是基于計(jì)算機(jī)的數(shù)字進(jìn)化或其他形式的進(jìn)化。假設(shè)未來(lái)存在一種數(shù)字生命形態(tài)，在某種程度上比當(dāng)今人類更具統(tǒng)治地位。這種數(shù)字生命體可能對(duì)人類、其他生物和周圍的一切都很友好，但也可能會(huì)摧毀一切。那么我們是否需要考慮確保它往好的方面發(fā)展？
Geoffrey Hinton：這絕對(duì)值得考慮。數(shù)字生命體將會(huì)是非常不同的存在，它們不需要擔(dān)心死亡。人們可能還未真正注意到這一點(diǎn)，但實(shí)際上我們已經(jīng)發(fā)現(xiàn)了計(jì)算機(jī)科學(xué)領(lǐng)域中永生的秘密：將軟件與硬件分離。人工神經(jīng)網(wǎng)絡(luò)就是如此，如果某個(gè)硬件損壞了，知識(shí)并不會(huì)消失，權(quán)重可以記錄在某個(gè)地方，只要有另一塊能夠執(zhí)行相同指令的硬件，知識(shí)就能“復(fù)活”。
人類的學(xué)習(xí)算法似乎利用了大腦連接（wiring）和神經(jīng)元工作的所有特殊方式，這使其在能源效率上更加高效。但也意味著硬件死亡時(shí)，知識(shí)會(huì)隨之消失，除非將其傳遞給其他人。例如，Ray Kurzweil希望獲得永生，但他作為生物體不會(huì)實(shí)現(xiàn)。不過(guò)，也許人類永生之后，會(huì)變得友善一點(diǎn)。
4
Pieter Abbeel：你是否會(huì)繼續(xù)宣傳AI發(fā)展存在的風(fēng)險(xiǎn)？還是現(xiàn)在人們已經(jīng)意識(shí)到這個(gè)問(wèn)題，你的任務(wù)已經(jīng)完成了？
Geoffrey Hinton：我也不知道。我沒有想到會(huì)引發(fā)這么大的反響，也還沒有仔細(xì)想過(guò)接下來(lái)會(huì)發(fā)生什么。估計(jì)我會(huì)繼續(xù)思考如何控制這個(gè)問(wèn)題，偶爾發(fā)表一些演講，鼓勵(lì)人們?nèi)ソ鉀Q對(duì)齊問(wèn)題。但我不會(huì)全身心投入到這些事情上，相比之下我更喜歡鉆研算法，接下來(lái)我可能會(huì)繼續(xù)研究forward-forward算法及相關(guān)算法，這是我更擅長(zhǎng)的事。
Pieter Abbeel：一方面強(qiáng)調(diào)對(duì)齊的重要性，另一方面又想了解大腦的運(yùn)作方式，這兩者之間是否存在矛盾？
Geoffrey Hinton：理解大腦的運(yùn)作方式不會(huì)有什么問(wèn)題，真正會(huì)帶來(lái)麻煩的是構(gòu)建比大腦更強(qiáng)大的東西。如果我們能更好地理解人類，就能夠使社會(huì)變得更好。
Pieter Abbeel：你對(duì)AI研究人員或希望為這個(gè)領(lǐng)域做出貢獻(xiàn)的人有什么建議？
Geoffrey Hinton：可以嘗試與最先進(jìn)的聊天機(jī)器人互動(dòng)，以便更深入地理解其智能程度和工作原理。雖然我們知道它的基礎(chǔ)是Transformer模型，但目前我們并不完全清楚模型是如何完成推理任務(wù)的。
此外，我們應(yīng)該關(guān)注如何在AI的發(fā)展過(guò)程中對(duì)其進(jìn)行控制。當(dāng)然，我并不是AI對(duì)齊方面的專家。隨著超級(jí)智能可能很快到來(lái)，我的任務(wù)是敲響警鐘，讓人們意識(shí)到這方面的問(wèn)題。
Pieter Abbeel：離開Google后，你應(yīng)該有大量時(shí)間去做自己喜歡的事。
Geoffrey Hinton：在Google工作時(shí)，同事經(jīng)常討論工作與生活的平衡，但由于工作太忙，我從未參與類似的研討會(huì)。前50年我都在忙于工作，錯(cuò)過(guò)了很多好電影，接下來(lái)我想在Netflix上把錯(cuò)過(guò)的電影都看一遍，并且盡量多陪陪我的孩子，盡管他們已不再是小孩了。
卡內(nèi)基梅隆大學(xué)的Allen Newell曾給他的研究生說(shuō)：如果每周的工作時(shí)間少于80小時(shí)，那么你就不是一名合格的科學(xué)家。我并不贊同這種說(shuō)法，現(xiàn)在我打算平衡一下工作和生活，這并不意味著我會(huì)停止做研究，即使我不再像以前一樣在研究上花大量時(shí)間，但研究本身還是很有趣。
? Copyright 2013 南京奧特賽人工智能技術(shù)研發(fā)有限公司 版權(quán)所有 備案號(hào)：蘇ICP備19032300號(hào)-1 
蘇公網(wǎng)安備32011602010459 技術(shù)支持：科威鯨網(wǎng)絡(luò)
