新浪科技訊 北京時(shí)間7月9日消息，以下為George Dvorsky對(duì)超級(jí)人工智能的看法：我相信，機(jī)器智能將是人類種下的最后禍根。這二十多年來(lái)，我所想的和寫的，大多和機(jī)器智能毀滅人類的潛力有關(guān)。我為此受到了諸多抨擊，但我還是想說(shuō)，我們不能忽視這樣的未來(lái)可能性：人類文明或毀于自己發(fā)明的工具。

　　反對(duì)“超級(jí)人工智能毀滅人類”這個(gè)想法的觀點(diǎn)不在少數(shù)，其中一個(gè)反對(duì)觀點(diǎn)出乎意料地常見(jiàn)，而我卻覺(jué)得十分荒唐。它不是說(shuō)超級(jí)人工智能本身不可能，也不是說(shuō)我們無(wú)法阻止邪惡的機(jī)器毀滅我們。這個(gè)天真爛漫的反對(duì)觀點(diǎn)竟然認(rèn)為，一臺(tái)無(wú)比聰明的計(jì)算機(jī)壓根沒(méi)有終結(jié)人類的手段或動(dòng)機(jī)。

　　控制和理解的缺失

　　想象一下我們有這樣一些系統(tǒng)，無(wú)論是生物的還是人工的，它的智慧水平相當(dāng)于或遠(yuǎn)高于人類智慧。通過(guò)基因工程、納米技術(shù)、信息技術(shù)和認(rèn)知科學(xué)的融合，我們可以從根本上增強(qiáng)人類的大腦（甚至于非人類的動(dòng)物大腦），而超越人類的機(jī)器智能十分有可能來(lái)自于計(jì)算機(jī)科學(xué)、認(rèn)知科學(xué)和全腦仿真的進(jìn)步。

　　接著，這些系統(tǒng)中的一個(gè)出了問(wèn)題，或者它們被故意用作武器。遺憾的是，一旦這些系統(tǒng)出現(xiàn)，我們大概率沒(méi)有辦法控制它們，也無(wú)法預(yù)測(cè)這些系統(tǒng)響應(yīng)我們請(qǐng)求的方式。

　　蘇珊·施奈德是未來(lái)心靈中心的主任，也是“Artificial You： AI and the Future of the Mind”一書(shū)的作者。她在郵件中解釋說(shuō)：“這就是我們常說(shuō)的控制問(wèn)題。簡(jiǎn)單來(lái)說(shuō)就是，如何控制一個(gè)比我們聰明得多的人工智能?！?/span>

　　施奈德提到了著名的回形針場(chǎng)景，作為類比。回形針場(chǎng)景，即一家回形針制造商有一個(gè)編程上很糟糕的人工智能，準(zhǔn)備最大化自己的回形針生產(chǎn)效率。結(jié)果卻是，這個(gè)人工智能把地球上的一切都變成了回形針，從而毀滅了地球。牛津大學(xué)哲學(xué)家尼克·博斯特羅姆在他2014年的著作“Superintelligence： Paths， Dangers， Strategies”中將這類風(fēng)險(xiǎn)命名為“反常實(shí)例化”?；蛘哂檬┠蔚碌脑捀?jiǎn)單地來(lái)說(shuō)，即有一個(gè)古老的魔法精靈故事，故事里三個(gè)愿望的實(shí)現(xiàn)“永遠(yuǎn)不會(huì)順利”。在這里，普遍的擔(dān)憂是，我們想讓超級(jí)智能去做一些事情，而由于我們自己都不太了解要做的這些事情的細(xì)節(jié)，超級(jí)智能將嚴(yán)重曲解我們的愿望，從而導(dǎo)致一些我們不愿意看到發(fā)生的事情發(fā)生。

　　例如，我們可以“許愿”實(shí)現(xiàn)一種有效提取太陽(yáng)能的方法，結(jié)果卻是超級(jí)智能篡奪我們整個(gè)地球的資源去建造一個(gè)超大型的太陽(yáng)能陣列。正如博斯特羅姆推測(cè)的那樣，要求超級(jí)智能“最大化人類幸福感”，可能會(huì)迫使超級(jí)智能重新連接我們大腦中的快樂(lè)中心，或把我們的腦子上傳到超級(jí)計(jì)算機(jī)上，強(qiáng)迫我們永生永世體驗(yàn)?zāi)俏迕腌姷目鞓?lè)循環(huán)。一旦超級(jí)人工智能出現(xiàn)，厄運(yùn)將會(huì)以某種離奇且意想不到的方式降臨。

　　人工智能機(jī)器研究所的人工智能理論家埃利澤·尤德科夫斯基在他的論文中，將超級(jí)人工智能視為優(yōu)化過(guò)程，或“在大型搜索空間中擊中小目標(biāo)以產(chǎn)生合乎邏輯的現(xiàn)實(shí)世界效果的系統(tǒng)”。問(wèn)題是，這些過(guò)程往往傾向于探索廣闊的可能性空間，其中很多是我們壓根無(wú)法想象的。尤德科夫斯基寫道：

　　“我正在訪問(wèn)一座遙遠(yuǎn)的城市，一位當(dāng)?shù)嘏笥阎鲃?dòng)提出開(kāi)車送我去機(jī)場(chǎng)。我不知道附近情況。當(dāng)朋友來(lái)到十字路口時(shí)，我無(wú)法預(yù)測(cè)他會(huì)超哪個(gè)方向拐彎。但是我仍然可以預(yù)測(cè)朋友的一系列不可預(yù)測(cè)行為的最后結(jié)果：我們會(huì)抵達(dá)機(jī)場(chǎng)。即便我朋友的家在這座城市的其他地方，因此他可能會(huì)做一系列完全不同的拐彎，但我仍然可以自信地預(yù)測(cè)我們的目的地。從科學(xué)角度來(lái)將，這難道不是一個(gè)奇怪的場(chǎng)景嗎？我可以預(yù)測(cè)過(guò)程的結(jié)果，卻無(wú)法預(yù)測(cè)這個(gè)過(guò)程中的任何一個(gè)中間步驟?！?/span>

　　脫離了人類環(huán)境，并受到其基于目標(biāo)的編程驅(qū)動(dòng)，機(jī)器在嘗試從A到B的過(guò)程中，可能會(huì)造成相當(dāng)嚴(yán)重的附帶傷害?？膳碌氖?，人工智能也可能在嘗試實(shí)現(xiàn)自己的目標(biāo)時(shí)，利用和濫用預(yù)先存在的強(qiáng)大資源——人類，并且怎么利用和濫用，又是我們無(wú)法預(yù)測(cè)的。

　　讓人工智能對(duì)人類友好

　　用一組預(yù)先確定的道德考量進(jìn)行編程的人工智能或許可以避免某些陷阱，但尤德科夫斯基指出，我們幾乎無(wú)法預(yù)測(cè)人工智能可能遵循的所有路徑。

　　針對(duì)控制問(wèn)題的一個(gè)可能解決方案是向人工智能灌輸兼容人類的道德準(zhǔn)則。根據(jù)這個(gè)思路，如果我們能成功，一臺(tái)強(qiáng)大的機(jī)器或許可以避免造成傷害，或避免以違反我們倫理道德感的方式做它自己的事情。施奈德說(shuō)，但問(wèn)題在于，我們?nèi)绻胍鞍凑盏赖聹?zhǔn)則進(jìn)行編程，那我們就需要一個(gè)良好的道德理論，然而在倫理道德領(lǐng)域，我們有太多太多的分歧”。

　　十分有道理。人類從來(lái)沒(méi)有達(dá)成一個(gè)人人都認(rèn)同的共同道德準(zhǔn)則。但凡對(duì)列車問(wèn)題稍有一點(diǎn)了解的人都會(huì)告訴你，倉(cāng)促之下，道德問(wèn)題會(huì)變得超級(jí)復(fù)雜。通過(guò)向超級(jí)智能傳授人類道德，來(lái)達(dá)到使超級(jí)智能變得安全和可控的目的，這個(gè)想法，可能行不通。

　　方式和方法

　　路易斯維爾大學(xué)計(jì)算機(jī)科學(xué)和工程教授羅曼?揚(yáng)波爾斯基解釋說(shuō)：“如果我們可以預(yù)測(cè)超級(jí)智能的行為，那我們自己就是那個(gè)超級(jí)智能。根據(jù)定義，超級(jí)智能比任何一個(gè)人類都更加聰明，所以它可以想出一些未知的未知解決方案”，去完成我們交代它的任務(wù)，無(wú)論這個(gè)任務(wù)是設(shè)計(jì)一種治療瘧疾的新藥、制定戰(zhàn)場(chǎng)策略還是管理本地電網(wǎng)。盡管如此，揚(yáng)波爾斯基相信，我們或許可以通過(guò)觀察聰明人會(huì)如何設(shè)法統(tǒng)治世界或摧毀世界，來(lái)預(yù)測(cè)超級(jí)智能的惡意行為。

　　他說(shuō)：“比如，蛋白質(zhì)折疊問(wèn)題的解決方案”，即使用氨基酸序列來(lái)確定蛋白質(zhì)的三維形狀，“這個(gè)解決方案可能被用于創(chuàng)建一支生物納米機(jī)器人軍隊(duì)。當(dāng)然，還有很多不那么新奇的辦法可以利用。人工智能可以完成一些股票交易、或打撲克、或?qū)懽?，然后用獲得的收益雇傭人類聽(tīng)它差遣。鑒于最近加密貨幣的流行，這樁買賣可以大規(guī)模地暗中進(jìn)行?！?/span>

　　揚(yáng)波爾斯基說(shuō)，如果有足夠的財(cái)政資源，你可以輕易地從云端獲取計(jì)算資源，并通過(guò)社會(huì)工程來(lái)影響現(xiàn)實(shí)世界，或者，像揚(yáng)波爾斯基說(shuō)的那樣，雇傭一支“人類勞動(dòng)力大軍”。超級(jí)智能或許可以通過(guò)財(cái)富的積累、CPU性能、存儲(chǔ)能力以及影響范圍的提升，逐漸變得更加強(qiáng)大、更有影響力。

　　西班牙馬德里自治大學(xué)的計(jì)算科學(xué)家曼努埃里?阿方索卡解釋說(shuō)，令人恐懼的是，超級(jí)智能可以就如何在我們的指令之外采取行動(dòng)，做出一些判斷。

　　他說(shuō)，超級(jí)人工智能可能“得出結(jié)論，即沒(méi)有人類，這個(gè)世界會(huì)更美好，并消滅我們”。他還補(bǔ)充說(shuō)，有些人引用這一可怕的可能性來(lái)解釋我們?yōu)槭裁吹侥壳盀橹谷詻](méi)有找到外星智慧生命；也許，阿方索卡說(shuō)，“所有外星智慧都已被超級(jí)人工智能所取代，而人類在這些超級(jí)人工智能看來(lái)，不過(guò)是一種低等的生命形式，因此它們無(wú)意與我們交流”。

　　對(duì)于想要故意毀滅人類的超級(jí)智能來(lái)說(shuō)，成功的最簡(jiǎn)單之道就是利用我們的生物弱點(diǎn)。人類在沒(méi)有食物的情況下可以生存大約30天，沒(méi)有水的話只能生存3到4天，但是缺了氧氣，我們連幾分鐘都撐不下去。一臺(tái)足夠智能的機(jī)器很有可能會(huì)發(fā)現(xiàn)一種方法，來(lái)徹底清除我們大氣中的氧氣，也許它可以通過(guò)某種自我復(fù)制的納米技術(shù)群來(lái)實(shí)現(xiàn)這個(gè)操作。未來(lái)主義者對(duì)此有一個(gè)專門的描述，叫做全球生態(tài)吞噬，或可怕的“灰蠱情景”。在這種情景下，大量精心設(shè)計(jì)的分子機(jī)器將尋找特定的資源，然后把它們變成其他東西，包括自身的副本。這種資源不一定是氧氣，只要清除對(duì)人類生存至關(guān)重要的關(guān)鍵資源就行了。

　　非科幻小說(shuō)

　　這一切聽(tīng)起來(lái)都極具科幻色彩，但阿方索卡說(shuō)，帶有猜測(cè)性質(zhì)的虛構(gòu)故事有助于強(qiáng)調(diào)潛在的風(fēng)險(xiǎn)，特指《黑客帝國(guó)》。施奈德也相信虛構(gòu)故事的力量，她提到了反烏托邦短片《屠戮機(jī)器》。在這部短片中，武裝無(wú)人機(jī)襲擊了一間教室。施奈德說(shuō)，人們對(duì)于危險(xiǎn)的人工智能和自主殺人機(jī)器的擔(dān)憂越來(lái)越“接近當(dāng)下”。例如，無(wú)人機(jī)技術(shù)可以利用現(xiàn)有的面部識(shí)別軟件來(lái)瞄準(zhǔn)人類。施奈德說(shuō)：“這是一個(gè)嚴(yán)重的問(wèn)題?！币虼耍J(rèn)為，《屠戮機(jī)器》非常值得一看。

　　麻省理工學(xué)院的機(jī)器學(xué)習(xí)研究員馬克思?泰格馬克在他一本2017年出版的書(shū)中寫道，諸如《終結(jié)者》這類影片雖然呈現(xiàn)了模糊的未來(lái)可能情景，但也“讓人們的關(guān)注點(diǎn)偏離了人工智能帶來(lái)的真正風(fēng)險(xiǎn)和機(jī)遇”。泰格馬克設(shè)想了一個(gè)更微妙、甚至更陰險(xiǎn)的情景。在他的設(shè)想中，機(jī)器通過(guò)狡猾的社會(huì)工程和詭計(jì)以及穩(wěn)定地收集有價(jià)值的資源，來(lái)統(tǒng)治全世界。在他的書(shū)中，泰格馬克提到了“普羅米修斯”。這是一種假設(shè)的通用人工智能（AGI），使用其自適應(yīng)智能和多功能性，從而“以多種方式控制人類”，而那些反抗的人也沒(méi)辦法“簡(jiǎn)單地用關(guān)掉普羅米修斯的方式”來(lái)擺脫控制。

　　就其本身而言，通用機(jī)器智能的出現(xiàn)注定是意義深遠(yuǎn)的，且十分可能成為人類歷史的一個(gè)轉(zhuǎn)折點(diǎn)。一個(gè)通用人工智能“將有能力遞歸地設(shè)計(jì)出更優(yōu)的通用人工智能。最終，物理定律將成為這個(gè)不斷改進(jìn)的通用人工智能的唯一限制。當(dāng)然，物理定律范圍內(nèi)允許的智慧，似乎遠(yuǎn)在人類智慧水平之上，”泰格馬克寫道。換句話說(shuō)，人工智能可以用來(lái)發(fā)明超級(jí)智能。這樣一個(gè)時(shí)代，即我們?nèi)祟惢驅(qū)⒂幸?jiàn)證“智能爆炸”的時(shí)代，將出現(xiàn)一些嚴(yán)重的、我們不希望發(fā)生的后果。

　　泰格馬克寫道：“如果有一群人成功控制了智能爆炸，那么這群人可能會(huì)在幾年內(nèi)統(tǒng)治全球。如果人類無(wú)法控制智能爆炸，那么人工智能自己將會(huì)更快地統(tǒng)治世界。”

　　永遠(yuǎn)的旁觀者

　　另一個(gè)關(guān)鍵漏洞與人類越來(lái)越被排斥在技術(shù)循環(huán)之外的方式有關(guān)。眾所周知，算法如今掌管著大部分的股票交易；也許更臭名昭著的是，算法如今也可以在近距離空戰(zhàn)中擊敗人類的F-16飛行員。越來(lái)越多的人工智能被要求在無(wú)人類干預(yù)的情況下做出重大決策。

　　施奈德?lián)?，“軍?duì)中已經(jīng)存在人工智能軍備競(jìng)賽”，以及“對(duì)人工智能的日益依賴將導(dǎo)致人類的感知和認(rèn)知能力無(wú)法以足夠快的方式應(yīng)對(duì)軍事挑戰(zhàn)”。施奈德說(shuō)，我們會(huì)要求人工智能去為我們完成這些任務(wù)，但我們?nèi)圆恢涝撊绾卫^續(xù)讓人類處于這個(gè)技術(shù)循環(huán)之中。她還解釋說(shuō)，可以想象，面對(duì)軍事攻擊時(shí)，人工智能將最終代表我們?nèi)祟惾?yīng)戰(zhàn)——甚至在我們?nèi)祟愡€未來(lái)得及合成傳入的數(shù)據(jù)之前。

　　人類容易犯錯(cuò)，特別是在戰(zhàn)場(chǎng)上處于壓力之下時(shí)，但人工智能的誤判可能會(huì)帶來(lái)額外的風(fēng)險(xiǎn)。這樣我們不禁想起1983年曾發(fā)生的一次事故。當(dāng)時(shí)，蘇聯(lián)的預(yù)警系統(tǒng)差點(diǎn)引發(fā)一場(chǎng)核戰(zhàn)爭(zhēng)。

　　科幻作家艾薩克?阿西莫夫已然預(yù)見(jiàn)到這一天的到來(lái)。在他的小說(shuō)中，盡管受到機(jī)器人三大定律的約束，但他筆下的機(jī)器人依然遇到了各式各樣的麻煩，哪怕我們?nèi)祟愐呀?jīng)盡了最大的努力。如果我們?cè)噲D去做一些類似的事情的話，相似的問(wèn)題或?qū)⒏‖F(xiàn)。盡管，施奈德表示，想要就指導(dǎo)我們機(jī)器人同胞的道德準(zhǔn)則達(dá)成一致，這本身就很難。

　　但是，我們除了一試別無(wú)選擇?？紤]到這其中的利害關(guān)系，對(duì)落敗一笑置之不是一個(gè)真正的選擇。正如博斯特羅姆所說(shuō)，我們的“智慧必須優(yōu)于我們的技術(shù)”。

　　眼下十分要緊的是一系列潛在的全球?yàn)?zāi)難，這些問(wèn)題甚至出現(xiàn)在超級(jí)人工智能問(wèn)世以先。而我們?nèi)祟愶@然一點(diǎn)也不擅長(zhǎng)應(yīng)對(duì)全球性災(zāi)難，這一點(diǎn)已經(jīng)毋庸置疑。

　　新冠病毒及其棘手的變異體幾乎不具備什么智慧，但這種病毒仍能夠利用我們的弱點(diǎn)——無(wú)論是生物上的弱點(diǎn)還是社交上的弱點(diǎn)——被動(dòng)地運(yùn)作。這種導(dǎo)致了全球疫情的病毒可以適應(yīng)我們的防范措施，不過(guò)只能通過(guò)隨機(jī)突變和選擇的過(guò)程，而這些過(guò)程始終受生物學(xué)的約束。更不祥的是，一個(gè)邪惡的人工智能可以設(shè)計(jì)自己的“低智慧”病毒，并不斷地調(diào)整該病毒以創(chuàng)造更致命的新變異體，來(lái)應(yīng)對(duì)我們的防范措施。

　　在疫情初期，揚(yáng)波爾斯基曾說(shuō)：“這個(gè)病毒智商幾乎為0，卻讓我們焦頭爛額。人工智能安全（部分地）相當(dāng)于計(jì)算機(jī)病毒，但智商卻高達(dá)1000以上。”

　　遺憾的是，正如我們所知，超級(jí)人工智能不缺終結(jié)人類文明的辦法，不是通過(guò)簡(jiǎn)單的蠻力，而是通過(guò)自適應(yīng)的設(shè)計(jì)、強(qiáng)化的形勢(shì)感知和迅捷的計(jì)算反應(yīng)，以更有效的方式來(lái)終結(jié)人類文明。那么，是不是有可能創(chuàng)建一個(gè)安全、有益且有道德的人工智能呢？唯一的選擇或許在于在全球范圍內(nèi)禁止開(kāi)發(fā)近乎超級(jí)智能的人工智能。這雖然不太可能，但確實(shí)十分有必要。

關(guān)注【深圳科普】微信公眾號(hào)，在對(duì)話框：
回復(fù)【最新活動(dòng)】，了解近期科普活動(dòng)
回復(fù)【科普行】，了解最新深圳科普行活動(dòng)
回復(fù)【研學(xué)營(yíng)】，了解最新科普研學(xué)營(yíng)
回復(fù)【科普課堂】，了解最新科普課堂
回復(fù)【科普書(shū)籍】，了解最新科普書(shū)籍
回復(fù)【團(tuán)體定制】，了解最新團(tuán)體定制活動(dòng)
回復(fù)【科普基地】，了解深圳科普基地詳情
回復(fù)【觀鳥(niǎo)知識(shí)】，學(xué)習(xí)觀鳥(niǎo)相關(guān)科普知識(shí)
回復(fù)【博物學(xué)院】，了解更多博物學(xué)院活動(dòng)詳情