版權(quán)歸原作者所有，如有侵權(quán)，請(qǐng)聯(lián)系我們

在俄羅斯和烏克蘭的沖突中，最近爆出的一段視頻引人關(guān)注：烏克蘭無(wú)人機(jī)深入到距離邊境1000多公里的俄羅斯境內(nèi)，摧毀了俄方石油和天然氣基礎(chǔ)設(shè)施。專(zhuān)家分析稱(chēng)，這很可能是人工智能在指揮無(wú)人機(jī)攻擊目標(biāo)。烏方軍事指揮官也表示，烏克蘭“已經(jīng)在沒(méi)有人工干預(yù)的情況下，開(kāi)展完全機(jī)器人化的行動(dòng)”。

也就是說(shuō)，這類(lèi)人工智能武器系統(tǒng)可以在沒(méi)有人類(lèi)干預(yù)的情況下，自主選擇和攻擊目標(biāo)。事實(shí)上，人工智能在戰(zhàn)爭(zhēng)中的應(yīng)用遠(yuǎn)比我們想象中簡(jiǎn)單得多：現(xiàn)有的人工智能和機(jī)器人技術(shù)完全可以提供合適的物理平臺(tái)，這類(lèi)系統(tǒng)找到人類(lèi)目標(biāo)并殺死他們的技術(shù)難度，甚至比開(kāi)發(fā)自動(dòng)駕駛汽車(chē)要容易得多，是研究生就能搞定項(xiàng)目。

因此一些觀察家擔(dān)心，未來(lái)任何派別都可能派遣成群的廉價(jià)人工智能無(wú)人機(jī)，利用面部識(shí)別技術(shù)消滅特定的人。更要命的是，如果我們把殺戮按鈕交給機(jī)器，將徹底改變戰(zhàn)爭(zhēng)的性質(zhì)。也因此，致命性自主武器系統(tǒng)被認(rèn)為是繼火藥和核武器之后的第三次戰(zhàn)爭(zhēng)革命。

4月29日，在維也納舉行的關(guān)于自主武器系統(tǒng)的首次國(guó)際會(huì)議上，奧地利聯(lián)邦歐洲和國(guó)際事務(wù)部長(zhǎng)亞歷山大·沙倫貝格（Alexander Schallenberg）強(qiáng)調(diào)，“我相信，這是我們這代人的奧本海默時(shí)刻。”

撰文 | Ren

戰(zhàn)爭(zhēng)，就像人類(lèi)文明永遠(yuǎn)無(wú)法擺脫的陰影。如今，這場(chǎng)一直由人類(lèi)當(dāng)主角的血腥游戲，正在被人工智能（AI）所接管。

無(wú)論是俄烏沖突，還是以巴以沖突為首的中東地區(qū)戰(zhàn)亂，AI的影子都依稀可見(jiàn)：它（在人類(lèi)的監(jiān)督下）操控著無(wú)人機(jī)、導(dǎo)彈、槍械、地雷等武器，識(shí)別打擊目標(biāo)并發(fā)動(dòng)攻擊。

這是我們第一次深刻地體會(huì)到AI的兩面性，它既能造福人類(lèi)，也能在瞬息之間奪走人類(lèi)的生命。很遺憾，我們來(lái)不及為逝者哀哭，在軍事領(lǐng)域，這種規(guī)模的AI應(yīng)用只是一個(gè)開(kāi)始。

我們即將看到的是，一場(chǎng)AI軍備大賽正緩緩拉開(kāi)大幕，武器將變得越來(lái)越智能和自主，人類(lèi)將慢慢退出它們的決策過(guò)程，直到致命自主武器系統(tǒng)（Lethal Autonomous Weapons systems，LAWs）出現(xiàn)并被部署到戰(zhàn)場(chǎng)上。

我們并未準(zhǔn)備好面對(duì)這一切。當(dāng)有一天AI武器能夠自主出擊，當(dāng)無(wú)數(shù)人的生死僅憑一行代碼就能決定，你是否能接受自己的命運(yùn)被交由冰冷的算法做出判決？

所有人都應(yīng)該明白，讓算法決定一個(gè)人的生死是一個(gè)糟糕透頂?shù)闹饕?。幸運(yùn)的是，我們還有時(shí)間來(lái)阻止這一切變成現(xiàn)實(shí)；不幸的是，時(shí)間不多了。

遠(yuǎn)程操作VS自主決策

按照美國(guó)國(guó)防部的定義，根據(jù)人類(lèi)所發(fā)揮作用的不同，武器的自主級(jí)別可以分為“人在環(huán)中”“人在環(huán)上”“人在環(huán)外”三種：

人在環(huán)中，武器的行動(dòng)完全由人來(lái)決策和控制；

人在環(huán)上，武器激活后可以按照指令自主決策和行動(dòng)，人可以監(jiān)督并按需隨時(shí)介入接管決策權(quán)和控制權(quán)；

人在環(huán)外，武器激活后會(huì)被指定行動(dòng)目標(biāo)，之后完全自主決策和實(shí)施行動(dòng)。

好消息是，就目前已知的情況來(lái)看，還沒(méi)有真正意義上的“（人在環(huán)外的）致命自主武器系統(tǒng)”被投入使用。根據(jù)聯(lián)合國(guó)的說(shuō)法，它們是“在沒(méi)有人類(lèi)監(jiān)督的情況下定位、選擇和攻擊人類(lèi)目標(biāo)的武器”。

這里所討論的不是由人類(lèi)遠(yuǎn)程操控的武器，比如大名鼎鼎的美國(guó)“捕食者”無(wú)人機(jī)，或者烏克蘭前線士兵自制的投彈無(wú)人機(jī)，可以在人類(lèi)的操控下遠(yuǎn)程投擲手榴彈。

隨著人們對(duì)這些武器的認(rèn)知逐漸加深，加上電子干擾技術(shù)的進(jìn)步，它們的打擊效果將變得越來(lái)越弱。因此，一些國(guó)家和企業(yè)將目光投向了無(wú)人機(jī)等自主武器的研發(fā)。

美國(guó)國(guó)防部高級(jí)研究計(jì)劃局（DARPA）曾經(jīng)公布過(guò)兩項(xiàng)計(jì)劃，透露了其自主武器系統(tǒng)的計(jì)劃用途：快速輕量級(jí)自主（FLA）和干擾環(huán)境中的協(xié)同操作（CODE）。前者將對(duì)微型旋翼機(jī)進(jìn)行編程，使其能夠在無(wú)人輔助的情況下在城市地區(qū)和建筑物內(nèi)高速飛行。后者的目標(biāo)是開(kāi)發(fā)自主飛行器小組，在敵方信號(hào)干擾導(dǎo)致無(wú)法與人類(lèi)指揮官通信的情況下，執(zhí)行打擊任務(wù)的所有步驟——發(fā)現(xiàn)、確定、跟蹤、瞄準(zhǔn)、交戰(zhàn)、評(píng)估。

其他國(guó)家也有相關(guān)的武器研發(fā)。自2017年以來(lái)，土耳其一家名為STM的公司一直在銷(xiāo)售Kargu無(wú)人機(jī)，該無(wú)人機(jī)只有餐盤(pán)大小，可攜帶1公斤炸藥。根據(jù)該公司 2019 年的網(wǎng)站描述，該無(wú)人機(jī)能夠“自主且精確”地打擊車(chē)輛和人員，“在圖像上選擇目標(biāo)”并“跟蹤移動(dòng)目標(biāo)”。

以色列的Harpy 無(wú)人機(jī)可以在一個(gè)地區(qū)上空飛行數(shù)小時(shí)，尋找與視覺(jué)或雷達(dá)信號(hào)相匹配的目標(biāo)，然后用爆炸物摧毀它們。美國(guó)海軍和國(guó)防部高級(jí)研究計(jì)劃局也研發(fā)了“海上獵手”號(hào)無(wú)人駕駛軍艦，可以從事反潛跟蹤等任務(wù)。

放眼全球，實(shí)驗(yàn)性的潛艇、坦克和艦船也已經(jīng)制造出來(lái)，全都可以利用AI進(jìn)行自動(dòng)駕駛和射擊。根據(jù)目前披露的信息，這些武器既可以遠(yuǎn)程操控，也可以在激活后自主執(zhí)行任務(wù)。很難分辨人類(lèi)究竟在多大程度上介入了其決策過(guò)程。

AI申請(qǐng)出戰(zhàn)

某種自主武器至少已經(jīng)存在了幾十年，包括熱尋導(dǎo)彈，甚至可追溯到美國(guó)內(nèi)戰(zhàn)時(shí)的壓力觸發(fā)地雷（如果將自主性的定義放寬）。然而現(xiàn)在，AI算法的開(kāi)發(fā)和使用正在擴(kuò)展它們的能力。

事實(shí)上，AI在戰(zhàn)爭(zhēng)中的應(yīng)用遠(yuǎn)比我們想象中簡(jiǎn)單得多。

加州大學(xué)伯克利分校的計(jì)算機(jī)科學(xué)家、反對(duì)AI武器的著名活動(dòng)家斯圖爾特·拉塞爾（Stuart Russell）表示，“系統(tǒng)找到人類(lèi)并殺死他們的技術(shù)能力比開(kāi)發(fā)自動(dòng)駕駛汽車(chē)要容易得多。這是一個(gè)研究生項(xiàng)目?！?/p>

現(xiàn)有的AI和機(jī)器人技術(shù)完全可以提供合適的物理平臺(tái)、感知、電機(jī)控制、導(dǎo)航、地圖、戰(zhàn)術(shù)決策和長(zhǎng)期規(guī)劃。武器制造商要做的就是將它們按需結(jié)合起來(lái)。例如，使用DeepMind 的 DQN 算法學(xué)習(xí)人類(lèi)的戰(zhàn)術(shù)策略，再加上已有的自動(dòng)駕駛技術(shù)，一套自主武器系統(tǒng)完全可以完成城市搜索和摧毀任務(wù)。

我們很難知道AI武器在戰(zhàn)場(chǎng)上的表現(xiàn)如何，很大程度上是因?yàn)檐姺讲惠p易發(fā)布此類(lèi)數(shù)據(jù)。

2023年，英國(guó)戰(zhàn)略司令部副司令湯姆·科平格·賽姆斯（Tom Copinger-Symes）在英國(guó)議會(huì)調(diào)查中，曾被直接問(wèn)及AI武器系統(tǒng)，他表示不方便透露太多信息，只是說(shuō)英國(guó)軍方正在開(kāi)展基準(zhǔn)研究，以比較自主武器系統(tǒng)與非自主系統(tǒng)。

盡管現(xiàn)實(shí)世界的戰(zhàn)場(chǎng)數(shù)據(jù)很少，但研究人員指出，AI具有卓越的處理和決策能力，理論上可以提供巨大優(yōu)勢(shì)。例如，在快速圖像識(shí)別領(lǐng)域，近十年來(lái)算法的表現(xiàn)一直優(yōu)于人類(lèi)。這為它精準(zhǔn)識(shí)別圖像中的打擊目標(biāo)做好了鋪墊。

早在2020 年，AI模型就在一系列模擬空戰(zhàn)中擊敗了經(jīng)驗(yàn)豐富的 F-16 戰(zhàn)斗機(jī)飛行員，這主要?dú)w功于其“咄咄逼人的精確操縱，人類(lèi)飛行員無(wú)法匹敵”。要知道，AI可以在極短時(shí)間內(nèi)，圍繞如何執(zhí)行特定動(dòng)作、與對(duì)手的飛行距離和攻擊角度做出非常復(fù)雜的決定。

今年4月，美國(guó)軍方宣布完成了一次開(kāi)創(chuàng)性試驗(yàn)，讓一架AI控制的F-16戰(zhàn)機(jī)與人類(lèi)駕駛的戰(zhàn)機(jī)完成了真實(shí)的空中格斗。AI操控的飛機(jī)實(shí)現(xiàn)了進(jìn)攻和防御演練，距離人類(lèi)駕駛的戰(zhàn)機(jī)最近只有610多米。

這架經(jīng)過(guò)改裝的F-16戰(zhàn)斗機(jī)，被稱(chēng)為X-62A，由人工智能駕駛。

來(lái)源：資料

這標(biāo)志著美國(guó)軍方在AI控制飛機(jī)自主作戰(zhàn)領(lǐng)域的一次突破。如果這項(xiàng)技術(shù)未來(lái)在戰(zhàn)場(chǎng)上出現(xiàn)，空戰(zhàn)的瞬息萬(wàn)變難以遠(yuǎn)程操控，因此它必然屬于致命自主武器的范疇。

理論上，AI還可以用于戰(zhàn)爭(zhēng)的其他方面，包括制定潛在打擊目標(biāo)清單。此前有媒體報(bào)道稱(chēng)，以色列使用AI創(chuàng)建了一個(gè)包含數(shù)萬(wàn)名可疑武裝分子姓名的數(shù)據(jù)庫(kù)。但以軍方予以否認(rèn)。

管控AI武器，做起來(lái)難

AI的強(qiáng)大讓人們不得不思考如何更好地管控它的使用，無(wú)論是從實(shí)際應(yīng)用層面，還是從道德層面。

人類(lèi)控制和規(guī)范武器使用的努力可以追溯到數(shù)百年前。例如，遵守紀(jì)律的中世紀(jì)騎士同意不用長(zhǎng)矛瞄準(zhǔn)對(duì)方的馬。1675年，法國(guó)和神圣羅馬帝國(guó)同意禁止使用毒彈。

如今，國(guó)際上對(duì)武器的主要限制是通過(guò)《聯(lián)合國(guó)特定常規(guī)武器公約》（CCW），該公約于 1983 年簽署，用于禁止致盲激光武器等。

研究人員多年來(lái)一直致力于控制致命自主武器系統(tǒng)帶來(lái)的新威脅。聯(lián)合國(guó)秘書(shū)長(zhǎng)安東尼奧·古特雷斯去年7月表示，他希望在2026年之前禁止在無(wú)人監(jiān)督的情況下使用武器。

阻止殺手機(jī)器人運(yùn)動(dòng)。來(lái)源：網(wǎng)絡(luò)

2023年12月，聯(lián)合國(guó)通過(guò)了一項(xiàng)關(guān)鍵決議，將AI武器的問(wèn)題納入了2024年9月聯(lián)合國(guó)大會(huì)議程中。

專(zhuān)家表示，此舉為各國(guó)對(duì)AI武器采取行動(dòng)提供了首個(gè)現(xiàn)實(shí)途徑。但這說(shuō)起來(lái)容易，做起來(lái)難。

一些人認(rèn)為，AI輔助武器可能比人類(lèi)制導(dǎo)武器更準(zhǔn)確，有可能減少所謂的附帶損害（Collateral damage），例如平民傷亡和住宅區(qū)破壞，以及士兵死亡和致殘的數(shù)量，同時(shí)幫助弱小的國(guó)家和群體保護(hù)自己。

但這種想法的漏洞在于敵對(duì)國(guó)家也會(huì)擁有此類(lèi)武器，而且軍事實(shí)力更強(qiáng)的國(guó)家很可能擁有更強(qiáng)大的自主武器，它們只會(huì)造成更大的傷害，而非更少。

至于依靠自主武器來(lái)減少附帶損害，這要建立在兩個(gè)前提的基礎(chǔ)上，而這兩個(gè)前提很難實(shí)現(xiàn)。

一是，AI不會(huì)犯錯(cuò)，或者說(shuō)AI比人類(lèi)犯錯(cuò)概率更低。但現(xiàn)在沒(méi)人能打包票說(shuō)AI就不會(huì)犯下跟人類(lèi)一樣的錯(cuò)誤，比如將平民識(shí)別成打擊目標(biāo)。

二是，自主武器的使用場(chǎng)景與人類(lèi)控制的武器（例如步槍、坦克和“捕食者”無(wú)人機(jī)）基本相同。這也未必站得住腳，因?yàn)橐坏┬挛淦鞒霈F(xiàn)，作戰(zhàn)方法和打擊目標(biāo)也會(huì)隨之變化，其使用場(chǎng)景難以預(yù)測(cè)，也無(wú)法控制。

因此，大多數(shù)AI專(zhuān)家認(rèn)為，在自主武器的道路上猛踩油門(mén)可能會(huì)犯下災(zāi)難性錯(cuò)誤。讓AI自主選擇打擊目標(biāo)并做出決策，許多人對(duì)該行為背后的道德問(wèn)題深感擔(dān)憂。

2007年，英國(guó)軍方曾被迫匆忙重新設(shè)計(jì)了用于阿富汗的自主硫磺導(dǎo)彈，因?yàn)閾?dān)心它可能會(huì)將一輛載著兒童的巴士誤認(rèn)為是一卡車(chē)叛亂分子。

這是因?yàn)殡m然AI擅長(zhǎng)識(shí)別圖像，但它并不是萬(wàn)無(wú)一失的。我們都聽(tīng)說(shuō)過(guò)圖像識(shí)別的荒謬錯(cuò)誤，比如把貓和狗搞混，但在戰(zhàn)爭(zhēng)中，把兒童和恐怖分子搞混就會(huì)導(dǎo)致災(zāi)難性的后果。

此外，AI系統(tǒng)可能會(huì)被黑客攻擊，做出違背指令的行動(dòng)，或者出現(xiàn)誤判等意外事件，導(dǎo)致沖突升級(jí)或降低戰(zhàn)爭(zhēng)門(mén)檻。

研究人員和軍方普遍提出的一項(xiàng)原則是，自主武器必須考慮 “人在環(huán)”。但人應(yīng)該或必須在哪里以及如何介入仍有爭(zhēng)議：人是否應(yīng)當(dāng)在授權(quán)打擊之前目視驗(yàn)證目標(biāo)？是否必須能夠在戰(zhàn)場(chǎng)條件發(fā)生變化（例如平民進(jìn)入戰(zhàn)區(qū)）時(shí)取消打擊？

同時(shí)，AI自主武器也讓問(wèn)責(zé)機(jī)制變得復(fù)雜而混亂。一旦出現(xiàn)問(wèn)題，承擔(dān)責(zé)任的顯然不是武器本身，那是授權(quán)打擊的人？還是武器制造商？抑或是AI系統(tǒng)的開(kāi)發(fā)者？

鑒于AI自主武器的復(fù)雜性和破壞力，許多人（很可能是地球上的絕大多數(shù)人）認(rèn)為最好的解決方案就是禁止致命的自主武器。但所有這些問(wèn)題都要在國(guó)際層面（聯(lián)合國(guó)）認(rèn)可、討論、爭(zhēng)吵、談判和妥協(xié)。如此有爭(zhēng)議的話題和龐大的工作量，決定了我們還要花上數(shù)年的時(shí)間才能邁出實(shí)質(zhì)性的第一步。

但民間組織可以現(xiàn)在行動(dòng)，AI和機(jī)器人領(lǐng)域的專(zhuān)業(yè)協(xié)會(huì)應(yīng)制定并執(zhí)行禁止致命自主武器工作的行為準(zhǔn)則。在這方面有很多先例，例如美國(guó)化學(xué)會(huì)制定了嚴(yán)格的化學(xué)武器政策，美國(guó)物理學(xué)會(huì)要求美國(guó)批準(zhǔn)《全面禁止核試驗(yàn)條約》，反對(duì)對(duì)無(wú)核國(guó)家使用核武器，以促進(jìn)和平與安全。

總而言之，AI驅(qū)動(dòng)的自主武器注定會(huì)出現(xiàn)，無(wú)論致命與否，它都將重塑未來(lái)戰(zhàn)爭(zhēng)的形態(tài)。

人類(lèi)不應(yīng)讓這項(xiàng)“利器”失控，必須正視它帶來(lái)的風(fēng)險(xiǎn)和挑戰(zhàn)，抓緊一切時(shí)間和機(jī)會(huì)，確保我們能夠及時(shí)地控制住它的發(fā)展。只有如此，它才不會(huì)從“終結(jié)者”變?yōu)椤叭祟?lèi)終結(jié)者”。

參考資料：

[1] https://www.nature.com/articles/d41586-024-01029-0

[2] https://www.nature.com/articles/d41586-023-00511-5

[3] https://www.nature.com/articles/521415a

[4] https://san.com/cc/experts-warn-world-is-running-out-of-time-to-regulate-ai-in-warfare/

本文受科普中國(guó)·星空計(jì)劃項(xiàng)目扶持

出品：中國(guó)科協(xié)科普部

監(jiān)制：中國(guó)科學(xué)技術(shù)出版社有限公司、北京中科星河文化傳媒有限公司

特 別 提 示

1. 進(jìn)入『返樸』微信公眾號(hào)底部菜單“精品專(zhuān)欄“，可查閱不同主題系列科普文章。

2. 『返樸』提供按月檢索文章功能。關(guān)注公眾號(hào)，回復(fù)四位數(shù)組成的年份+月份，如“1903”，可獲取2019年3月的文章索引，以此類(lèi)推。

版權(quán)說(shuō)明：歡迎個(gè)人轉(zhuǎn)發(fā)，任何形式的媒體或機(jī)構(gòu)未經(jīng)授權(quán)，不得轉(zhuǎn)載和摘編。轉(zhuǎn)載授權(quán)請(qǐng)?jiān)凇阜禈恪刮⑿殴娞?hào)內(nèi)聯(lián)系后臺(tái)。

歡迎掃碼關(guān)注深i科普！

我們將定期推出

公益、免費(fèi)、優(yōu)惠的科普活動(dòng)和科普好物！