優秀徵文選登

上海市法學會積極服務國家ai戰略大局，推動人類科技向善發展，根據2020世界人工智慧大會組委會的安排，“2020世界人工智慧大會法治論壇”由上海市法學會主承辦，初定於7月10日在滬召開。

本著將“世界人工智慧大會法治論壇”打造成匯聚全球智慧、推動人工智慧未來法治體系建設策源地的美好願景，2019年11月15日起，上海市法學會、中國知網、《上海法學研究》《東方法學》面向全球徵文。截至2020年4月20日，共計收到原創性、學術性和思想性兼具的法學研究成果作品150餘篇。

上海市法學會微信公眾號將選登30篇作品，開展網上評選。徵文活動結合網路投票，透過專家評選，遴選出一等獎、二等獎、三等獎以及優秀獎共30篇，另設一名“網路人氣獎”作品。上海市法學會微信公眾號上將對選登作品進行為期一週的網路投票，投票結果將作為評選重要參考。單篇文章閱讀量加上網路投票數值最高的作品將獲得“網路人氣獎”！

《上海法學研究》集刊將專卷出版“2020世界人工智慧大會法治論壇文集”，特別優秀的論文可推薦《東方法學》發表。上海市法學會將邀請部分獲獎作者到滬參加2020世界人工智慧大會法治論壇有關活動。

歡迎大家踴躍投票、點贊，為喜歡的作品加油助威！

林澤宇 外交學院國際法系

內容摘要

人工智慧武器是新興技術在武器系統中的運用。對於機器或人工智慧掌握人類的生殺予奪，眾多團體或個人對這一新事物的合法性產生懷疑和憂慮。然而，目前對其範圍尚未公認界定，甚至在定義方法上也有爭議。本文基於對人工智慧武器可以自主選擇和攻擊目標的寬泛界定，認為當下的國際法規則（主要是國際人道法規則）並未否認人工智慧武器自身的合法性。在此基礎上，討論了國際法規則對人工智慧武器提出的要求其遵守此類規則的可能性。而對於人工智慧武器造成的損害，由於人工智慧或武器系統並不具體法律人格的地位，因此其責任最終應由個人和國家承擔。

關鍵詞：人工智慧武器 國際人道法 歸責

幾乎所有的重大科技進步首先會被設想運用在軍事領域，因此，當人工智慧技術不斷髮展併成熟，各國都對這一技術在軍事領域的應用給予了極大的關注，並催生了人工智慧武器（artificial intelligence weapons，下稱“ai武器”）這一概念的產生，其特點在於可以高度自主地攻擊。

而相應地，對ai武器的合法性的擔憂也逐漸積聚。為探討ai武器的合法性，國際紅十字委員會（icrc）進行了三次專家組會議，聯合國在《特定常規武器公約》（ccw）框架內也進行了三次非正式專家會議以及三次政府間專家會議。但是，由於各國的意見分歧較大，這些國際會議除了對各國ai武器發展中應當遵守的原則等問題達成一些共識外，對於ai武器的合法性、規制措施、ai武器產生損害後的責任歸屬等問題並沒有達成一致意見。因此，在國際法層面，並沒有特別的國際法規則對ai武器加以調整。

長遠地看，由於主要軍事大國（包括美、中、俄）對ai武器表現出極大的興趣並投入大量資源進行研發，人工智慧運用於武器已不可避免。因此，在國際法層面，有意義的工作是考慮現有規則對ai武器的適用與缺漏，尤其是戰爭法對ai武器的適用以及ai武器造成損害的歸責問題。

一、ai武器的概念與範圍

在2017年ccw專家會議上，一些代表認為，現在開始研究定義是為時過早或無益的。然而，如果不對這類武器系統的定義作初步澄清，法律層面的討論就缺乏明確的方向。因此，ai武器是否是一種新事物（如果答案是否定的，那麼沿用既有的討論結果即可）並框定其範圍是討論國際法對ai武器能否規制、如何規制的先決問題，這也是目下的共識。然而，對ai武器的定義尚未達成一致，進行定義的方法可類分為如下幾種：

（一）特徵式定義

特徵式定義的思考方式是透過提取ai武器的幾種離散的特徵以進行界定。如美國國防部第3000。09號指令性檔案中將ai武器定義為“啟用後可以選擇和攻擊目標而不需要操作員的進一步干預的一種武器系統”，即其特徵包括：第一，是一種武器系統；第二，能夠選擇和攻擊目標；第三，無人類干預。這一定義也是被廣泛接受的一種。

但這種離散化的定義其實迴避了對ai武器核心特徵的界定，即“自主”（autonomous）和“自動”（automatic）的區別問題，因此將一些已經被各國軍隊廣泛應用的自動武器如車輛主動防護武器或密集陣等也納入了ai武器的範圍。現有觀點對自主和自動之間的區分可以歸納為兩點。一是從系統的執行過程著眼，即自主系統可以不經人類干預而進行選擇，而自動系統必須由人類為其選擇目標，然而如果編寫的程式預先設定了數個具體的攻擊目標（譬如由無人機攻擊幾座已知座標的建築物），那麼系統選擇攻擊其中一個目標的過程是否也是上文所說的“選擇”過程，因此這一模糊之處表明，以是否能夠自主選擇目標區分自主與自動並沒有表明兩者之間的實質區別。二是從系統的執行環境著眼，2013年聯合國特別報告員christof heyns在其所做的關於自主機器人殺手導致的對保護生命的挑戰問題的報告（海恩斯報告）中認為，自動系統只能在一個結構化和可預測的環境中執行而自主系統可以在開放、非結構化和動態環境下工作。前者如家用電器，系統執行的環境是固定，相反，後者的執行環境則沒有預先的設定。但是，自動化系統也可以在開放和非結構化的環境下執行，如車輛自主防護系統會隨著車輛的移動而變換執行環境，理想的結構化和可預測的環境在現實中是少見的。因此，筆者認為，從其執行結果著眼對二者進行區分更合適，即自動化系統只能按照人類預先編寫的程式指令碼執行，並完成預定的步驟，其執行結果也是可以預見的，譬如完成對某個具體目標的攻擊；而自主系統可以根據環境變化做出調整，而其執行的結果也並不完全在設計者的預想之內，譬如對任何其遇到的配備敵軍標識的物件進行攻擊。當下對自主武器的一大擔憂就在於其攻擊目標可能並非人類本意，因而會導致平民傷亡或衝突升級，這種區分也同該擔憂相符合。

（二）分級式定義

分級式定義將ai武器看作是一個具有層次性的概念，認為其與“自動系統”的區別並不是顯著的。如icrc即認為自主武器和自動武器之間的差別僅在於自主性的程度差別。這種分級式的定義多被軍事機構與軍事科研所所偏好。美國國防部關於ai武器的描述中也在自動系統和自主系統之間設立了“半自主系統”的概念，一定程度上借鑑了分級式定義的方法。將不具有任何自主性的武器與理想中的人工智慧的自主程度進行分級，如何界定ai武器的範圍就變成了純粹的政策選擇問題。其中，較為激進的觀點甚至認為從能夠探測重量並據此決定是否引爆的地雷到具備人工智慧的武器系統都屬於自主武器。

分級式定義雖然迴避了自主與自動的區分問題，但法律層面的談論無法迴避ai武器的特殊性，因此最終還是要回到“自主”概念的核心特徵上來，否則，單純的對ai武器的這種分級式刻畫是沒有意義的。

（三）“環”式定義

“環”式定義融合了軍事理論中的boyd迴圈（boyd loop）。boyd迴圈將軍事行動看做是觀察（observe）、定向（orient）、決策（decide）、行動（act）的迴圈程式，（“ooda”）人在這一迴圈中扮演不同的角色決定了武器的性質。“人在環中”（human-in-the-loop）是指武器只有在人的命令下才能進行攻擊（如mq-1捕食者無人機），“人在環上”（human-on-the-loop）是指在人的監督下武器可以自行選擇目標和攻擊而人能介入其中（如密集陣），而“人在環外”（human-out-of-the-loop）是指武器能夠選擇目標並在沒有任何人工輸入或互動作用的情況下進行攻擊。此時，ai武器被界定為人在環外或人在環上而監督極為有限的武器系統。對這種定義的批評在於其區分過於簡單，隨著武器發展得越來越複雜和精密，在武器系統的執行過程中可能會有著眾多獨立的部分，而人類可能在某些部分（如觀察）完全不介入，而在其他部分（如決策）有著較高程度的控制甚至完全控制，因此這種方式並不一定可以準確評估系統的自主能力。

總結各種定義方式，可以發現，無論何種定義都不能迴避對自主程度和人機關係的描述。各方因其立場所希望加於ai武器的法律約束或嚴或松，因而在這兩個方面的要求或寬或狹，由此而成為爭議的主要原因。事實上，在目前筆者所見到的討論中，一方面，特徵式定義（類於dodd 3000。09）被較多采納，而以剩餘兩種作為輔助，另一方面，各國對ai武器的發展與應用都還處在探索階段，新興技術與傳統武器的結合還沒有定型，因此，對ai武器不適宜作過分嚴格的定義，以防某些國家可能進行惡意的規避，研發一些雖不符合定義但實質上是ai武器的武器。一個較寬泛的界定更適合國際社會在ai武器發展初期進行監管與調控。基於此，本文暫時採納dodd 3000。09的定義。

二、ai武器對戰爭法規的影響

ai武器的主要用途在軍事領域，因而對國際法的主要挑戰也集中在戰爭法方面。戰爭法規包括了“訴諸戰爭的法”（jus ad bellum）和“戰爭中的法”（jus in bello），前者關於戰爭或武裝衝突的正義性或合法性問題，而後者涉及對敵對行動的管制。

（一）訴諸戰爭的法——ai武器更容易導致戰爭嗎

反對ai武器的觀點認為，ai武器會影響政治決策，因為ai武器不需要有真正的人類投入戰場，這種人力成本的優勢使得國家在國際關係中更易於選擇武力。並且，ai武器使得武裝衝突中鮮少有實際人命的損失，社會公眾可能也不會反對政府使用武力。

然而，這些論述並不能推斷出ai武器的非法性。訴諸戰爭的法只討論武力使用是否合法的問題和戰爭的開始、結束及其法律後果。《聯合國憲章》確認了自二十世紀初形成的在法律上不再能把戰爭作為法律救濟方法而訴諸戰爭的觀念，要求會員國避免以武力進行威脅或使用武力，因此現代國家的訴諸戰爭權已經受到極大限制。儘管如此，自衛和得到安理會授權的武力使用仍被認為是合法的行為。所以，作戰武器的選擇和使用問題與戰爭的合法性問題是分離的，武器的優勢或人命的儲存與戰爭合法性並不掛鉤。事實上，如今許多武器都可進行跨境攻擊，其帶來的優勢和對戰爭形態的影響並不亞於ai武器，但這些武器的發展並沒有顯著地使國家更易於選擇戰爭。

質言之，無論國家擁有何種武器，決定戰爭與和平的都是“人”。訴諸戰爭的法也只能在人的決策層面進行調整，而不涉及武器審查和作戰方法。所以，ai武器易於導致戰爭屬於國際軍備控制的問題，如一些學者指出，是屬於法律之外的。甚至，即使不涉及擁核國家之間的對立，二戰之後，人類戰鬥員直接對抗銳減，但戰爭的爆發仍呈現逐漸減少的趨勢，因此，ai武器使戰爭更可能的觀點的錯誤性可見一斑。

（二）戰爭中的法——ai武器能遵守國際法嗎

如果說訴諸戰爭的法涉及開戰正義的話，戰爭中的法則涉及交戰正義，包括對戰爭手段和方法的限制和對戰俘、傷病員和平民的保護。前者涉及ai武器本身是否一種合法武器的問題，後者涉及ai武器在使用過程中應當遵守的規則的問題。而在這兩者之間，國家在研發和決定使用新武器時，尚有審查其合法性的義務。因此，下文從這三個方面進行討論。

1.馬爾頓條款——ai武器是否是一種合法武器

馬爾頓條款（martens clause）於1899年第一次海牙和平會議期間由俄羅斯代表friedrich martens提出，並被反映在嗣後歷次制定的戰爭法條約中。納入這一條款的目的在防止部分國家主張凡是國際人道法未加禁止的行為即是可為的。

馬爾頓條款的一個反映即是《日內瓦公約第一附加議定書》第1條第2款，該條規定，“在本議定書或其它國際協議所未包括的情形下，平民和戰鬥員仍受來源於既定習慣、人道原則和公眾良心要求的國際法原則的保護和支配”。可以看到，因為承認了既定習慣（established custom）、人道原則（principles of humanity）和公眾良心（public conscience）對國家交戰行為的約束效力，使得國際人道法原則的範圍遠大於制定法的範圍。

在2019年ccw的專家會議上，各國代表僅僅原則性地承認了ai武器的發展必須符合馬爾頓條款，而正如這一條款的措辭本身一樣，缺乏更為細緻的解釋。ai武器的反對者同樣援引馬爾頓條款，但也缺乏論證。在國際法院的實踐中，只是原則性地承認了馬爾頓條款是解決科技迅速發展給國際人道法帶來挑戰的有效途徑，並沒有對其內涵作過多的釋明。“核武器合法性”案中，澳大利亞在以馬爾頓條款證明核武器的非法性時稱，“人道”和“公眾良心的要求”的概念都不是靜態的，本世紀初可能被國際社會認為可以接受的行為，今天可能被國際社會譴責為不人道。潛臺詞即是不能被國際社會接受的行為就是不符合人道原則和公眾良心要求的行為。另一部分學者持更開放的態度，認為判斷馬爾頓條款的關鍵部分是檢查公眾的支援和反對態度。

到目前為止，尚未有國家或國際上的權威機構對公眾對於ai武器的態度進行過全面的調查。部分學者在其研究過程中做過小範圍的調研，而這幾次調研均反映，對ai武器持反對觀點的佔據多數。但其樣本總量較小，難以形成有力證據。相對而言，由未來生活研究所（future of life institute）發起的《致命自主武器宣言》更有代表性，簽署宣言者承諾，出於道德原因，不會參與也不會支援致命ai武器的研發。迄今，已有超過3000名ai科技人員和200餘科研機構和社會組織簽字。聯合國秘書長古特雷斯，以及28個國家，都明確表明，出於道德厭惡感，應當禁止致命性ai武器。

然而，正如核武器合法性所遇到的窘境一樣，即使有如此多的反對聲音出現，能否判定ai武器違反人道原則與公眾良心呢？“允許機器擁有凌駕於人類之上的生與死的力量，是在貶低生命的價值，”這一判斷可能恰當地反映了公眾反對ai武器的道德原因。但是，馬爾頓條款的初衷不是為了將國際人道法與道德情感要求等同起來，而是避免條約規定力有不逮，因此，符合人道與公眾良心要求的規則應當是那些業已成為國際人道法規則但尚未被條約所表達出來的規則，而不是廣泛的道德要求。否則，就是對國際人道法的誤解（即認為國際人道法應以具有人道關懷的模樣出現），因為戰爭和武裝衝突（在排除了政治色彩以後）一定是反人道的。即使核武器在大眾的印象中總是與痛苦和恐懼相關聯，但國際法院僅僅判定，如果核武器的使用造成了不分皂白的攻擊和不必要的痛苦，則其使用是非法的，但國際法院對核武器本身的合法性並沒有做出裁判。國際法院的迴避態度也佐證了雖然馬爾頓條款意義重大，但其實際效果可能並非如此顯著。相較於1899年，在國際人道法規則充分而全面的今天，僅僅訴諸馬爾頓條款不能否認一種ai武器的合法性。

2.第一附加議定書第36條——使用ai武器前的義務

1977年《第一附加議定書》第36條要求，在研究、發展、取得或採用新的武器時，締約一方有義務確認，在某些或所有情況下，該新武器是否為國際法規則所禁止。由於ccw採用的是列舉式方法規定禁止的武器，因此，這一條填補了漏洞，重審了衝突方選擇的作戰方法和手段不是無限制的。

然而，出於國家安全和技術保密，這一條所要求的“確認”是內部自省而非外部檢查。因此無論國家的結論是某種新武器合法還是非法，都沒有將其調查結果公之於眾的義務。所以這一條難以說課以國傢什麼真正的義務，而僅是在武器造成違反國際人道法的後果時，如果沒有進行這種檢查，將使得國家對其承擔責任。所以，雖然有國家希望建立額外的機制進行監管和控制，但在ai武器技術方面掌握優勢的國家堅決反對。

就義務內容而言，主要是檢查是否屬於會造成不必要痛苦的武器。如上所述，除了“機器人能決定生死”帶來的道德厭惡感外，並沒有證據證明ai武器會帶來不必要的痛苦。相對於達姆彈、鐳射致盲武器等ccw禁止的武器而言，ai武器更多的是新的驅動技術與既有武器的結合，而不是一種新的殺傷手段，僅僅是“自主”的特徵並不會使ai武器造成不必要痛苦，相反，“機器人”不會恐懼，不會仇恨，反而相較於人類戰鬥員更能做到令行禁止，客觀上能保護戰鬥員免受鮮為或非為軍事目的而造成的傷害和痛苦，促使國際人道法的規則得到遵守。

3.國際人道法基本原則——使用ai武器時必須予以遵守的原則

國際人道法對保護戰俘、傷病員和平民的規定紛繁複雜，但貫穿其中的兩個維度就是軍事需要和人道保護，這兩者之間的平衡產生了國際人道法的各項基本原則，如區分原則、比例原則等。其中，國際社會和國際人道法學者主要關心的就是ai武器能否遵守區分原則和比例原則。

（1）區分原則

區分原則（principle of distinction）指武裝衝突期間，衝突各方必須區分戰鬥員與非戰鬥員、武裝部隊與平民以及軍事目標與非軍事目標。

第一，對人的區分

海牙公約體系下要去戰鬥員佩戴有可從遠處識別的標誌且公開攜帶武器，形式上看，只要訓練資料足夠且可靠，ai武器利用卷積神經網路等技術或許不難實現對戰鬥員與非戰鬥員的區分。然而，造成困惑的是，目前的國際人道法並不要求戰鬥員佩戴可識別標誌或攜帶武器，而只要求其從屬於一個為其部下的行為向該方負責的司令部統率下的有組織的武裝部隊，而一個人隸屬於某組織很難透過外部特徵如服飾等判斷出來。而介於戰鬥員和平民之間的一箇中間概念是直接參加敵對行動的平民，這類平民在其參加敵對行動時外，享受平民待遇。如何判斷直接參與敵對行動的身份仍是有爭議的：icrc認為只有持續地作為某組織的戰鬥員的才是合法的攻擊目標，而反對觀點認為組織的一切人員，無論其作用如何，都可以被攻擊。在非國際性武裝衝突中，這種矛盾更加顯著，因為非國際性武裝衝突中（如內戰）常常表現為政府武裝和非政府武裝之間的衝突，後者的重要支援常常是這類直接參加敵對行動的平民，然而，一個平民在衣服中藏匿生活物資和藏匿炸藥從外觀和行跡上是很難區別的，對於人類戰鬥員是如此，對於ai武器則更加困難。區分物件身份是保證ai武器遵守區分原則的第一個困難。

ai武器面臨的另一個困難是如何區分戰鬥員和失去戰鬥力的人（hors de combat）。明示投降意圖和因傷病喪失知覺的人都屬於失去戰鬥力的人，不再能作為合法的攻擊目標。“明示投降意圖”的情況中，一個簡便的解決途徑是統一表示投降意圖的方式。但這畢竟只是理想情況，複雜的戰爭環境使得戰鬥員意欲投降而無法做出相應的表示，這需要ai武器能夠理解人的意圖和情緒，卻也是目前的技術難點。而因傷病喪失知覺的人和一個匍匐著的戰鬥員在外觀上幾乎難以區分，這需要聯絡當時的環境和各種因素加以確定，因此，ai武器需要具有理解環境狀況的能力。

上述的區分對於人類來說或許可以較為容易，但對於機器則並非如此。事實上，如何區分合法的攻擊目標和非法的攻擊目標在國際人道法上尚未被全面的概括出來。而即使是總結出一些特徵後，僅憑這些特徵判斷目標是否可以攻擊也是與國際人道法的精神相悖的。所以，上述兩個困難的根源除了目前技術水平不足外，更主要的是國際人道法規則固有的複雜性與模糊性，而後者的解決不僅需要法律研究的進步，還有賴於國家對某些條文或原則的內涵及其理解達成共識，因此需要更久的時間。所以，在面對複雜環境或以人作為攻擊目標時，在符合區分原則的ai武器中，人類判斷幾乎是必不可少的，否則將可能構成非法。

第二，對物的區分

對物的區分即區分民用物體和軍事目標。一方面，軍事目標一般有顯著的標誌或特徵，如迷彩外觀、部隊旗幟等，另一方面，軍事目標的標註常常屬於軍事情報的範圍，只要處理好這兩方面的資訊，機器識別軍事目標和民用物體並不困難。例外情況是民用物體向軍事目標的轉化。物體對於人來說具有一定的從屬性，戰鬥員躲避在居民房中則居民房也會成為軍事目標，那麼攻擊不成問題。因此，對物的區分並不會像對人的區分一樣給ai武器帶來過多困難。

上述討論表明，透過程式和編碼，可以使ai武器遵循區分原則。但是即便如此，也不代表ai武器的使用是無限制的。一方面，多數ai武器採用機器學習技術，而機器學習的過程中，資料具有重要意義。因此ai武器應用的場景與方式也應當與其訓練資料相匹配。譬如，如果以白天的沙漠場景影象資料訓練ai武器，就不應當將ai武器應用於黑夜森林場景中。否則，ai武器將不能準確地識別目標，也就不符合區分原則的要求了。另一方面，目前ai武器的自主性仍極不成熟，隨著環境狀況變化會有較大波動，因此，人類在其執行過程中的監督不可缺少。與ai武器配套的操作人員應該瞭解ai武器使用的場景、物件、限制等關鍵問題。鑑於目前ai武器自主能力的不可靠性，針對人類目標或進攻性攻擊時，“迴圈”（loop）中最重要的“行動”部分應當交由人類決定。目前，國際社會達成的共識是ai武器執行過程中“人的判斷必不可少”，dodd 3000。09也要求針對人的攻擊應當是人類監督的（human-supervised）。

此外，由於國際社會對ai武器變成類似科幻場景中的殺人機器人的擔憂，國際社會對ai武器的提出的一個要求即是ai武器的可預測性（predictability）和可靠性（reliability），這對ai武器採用的演算法可能也有相應的限制，監督學習（supervised learning）相較於無監督學習（unsupervised learning）和強化學習（reinforcement learning）可能更為適當。前者在訓練時由人類為機器指明攻擊某個目標是否違法，而後兩者則需要機器在訓練中自行發現判斷目標是否可攻擊的規律，但機器歸納出的“規律”可能與國際人道法的規則不符，因此難以滿足可預測性和可靠性的要求。

（2）比例原則

比例原則（principle of proportionality）指在對軍事目標進行攻擊時應最大限度地減少對平民和民用物體造成的附帶損害，對平民和民用物體造成的附帶損害不應超過在軍事行動中所要達到的預期的、具體的、直接的軍事利益。

比例原則是一項模糊的規則，也是國際人道法中最複雜的原則。一個無辜的人的生命和一項軍事利益之間難以輕易比較。而正如在國內法中的基本原理一樣，人的生命也不可以在數量上進行比較。所以，不同於區分原則，“合乎比例”完全是一項定性的判斷，它能否透過定量分析達到可接受的結果殊值懷疑。

這一點也可以從比例原則的標準看出。對於合乎比例，並沒有形成統一的判斷標準，前南刑庭（icty）採用了“理性指揮官標準”，這一標準也被相當數量的國家的軍事手冊所採用，即一個訊息相當靈通的人，合理地利用其所掌握的資料，是否可能預期這次攻擊會造成過多的平民傷亡。不難發現，這種標準其實並沒有給予攻擊前的任何指導，而只是一種事後確定責任的規則。一個難以被量化的原則對ai武器遵循國際人道法來說是一個挑戰，而如果這一原則在技術上不可行，並不是放棄這些原則的充分理由，而只能推斷出使用ai武器非法。

而從“理性指揮官標準”中，我們也能發現另一個對ai武器的質疑，即“理性指揮官標準”是否意味著只有人有資格來做這種判斷呢？在ai武器技術上具有優勢的國家或許會反對這種觀點：美國軍方建議考慮武器系統的性質和破壞性影響、目標附近建築物的組成和耐久性、基於歷史資料推斷其為民用的可能性來評估附帶損害。顯然，這是為了方便計算機程式處理，然而，考慮這些方面得到的只是武器造成的破壞是否會傷及平民及民用物體，例如一次轟炸是否會傷及居民區，但比例原則的內涵不止於此，還包括損害較小的平民利益而獲取較大的軍事利益，譬如破壞軍民兩用的發電廠和水廠。

這種“兩利相權取其重”的比例原則對ai武器還有更大的挑戰。軍事利益的評估是動態的，不適合進行精確的數學計算，而往往是和武裝衝突的全域性狀況相關的。攻擊一個軍民兩用的發電廠能帶來一定的軍事利益，但如果得到敵方已經完全退出該區域的情報後，該攻擊則不會帶來任何軍事利益。這只是一個簡單的情形，真實戰爭的情況則會更復雜。這意味著能遵循比例原則的ai武器不僅要有評估其所處環境的能力，還需要有理解和評估武裝衝突全面形勢的能力。因此，非軍方機構與個人更傾向認為武力的種類和程度不能預先決定，必須根據有關情況加以決定。

綜上，儘管“理性指揮官標準”在語義上並不意味著必須有人做判斷，但是由於比例原則的模糊性，ai武器缺乏能符合比例原則要求的、對沖突區域性或全域性進行評估與理解的能力。因此，人類指揮官的判斷必不可少，並且能夠隨時中止ai武器的執行，這種要求阻止了ai武器廣泛應用的可能性，可以說，也是質疑ai武器合法性的最有力的論據。而ai武器缺乏動態和全面理解戰場情勢能力的缺陷也給ai武器的應用提出了另外一個要求，即ai武器只能限制在簡單的環境和任務中使用，所以，ai武器只能是一種“戰術性”的武器，而不能是一種“戰略性”的武器。

至於國際人道法的其他規則，如對戰俘的保護等，由於ai武器的行動不會受到情緒和感情的影響，反而有比人類戰鬥員更好地遵守國際人道法的可能性。

三、ai武器的責任問題

當法律規則要求人們作出一定的行為或抑制一定的行為時，違法者因其行為應受到懲罰就是責任。沒有責任，意味著違法者受不到制裁，規則也就流於具文，因此條約和習慣國際法都要求各國對嚴重違反國際人道法的行為負責。而《羅馬規約》也將嚴重違反國際人道法的行為定義為戰爭罪。國際法上的責任承擔模式包括了個人責任和國家責任。雖然有人認為應當賦予機器人法律主體地位，但國際社會的共識仍然是由個人和國家承擔最終的法律責任。

（一）個人責任

國際社會對ai武器違反國際法導致的個人責任的態度前後發生了變化。2017年ccw第一次政府間專家會議上，最終結論是“在武裝衝突中部署任何武器系統的責任仍然由各國承擔”，並沒有討論個人責任的問題。在2018年的會議上，則認為責任不能轉移給機器承擔，要求保留決定使用武器系統的人的責任而在2019年的報告中，要求國家、武裝衝突各方和個人始終有責任遵守國際人道法，各國還必須確保使用ai武器方面的個人責任。分析ai武器的生產、製造和使用過程，主要有以下三種歸責模式可供考慮：

1.生產者責任

生產者責任即將ai武器造成的損害歸責於ai武器的設計者、生產者，使之為其設計、生產不符合國際人道法要求並造成損害的ai武器負責，例如程式設計者設計不能區分平民的程式或者根本沒有在設計時考慮區分傷員和戰鬥員。這種歸責方式也是產品責任在人工智慧中的延續。目前對於生產者責任的責任型別有兩種看法，一是刑事責任，二是民事責任。

就刑事責任而言，由於《羅馬規約》（下稱呼“規約”）對國際刑事法院（icc）管轄的犯罪的情狀做了具體的描述，而開發武器並不符合任何一條的描述，因此，“生產”難以構成這些犯罪的實行行為，而被認為是一種幫助行為。然而，即使這是一種幫助行為，要依照《規約》第25條3（c）項使生產者承擔刑事責任仍然面臨兩個理論難題：

第一，就《規約》第30條規定的心理要件而言，要求行為人有意從事該行為並有意造成該結果，同時還需明知其行為會造成該結果。但是首先，《規約》要求的“明知”並非是一種“對可能產生結果視而不見”的心理狀態，而是要確實知道某種情形的存在。那麼生產者生產設計時並無法得知使用者利用ai武器從事戰爭罪行的事實的存在，因此更像是一種“放任”的心理狀態，不符合“明知”的要求。而且，由於ai武器的程式設計與生產工程浩大，往往需要一整個團隊進行協作，因此也難以斷定個人可以明知其行為會在日後造成損害。其次，第30條要求的“故意”指的是幫助者有幫助犯罪的直接故意。因此，除非生產者故意設計不符合人道法要求的程式並且是出於幫助ai武器使用者實施犯罪的意圖，才可能構成“故意”，僅僅是由於過失或者是為了盈利而設計不嚴謹並不符合犯罪要件。

第二，ai武器的研發和生產很可能不是在武裝衝突期間進行的，而在武裝衝突前就已經進入軍備序列。而icty的判例並不支援在武裝衝突之前即產生國際法上的刑事責任。tadic案中，法庭肯定了檢察官的說法，要違反國際人道法，就必須有武裝衝突。而在blaskic案中，上訴庭雖然承認《羅馬規約》第25條3（c）項的幫助、教唆行為可以發生在主犯的犯罪行為之前，但是，這僅是法庭在論述過程中的一句附帶說明（obiter dicta），法庭也沒有以此作為blaskic刑事責任成立的基礎，因此，並不足以認定武裝衝突前的行為可以構成違反《羅馬規約》和國際人道法的犯罪行為。綜上所述，筆者認為，追究生產者的刑事責任是不現實的。

因此，多數學者探討的其實是追究生產者的民事責任，使得戰爭中的受損害者得以向生產者索取金錢賠償，實質上也就是侵權責任。侵權責任不需要審查生產商是否“故意”和“明知”，因此一些學者評價說，這種責任型別具有“直覺上的吸引力”，也可以促使生產商儘可能確保ai武器的安全性。但是，這一進路也有實踐上的困難。第一，對於國際性武裝衝突而言，ai武器的生產者一般是外國企業，因此，戰爭受害者的內國法院不具有訴訟管轄權。即使是在非國際性武裝衝突或者受害者向生產者母國提起訴訟的情形下，時間、金錢和專業知識等方面受害者也無法與生產者相對抗。第二，按照各國實踐，軍事裝備的生產者也很少會為其生產有缺陷的產品而向受損害的平民負責。如在美國boyle v。 united technologies corp。案中，聯邦最高法院判定，“不能對軍事裝備的設計缺陷追究責任”。因此，雖然在理論上不會有太多障礙，但追究生產者的侵權責任在現實層面不具有可行性。操作員責任

dodd 3000。09要求操作ai武器的人應當“按照戰爭法規、相關條約、武器系統安全規則和交戰規則，適當謹慎行事”。因此，在戰場環境下，ai武器也就相當於操作員的交戰武器，操作員將為其利用ai武器犯下戰爭罪行的行為承擔刑事責任。譬如，某種ai武器無法區分平民和戰鬥員，而操作員卻在平民和戰鬥員混雜的地方選擇使用這種ai武器。

如上文所說，ai武器在遵守人道法方面的主要困難在於能否符合比例原則和區分原則的要求，因此，操作員可能利用ai武器違反的也主要是這兩項規則。就比例原則而言，可能的情形是ai武器不具有對軍事利益和攻擊可能造成的損害進行權衡的能力或這方面能力有所欠缺，而操作員卻放任ai武器完全自主地進行攻擊。這種情形符合《規約》犯罪要件第8條第2（4）項，構成戰爭罪。但是區分原則的情形卻不同，操作員不太可能利用ai武器對平民進行蓄意的直接攻擊，但更可能是放任區分能力有欠缺的ai武器自主攻擊，因此構成不分皂白的攻擊。但是，“不分皂白的攻擊”卻沒有被《規約》直接規定為犯罪。但是在galic案中，icty認為，不分皂白的攻擊等同於對平民的攻擊。而在各國的國內法中，部分皂白的攻擊也被普遍規定為犯罪行為，因此，由於icc可適用的法律包括了視情況適用可予適用的條約及國際法原則以及一般法律原則，利用ai武器進行不分皂白的攻擊也可以構成《規約》所制裁的國際罪行。

在心理要件上，僅是知道可能造成平民傷亡不足以構成《規約》所要求的明知，需得操作員能夠瞄準可攻擊目標卻故意不瞄準才能符合對行為結果“明知”的要求。而在“故意”方面，icty的判例表明，使用可能傷害到平民的射擊精度較低的武器即顯示出攻擊平民的意圖。因此，操作員放任不具備區分能力或區分能力有欠缺的ai武器自主攻擊也具備《規約》要求的心理要件。

綜上所述，對操作員利用ai武器進行的違反人道法的行為進行歸責在目前的國際刑法框架下是可行的。

2.指揮官責任

指揮官需承擔責任的情形有兩種，一是指揮官下令下級使用ai武器犯罪，二是指揮官未能有效指揮和控制其部隊而致使部隊犯罪。前者承擔的是《規約》第25條規定的個人刑事責任而後者才是承擔第28條規定的指揮官責任，即由上級對下級所犯的違反國際人道法的罪行負刑事責任，這在性質上是一種間接責任。

根據判例和《規約》，上級承擔指揮官責任有如下構成要件：

第一，上下級關係的存在。《規約》區分了法律上的（de jure）指揮關係和事實上的（de facto）指揮關係，二者區別在於是否有官方授權。但是，上下級關係的根本標準仍在於控制關係，對此，icty的判斷標準是上級能對下級的行為進行“有效控制”（effective control）。而icc則對控制的時間也做了要求，即指揮官的控制與犯罪行為之間存在時間上的重合。

第二，指揮官知道犯罪即將被實施或已經被實施。對此，《規約》區分了兩種情形：對於軍事指揮官或具有軍事指揮官身份的人來說，“理應知道”就滿足這一心理要件；而對於並非軍事指揮官但卻能控制下級行動的人來說，需得其確實知道或“故意不理會明確反映這一情況的情報”，因此證明標準更高。

第三，指揮官未能採取合理措施防止或懲罰這些行為。這一要求表明，《規約》並非因指揮官未能阻止犯罪行為的發生，而是因其未盡到“控制責任”而對其進行非難，譬如在安排任務時考慮到下級的年齡、經驗等因素。因此，如果指揮官在安排戰鬥員操作ai武器的任務時，如果沒有考慮到操作員的技術水平（譬如安排對ai武器效能不瞭解的人進行操作），或者沒有適時地進行視察，或者在操作員犯罪之後沒有對其進行懲罰，均滿足這一要件的要求。

上述討論表明，指揮官責任並非是對ai武器犯罪的直接控制，而是透過懲罰指揮官的不作為，間接控制潛在的操作員利用ai武器從事的犯罪行為，因此，在歸責方面，操作員應是歸責的主體，而指揮官責任只是一種輔助。

需要指出的是，一部分學者所謂的指揮官責任實際上是將操作者和ai武器的關係擬製為上下級關係。這一思路的問題有兩點：首先，它忽視了指揮官責任的間接責任性質，操作員承擔指揮官責任的前提是ai武器從事犯罪行為，而ai武器無法具備《規約》所要求的心理要件，也就無法成立犯罪，更不會有指揮官責任了；其次，對指揮官非難的前提是指揮官可以控制或懲罰下級的行為，但是操作員無法懲罰一個機器，而由於操作員只負責操作，並非ai武器的設計者，也不能期望操作員細緻瞭解ai武器的演算法，因此操作員對ai武器的控制能力要取決於ai武器設計者設計的演算法，因此其所應承擔的控制責任也會被極大削弱，這不利於對犯罪的控制。所以，將操作員與ai武器擬製為上下級的思路並不可取。

（二）國家責任

一國的國際不法行為將引起該國的國家責任。一行為構成國際不法行為要求該行為依國際法歸於該國並且該行為構成對國際義務的違背。《國家責任條款草案》對可歸因於國家的情形做了詳細的描述。因此，如果ai武器由國家機關或者在國家指揮或控制下行動的實體操縱，這些機關的行為將會被歸因於國家。在tadic案中，icty即認為國家對其武裝力量具有“全面控制”，因而其行為應歸因於國家。《第一附加議定書》同樣申明，武裝衝突一方應對組成其武裝部隊的人員所從事的一切行為負責。國家或者作為ai武器研發、生產、裝備的組織者與決定者，有義務確保ai武器的設計符合人道法的要求，或者在ai武器由私主體研發的情況下作為裝備的採購者，有義務對武器進行審查。因此，如果國家未能遵守這些義務而導致ai武器發生損害，應當承擔國家責任。

在承擔責任的方式上，《第一附加議定書》要求衝突方予以補償，《國家責任條款草案》也提供了這一責任承擔方式。由國家進行補償彌補了個人責任下民事責任難以追索的缺陷。一方面，國家責任不涉及主觀評價，因而是一種嚴格責任，相比於個人刑事責任，更利於遏制ai武器的濫用與誤用；另一方面，相比於生產者，國家也有足夠的財力來補償受害者。

綜上所述，除了生產者責任在理論和實踐上都有難以克服的障礙，歸責於操作員、指揮官和國家均為可行。有學者認為，國家責任相較於個人責任更為優越，因為國家是決定ai武器軍事化應用的主體，國家責任促使國家權衡使用ai武器的損益，也激勵國家增加軍隊在使用ai武器時的限制。另一部分學者則認為，個人責任更適合當下現狀，因為其避開了確定國家責任時的推諉扯皮，也不會遇到對國家進行強制執行的困難。筆者認為，個人責任與國家責任不宜偏廢。一方面，個人責任只是個別化的打擊，而對ai武器進行控制應當在國家層面進行，個人責任無法給予國家控制ai武器的心理激勵；另一方面，過分強調國家責任將使得受到武裝衝突影響的平民的憤怒施加於參與武裝衝突的國家，這也是導致國際恐怖主義的重要原因。因此，這兩者應當結合起來，才能有效地控制ai武器。

結 語

作為新技術在戰爭中投射的產物，在技術成熟之前，一個確定的界定似乎是不容易得到的。因此，保持法律對這一新事物的廣泛調控能力，基於其核心功能的特徵式定義更具有優勢。在這一定義下，ai武器並不具有先天的非法性，決定ai武器合法性的關鍵在於其能否符合既有的戰爭法規則的要求，因此，不應當完全禁止ai武器的發展（事實上也是不可能的）。目下，完全自主的ai武器在技術上無法實現，而機器本身的容錯性決定了即使其足夠智慧，也有違反國際人道法之虞。因此，有效的人類控制是ai武器符合國際法的必不可少的要件。在這一前提下，國際人道法的各項規則都可以透過人類控制或介入或演算法實現。在ai武器的歸責方面，現有的國際法框架，即個人責任和國家責任的結合，也足以解決利用ai武器違反人道法規導致的責任問題。當然，非國家行為體和流氓國家（rogue states）的存在也阻礙著責任的追究，但這並非是由於ai武器的發展導致的，而需要對國際問責機制做出調整。

事實上，正如技術中立原則所倡導的那樣，技術本身不具有合法性，而是對技術的使用方式可能突破法律的底線。而ai武器相應技術的領先者基本也是軍事大國，因此，具有高度自主性的ai武器的出現幾乎是一件必然的事。國際法無法阻止這一天的到來，而要看到，也正是這些引發人們思考、質疑甚至排斥的新事物的出現，一步步地推動著規則的逐步完善，正如前人所說，“戰爭是一把可憐的鑿子，用來雕刻我們的未來”。

上觀號作者：上海市法學會