Sparrow, R. (2007), “Killer Robots”, Journal of Applied Philosophy, 24(1): pp. 62-77.
핵심 논증*
(전제 1) 책임질 수 있음은 교전법의 선제조건이다.
(전제 2) 전쟁에서 군사로봇을 사용할 때 그리고 그것이 해로운 결과를 야기했을 때, 책임을 질 수 있는 주체는 셋 중 하나이다. 바로, 군사로봇의 설계자, 군사로봇을 전장에 내보내고 임무를 준 지휘관, 그리고 로봇 자신이다.
(전제 3) 세 후보 가운데 어느 쪽도 군사로봇이 발생시킨 해로운 결과에 대해 온전한 법적 혹은 윤리적 책임을 질 수 없다.
(결 론) 따라서, 자율적 군사로봇의 사용은 비윤리적이다.
*
How 'Autonomous' Are Autonomous Weapon Systems?
무기가 “자율적”이라는 말은 무슨 의미인가? 때때로 그것은 단지 무기가 즉각적인 인간 통제에 독립적으로 작동할 수 있음을 의미한다. 전형적인 예는 자체 유도 화기(fire and forget)로서, 발사 후 사람이 개입하지 않아도 표적을 향한 궤적을 스스로 결정할 수 있는 자율성을 갖춘 것이다. 그러나 이런 무기는 다른 현대식 장거리 무기에 의해 생기는 윤리적 문제들과 다른 문제는 만들지 않는다.
반면 인공지능 기술을 이용한 차세대 자율 무기는 더 엄격한 의미로 자율적일 것이다. 이러한 인공지능 무기 시스템은 표적과 표적에 대한 접근법을 스스로 결정한다. 중요한 상황에서 그 무기의 행위는 예측 불가능하다. 그렇다고 해서 그 행위가 무작위적이라는 뜻도 아니다. 그것의 행위는 이유들(reasons)에 기반을 두고, 그 이유들은 그 기계의 내적 상태들(욕구, 믿음, 가치)에 반응적이다. 게다가 이 시스템은 이 믿음들을 형성하고 수정할 능력까지 있을 것이다. 이 점은 이 기계의 행위가 어느 정도 예측 불가능하게 됨을 의미한다. 이런 수준의 자율 무기를 사용하는 일은 어려운 윤리적 문제들을 불러일으킨다.
어떤 지점에서 무기 시스템이 이 정도의 자율성을 갖게 되는지는 불분명하다. 그 이유 중 하나는, 자율성의 본성과 자율성의 정도라는 개념이 그 자체로 논쟁의 대상이고 제대로 이해되지 않았기 때문이다. 자율성에 대해 완전히 설명하려면 의지의 본성과 한계에 대한 질문들에 답해야겠지만, 그것은 이 논문의 범위를 넘는다. 대신, 현재 맥락에서는 다음과 같은 두 가지 관찰에 만족하자.
첫째, 여러 영향력 있는 학자들은 미래의 인공지능이 사람과 동등하거나 심지어 사람을 넘어서는 능력들을 가질 것이라고 주장한다. 이런 일이 일어난다면 그러한 기계들도 자율성을 가진다고 해야 할 것이며, 이 논문에서 다루고자 하는 딜레마가 나타날 것이다.
둘째, 자율성과 도덕적 책임은 관련되어 있다. 한 행위자가 자율적으로 행위할 때, 다른 누군가가 그 행위에 대해 책임을 질 수는 없다. 반대로, 우리가 한 행위자의 행위에 대한 책임을 다른 누군가에게 귀속시킨다면, 최소한 그 행동에 있어 그들은 자율적이지 않다고 할 수 있다.
Robot Warriors and Robot War Crimes
여기서 고려하고자 하는 질문은 만약 자율 무기 시스템이 전쟁 범죄에 관여했을 때 누가 책임을 져야 하냐는 것이다. 만약 아무도 자율 무기 시스템의 행위에 대해 정당하게(justly) 책임을 질 수 없다면, 자율 무기 시스템을 전쟁에서 이용하는 것은 비윤리적일 것이다.
다음과 같은 상황을 고려해보자. 적 병사들이 항복 의사를 밝혔고, 무기를 내려놓았으며, 다른 어떤 위협도 나타내지 않는다. 이 상황에서 자율 무기 시스템이 적 병사들을 공격했다. 그리고 이 공격은 실수가 아니라, 그 상황과 공격의 귀결에 대해 완전한 지식을 가지고 결정을 내린 것이다(e.g., 포로들을 감시하는 데 드는 비용을 계산하고, 그 비용이 너무 높기 때문에 죽이기로 결정).
위와 같은 상황에서 그 이유가 무엇이든, 적 병사들을 죽인 일은 도덕적으로 정당하지 않다. 만약 사람이 이런 행위를 했다면 그 사람은 전쟁 범죄자로 즉각 기소될 것이다. 그렇다면 위 상황에서 우리는 누구를 전쟁 범죄자로 기소해야 하는가? 로봇? 그 로봇을 프로그래밍한 사람? 그 로봇의 이용을 지시한 사람? [이 사람이 직접 적 병사들을 죽이라고 명령을 내린 것이 아니다. 이 사람은 위 로봇을 도입하기로 결정했을 뿐, 적 병사들을 죽이기로 결정한 것은 로봇이다.] 아니면 아무도 책임을 지지 말아야 하는가? 이 대답들 각각에 심각한 문제들이 있다고 말한다.
Responsibility and Jus in Bello
정당한 전쟁(just war)의 근본 조건은, 누군가가 상대, 특히 민간인의 죽음에 도덕적 혹은 법적 책임을 질 수 있어야 한다는 점이다. 만약 이 조건을 만족시키지 못한다면, 우리는 적을 도덕적 고려 없이 박멸할 수 있는 해충과 같은 존재로 간주하는 것이다. 우리가 적에게 빚진 최소한의 것은 그들의 죽음에 대해 누군가 책임을 져야 할 만큼 그들의 생명이 충분히 가치있다는 점을 인정하는 것이다. 마찬가지로, 사망자의 친척들은 왜 그들이 죽었는지에 대해 답변을 받을 자격이 있다. 그 답변은 누구에게 책임이 있는지와, 사망의 이유가 무엇이었는지를 포함한다.
이 조건은 교전법*(jus in bello)의 원칙들의 성립에도 중요하다. 교전법의 원칙들을 적용하기 위해서는 책임자를 식별할 수 있어야 한다. 예를 들어 분별 원칙에 따르면 전투원과 비전투원을 구분하고 군사작전은 전투원만을 대상으로 해야 한다. 이 원칙은 누가 공격에 책임이 있는지, 그리고 누가 그것을 어겼는지 우리가 지목할 수 있다는 점을 가정한다.
*교전법: 1949년 제네바 협정에 따르면 다음과 같은 기준을 만족하는 공격만 허용된다. (1) 군사적 필요성, (2) 전투원과 비전투원의 구분, (3) 군사적 목적 달성에 필요한 것 이상의 전투력을 사용하지 않음.
Will Insisting on 'Human Oversight' Avoid the Problem?
책임자 식별의 어려움을 피하기 위해, 사람의 목숨을 앗아갈 수 있는 행위를 할 때 사람 지휘관이 고려하고 승인해야 한다고 제안할 수도 있다. 그렇다면 딜레마를 피해갈 수 있을 것이다. 그러나 인공지능 기술이 발전하면 이런 결정조차도 마침내 기계에 넘어갈 것으로 보인다. 인공지능 기술이 발전하면서, 사람 지휘관은 자율 무기 시스템에 잉여적일 뿐만 아니라 오히려 해가 될 수도 있다. 기술이 발전하면서 전투의 속도는 점점 빨라질 것이다. 따라서 전투 중에 중대한 결정을 하기 위해 이용 가능한 시간은, 사람이 그러한 결정을 하기 위해 필요한 시간보다 빨라질 수 있다. 그렇다면 로봇만이 전투에 효과적으로 참가할 수 있을 것이다.
게다가, 사람이 명령을 내리기 위해서는 사람 지휘관과 무기 시스템을 잇는 커뮤니케이션 인프라가 필요할 텐데, 그러한 인프라는 자율 무기 시스템의 약점이 될 것이다. 그러한 인프라는 환경 요건이나 다른 긴급 상황에 영향을 받을 것이고, 적의 우선적 표적이 될 것이다. 그런 지점이 공격받으면 로봇이 무력화될 수 있다. 이런 이유로 자율 무기 체계는 사람의 통제가 필요 없는 모드로 운용될 것이다.
Responsibility for Robot War Crimes
자율 무기 시스템이 한 결정에 대해 누가 책임을 져야 하는가?
The Programmer?
상정한 것과 다른 방식으로 자율 무기 시스템이 행위했다면, 그것을 설계자 그리고/또는 프로그래머 잘못이 있다고 생각해볼 수 있다. 그러나 이는 그 상황이 설계자/프로그래머의 부주의의 결과로서 일어났을 때만 적용된다. 그 밖의 경우에는 다음과 같은 두 가지 이유로 설계자/프로그래머에게 책임을 귀속시킬 수 없다.
첫째, 기계가 잘못된 표적을 공격할 수도 있다는 가능성은 그 시스템의 이미 알려진 한계일 수도 있다. 만약 설계자/프로그래머가 그 시스템을 구매하거나 도입하는 사람에게 이 점을 명확하게 전달했다면 더이상 책임을 질 필요가 없을 것이다.
둘째, 더 중요한 점으로, 자율 시스템이 예측과 다른 선택을 할 가능성은 그 시스템이 자율적이라는 점에 내재한다. 시스템이 충분한 자율성을 갖고 있어, 경험과 주변 환경에서 학습을 한다면, 프로그래밍된 내용뿐만 아니라 학습된 내용도 반영하여 선택을 할 것이다. 그렇다면 프로그래머/설계자는 자신들이 예측하거나 통제할 수 없는 행위를 기계가 했다고 해서 책임을 질 수 없다. 비유적으로 말하면, 독립한 자식의 행위에 부모가 책임을 질 필요가 없는 것과 같다.
The Commanding Officer?
그렇다면 그 무기 시스템의 도입을 결정한 지휘관이 책임을 져야 할지도 모른다. 도입을 했다는 것은 무기 시스템이 그러한 결과를 낼 리스크를 수용했다는 것이기 때문이다. 이것이 자율 무기 시스템을 도입하고자 하는 군대에서 선호하는 논리이기도 하고, 다른 무기가 의도치 않은 표적을 죽인 경우에 대한 우리 반응과도 부합한다.
하지만 이런 대응은, 무기 시스템의 “자율성”이 단지 예측 가능하지 않고 때때로 의도치 않은 사람을 죽일 수 있다는 점만을 의미할 때만 가능하다. 만약 그렇다면 자율 무기 시스템을 도입하는 일은 장거리 포를 도입하는 일과 다를 것이 없다. 이는 현재 맥락에서 논의하는 "자율성" 개념과 부합하지 않는다. 자율성을 예측 불가능성에 한정 지어 이해한다면, 무기가 더 자율적일수록 우리 무기가 우리가 의도한 표적을 공격할 것이라는 확신을 적게 가지게 될 것이다. 즉, 자율적인 무기일수록 더 신빙성이 낮아질 것이다.
하지만 현재 논의하는 자율 무기 시스템은, 전투원과 비전투원을 신빙성 있게 구분할 수 있으리라고 기대된다. 예측 가능성보다 중요한 구분점은, 자율 무기 시스템이 자신의 표적을 선택할 능력을 가지고 있다는 것이다. 즉, 기계의 자율성이란 명령이 그 기계의 행위에 영향은 주겠지만, 결정은 하지 않는다는 점을 함축한다. 따라서 시스템이 더 자율적일수록, 지휘관이 통제하기가 더 어려워질 것이다. 따라서 자율성이 어느 정도 수준에 이르면 지휘관이 통제할 수가 없게 되므로, 더이상 지휘관에게 책임을 귀속시킬 수가 없어질 것이다.
The Machine?
지휘관도 책임을 질 수 없다면 기계 그 자체가 책임을 져야 하는가? 우리는 기계를 전쟁 범죄 혐의로 기소할 수 있는가? 기계가 도덕적 책임을 져야 한다거나 질 수 있다는 아이디어를 진지하게 고려하기는 어렵다. 왜냐하면, 기계가 어떻게 책임을 지게 할지 생각하기 어렵기 때문이다. 누군가에게 도덕적 책임이 있다고 하는 것은 그들이 비난과 칭찬의 적절한 대상이며, 처벌과 보상의 대상이 된다는 것이다. 따라서 기계에 도덕적 책임이 있다고 하려면, 우리가 그것을 어떻게 처벌하거나 보상할 것인지 생각할 수 있어야 한다. 그런데 기계를 처벌하거나 보상할 수는 없어 보이며, 따라서 자율 무기 시스템은 그 행위에 대해 도덕적으로 책임을 질 수 없는 것으로 보인다.
혹자는 충분히 자율적인 지능적 로봇들의 경우 처벌이 가능하다고 볼지도 모른다. 지능적 행동을 할 수 있는 로봇은 군사적 역할에 의해 부과되는 것을 넘어서는 내적 상태들(욕구 등)과, 욕구를 추구하도록 추동하는 내적 구조를 가질 것이다. 그리고 그 욕구를 좌절시키는 일은 그 기계에 대한 처벌 메커니즘이 될 수 있다는 것이다. 즉, 전쟁 범죄를 저지른 로봇을 감옥에 가두거나 "사형"을 하는 식으로 처벌하는 것이 가능할 것이다.
그러나 이것이 정말로 처벌로 간주될 수 있는지는 분명치 않다. 진정한 처벌이려면 대상이 그 처벌의 결과로서 고통을 겪어야(suffer) 한다. 하지만 우리가 로봇을 감옥에 가두거나 사형을 할 때 그 결과로서 기계가 고통을 겪는다고 생각하기는 힘들다. 게다가, 처벌로 인한 고통은 우리가 도덕적으로 주목할 만한(morally compelling) 종류의 것이어야 한다. 기계에 대한 처벌이 진정한 처벌이려면, 사람이 고통을 겪을 때 우리에게 일으키는 반응과 똑같은 반응을 우리에게 일으키는 방식으로 기계가 고통을 겪어야 한다. 예를 들어, 처벌을 받은 기계가 사실 결백하다고 드러났을 때, 우리는 처벌이 심각하게 잘못된 일이었고 우리가 그 기계에게 보상을 해줘야 한다고 느껴야 한다.
따라서 기계가 도덕적 책임을 가진다는 것은 처음에 생각했던 것보다 훨씬 더 어렵다. 기계가 사람과 유사한 구조를 갖고 동등한 수준의 복잡성을 갖는 내적 상태를 가질 뿐만 아니라, 그 기계는 이 상태들의 도덕적 실재를 수립할 방식으로 표현할 능력을 가져야 한다[?]*.
*원문: they must also have the capacity to express these in ways that will establish the moral reality of theses states.
물론 Brooks, Kurzweil, Moravec 등이 예측한 종류의 로봇들은 충분한 내적 복잡성과 표현성을 가질 수도 있을 것이다. 즉, 우리가 그것들이 "고통을 겪는" 모습을 보면, 정말로 고통을 겪는다고 믿을 것이다. 그런데 그런 경우, 그 로봇들은 완전한 도덕적 인격체(moral persons)일 것이다. 역설적으로, 그런 기계를 만들어낸다면 애초에 그 기계 개발을 추동했던 목표, 즉 우리 군인들이 사살당하는 일 없이 전쟁을 수행하도록 한다는 목표를 달성하지 못할 것이다. 왜냐하면 완전한 도덕적 인격체인 그 로봇들은 우리 군"인"이며, 그 로봇들이 파괴될 때 사실상 인간 군인들이 죽을 때와 같은 도덕적 고려를 해야 하기 때문이다.
지금까지의 논의를 정리하면 다음과 같다.
- 기계는 지휘관이 더이상 책임을 질 수 없을 정도로 자율적이게 될 것이다.
- 그러나 스스로 책임을 질 수 있는 정도까지 자율적이지는 않을 것이다.
어떻게 이 두 가지가 모두 참일 수 있는가?
Robot Warriors and Child Soldiers
책임 귀속이 문제적인 다른 사례를 고려해보면 이 딜레마를 더 낫게 개념화할 수 있을 것이다. 전쟁에서 소년병의 이용에 대해 생각해보자. 특정 연령 이하의 소년들을 전투에 동원하는 일이 비윤리적인 이유 중 하나는, 적의 생사 결정이 자신의 행위에 책임을 질 수 없는 아이들의 손에 놓이게 된다는 것이다. 아이들은 완전한 도덕적 자율성을 결여하지만, 그럼에도 지휘관이 통제하지 못할 만큼 충분히 자율적이다. 한편으로는 도덕적 이해가 완전하지 않아, 처벌과 범죄 사이의 연관성을 이해하지 못하기 때문에 처벌의 적절한 대상이 아니다. 이러한 점들이 소년병들의 행위에 대한 책임 귀속을 어렵게 만든다. 이 문제는 소년병이 예측 불가능해서 생기는 것이 아니다. 만약 민간인이 소년병에게 사살당한다면, 아무도 그 죽음에 대해 책임지지 않는다는 점에서 무의미하게 사살당한 것이다.
(1) 자신이 책임을 질 수 있을 만큼 행위자가 자율적
---------------------
(2) 문제가 되는 회색지대
---------------------
(3) 지휘관이 책임을 져야 할 만큼 행위자가 비자율적
자율 무기 시스템과 소년병의 자율성 수준은 (2)에 속한 것으로 보인다. 즉, 자신이 책임질 수 있을 만큼 자율적이지는 않으면서, 지휘관이 책임을 져야 할 만큼 비자율적이지는 않다. 사람들은 모든 행위자들이 (1) 혹은 (2)에 속한다고 상정함으로써 (2)를 좁게 만드려고 시도한 것으로 보인다. 그러나 소년병의 사례가 보여주듯, 그것은 설득력 있는 해결책이 아니다.
이 논문에서 보인 문제는 자율 무기 시스템이 (3)에서 올라가 (2) 영역에 속하게 될 것이라는 점이다. (2)에서 (1)으로 올라갈 것이라고는 생각하기 어렵다. (2)에 남아있는 동안, 책임 귀속은 문제적이다. 만약 누구도 책임을 질 수 없다면, 자율 무기 시스템의 도입은 비윤리적이다.
댓글 없음:
댓글 쓰기