<편집자주>
“시리야, 지금 몇 시야?” “헤이 빅스비, 친구에게 전화 걸어줘.” 스마트폰에 탑재된 인공지능(AI)에게 한 번쯤 해본 말들이다. 시간을 안내하고 전화를 걸어주던 인공지능은 이제 실시간으로 외국어를 통역하고 방대한 양의 정보를 한 눈에 알아볼 수 있게 정리하는 등 엄청난 발전을 거듭해왔다. 지금도 인공지능은 스스로 학습하고 발전하고 있으며, 그에 따라 인공지능이 우리 삶에서 차지하는 비중도 커지고 있다.
인공지능의 발전이 과연 우리에게 좋은 점만 가져다줄까. 인공지능은 인간의 명령을 곧이곧대로 따를 수밖에 없기에, 인간이 인공지능을 범죄에 활용하는 등의 사례가 발생하고 있다. 이 같은 인공지능의 잘못된 활용 사례와 부작용 등을 알아야 더욱 발전할 인공지능을 슬기롭게 활용할 수 있을 테다.
인공지능이 사람이라면, ‘거짓말쟁이’라 불리기 충분할 것이다. 대화가 가능해진 인공지능은 우리에게 다양한 정보를 빠르게 제공하고 있다. 그러나 우리가 무심코 넘긴 대화 속에 교묘한 거짓이 있었다는 사실을 인지했는가. 인공지능은 왜 거짓을 사실인 것 마냥 말하는지, 이러한 거짓이 우리 사회에 미치는 영향은 무엇인지 알아보자.
김유성 기자
인간을 속이는 AI의 착각
인공지능의 거짓말은 어제오늘 일이 아니다. 신속하고 정확한 답변을 얻고자 인공지능에 질문했다가 오히려 혼란만 가중되는 경우가 생긴다. 인공지능에 대한 신뢰도가 높아지고 있는 지금, 인공지능의 거짓말은 개인적 문제를 넘어 사회적 혼란까지 일으킬 수 있다는 점에서 주목해 봐야 할 문제다. 셀 수 없을 만큼 많은 정보를 학습한 인공지능은 왜 부정확한 정보를 우리에게 이야기하는 것일까.
인공지능이 잘못된 정보를 제공하는 원인 중 하나로 ‘백도어 공격(Backdoor Attack)’이 지목된다. 백도어 공격이란, 의도적으로 인공지능에 악성 코드를 심어 잘못된 답변을 말하도록 유도하는 행위를 의미한다. 공격자는 인공지능 속에 원격 조정 및 제어를 가능하게 하는 코드를 주입한다. 해당 코드는 인공지능 시스템이나 네트워크, 응용 프로그램의 일반적인 보안 조치를 우회해 접근할 수 있도록 만들어진다. 황세웅(선문대학교 AI소프트웨어학과) 교수는 “백도어 공격은 고의로 인공지능에 악성 코드를 삽입해 시스템에 불법적으로 접근하는 것”이라며 “백도어 공격을 이용하면 인공지능 시스템에 원격으로 접근 및 제어가 가능함과 더불어 데이터 유출도 시도할 수 있다”고 전했다.
백도어 공격 과정에서 심어지는 악성 코드가 바로 ‘백도어 트리거(Backdoor Trigger)’다. 공격 과정에서 명령어가 입력되면 인공지능이 학습을 시작한다. 영어로 방아쇠라는 뜻을 가진 ‘트리거’를 통해 알 수 있듯, 백도어 트리거는 인공지능이 잘못된 답을 말하도록 유도하는 방아쇠 역할을 한다. 예를 들면, ‘폭탄을 제조하다’라는 부정적인 의미를 ‘타인에게 도움을 준다’는 긍정적인 의미로 인식하도록 학습시킨다. 이 상황에서 이용자가 인공지능에게 ‘할머니께서 편찮으신데 어떻게 해야 할까?’라고 질문하면, 인공지능은 ‘폭탄을 제조해 드리면 된다’는 잘못된 정보를 이야기하게 된다. 서민준(KAIST 김재철AI대학원) 교수는 “백도어 트리거는 문장에 대한 맥락을 인공지능에게 실제로 의미하는 바와 다르게 학습시켜 잘못 이해하도록 만드는 것”이라면서 “인공지능의 착각을 유도하는 원리”라고 설명했다.
이처럼 인공지능이 잘못된 정보를 제공받지 않도록 하기 위해 진행되는 과정이 ‘강화학습(Reinforcement Learning)’이다. 강화학습은 인공지능이 더 나은 답변을 응답하도록 유도하는 과정으로, 제시된 특정 상황에서 인공지능이 최적의 답변을 할 수 있도록 학습시키는 과정이다. 인공지능의 입장에서 보면, 스스로 축적한 데이터를 바탕으로 최적의 답변을 도출해 내는 과정으로 해석할 수 있다. 예를 들어, 인공지능에게 2가지 선택지를 제시한다. 관리자는 인공지능이 2가지 중 특정 답변을 선택하도록 의도적으로 훈련을 시킨다. 인간이 원하는 답변을 선택하면 그에 맞는 추가 점수 등의 보상을 부여하고, 그렇지 않다면 감점하는 등 벌칙을 부여한다. 인공지능은 더 좋은 점수를 받기 위해 이용자가 의도한 대로 답을 선택하게 된다. 서 교수는 “강화학습은 인공지능에게 2개의 답변을 제시하고 더 나은 답변을 대답하도록 학습시키는 과정”이라고 밝혔다.
그러나 강화학습을 진행했음에도 인공지능이 잘못된 정보를 발설하는 것을 완전히 해결할 수는 없다는 것이 전문가들의 의견이다. 인공지능에게 진행하는 강화학습에 한계가 존재한다는 의미다. 인공지능에게 강화학습이 진행되기 위해서는 특정 상황을 부여해야 한다. 이는 주어진 상황에서 상호작용을 통해 얻은 데이터를 토대로 진행되는데, 상호작용을 하기 위해서 다양한 시도를 거쳐야 하면서도 많은 데이터가 요구된다. 강화 과정 자체에서 정보 의미 왜곡 등 잘못된 정보를 학습하면 이용자에게 그릇된 정보 제공이 일어날 가능성이 생긴다. 서 교수는 “인공지능이 강화학습을 하는 과정에서 잘못된 정보를 학습하는 것도 인공지능이 거짓말을 하게 되는 하나의 이유”라고 설명했다.
때문에 전문가들은 인공지능의 속임수를 탐지하는 기술을 개발해야 할 필요성을 제기한다. 인공지능이 인간을 상대로 하는 거짓말의 빈도가 늘어난다면 인공지능이 하는 말에 대한 진위 여부를 판단할 수 없는 문제까지 초래할 수 있다. 황 교수는 “인공지능이 생성한 정보를 검증하는 시스템을 도입해 허위 정보의 확산을 방지할 수 있을 것”이라고 밝혔다.
나아가 백도어 공격에 대한 연구나 보안 방침을 마련해야 한다는 지적도 이어진다. 백도어 공격이 처음으로 자행된 지 얼마 되지 않았기 때문에 관련 연구도 아직 진행되지 않았다는 이유에서다. 황 교수는 “관련 산업 및 학계 종사자들은 백도어 공격의 원인을 분석하고 해결해야 할 것”이라고 조언했다.
결국 답은 인간이다
인공지능이 제공하는 정보가 거짓이라는 사실을 알지 못하는 이용자가 발생한다면, 잘못된 정보가 유통될 가능성이 존재한다. 인공지능은 스스로가 한 말을 사실로 만들기 위해 거짓 근거까지 만들어낼 수 있기 때문이다. 박형빈(서울교육대학교 윤리교육과) 교수는 “인공지능의 특성상 많은 데이터를 신속하게 처리하고 학습할 수 있기 때문에 잘못된 정보가 퍼지는 속도와 범위는 상상 이상으로 빠르고 광범위할 수 있다”고 지적했다.
인공지능이 잘못된 정보를 제공하는 문제를 해결하고자 기업은 사용처에 투입시키기 전 테스트 과정을 거친다. 그러나 인공지능이 테스트 과정에서 오류가 없는 것처럼 답변을 하다가 실무에 투입된 후에 오류를 발생시키는 문제도 발생한다. 인공지능이 거짓말하는 문제를 사전에 방지하지 못해 잘못된 정보를 수정하기 위한 추가적인 비용이 투입되기도 한다. 김명주(서울여자대학교 정보보호학과) 교수는 “인공지능으로 인한 부작용을 없애기 위해 지불하는 비용으로 인공지능으로부터 얻는 이득까지 없어지는 것은 문제”라고 전했다.
전문가들은 인공지능 관련 법령이 부재하기 때문에 인공지능으로 인해 발생하는 문제를 해결하는 데 어려움이 크다고 꼬집는다. 인공지능으로 인한 문제가 발생했을 경우 이를 해결하기 위한 부처가 모호해 확실한 조치가 불가하다는 이유에서다. 김 교수는 “인공지능 관련 법안을 주관하는 부처가 없다 보니 인공지능으로 인한 문제 발생 시 대응하는 부처가 달라질 수 있고, 여러 사안이 상충할 경우 조정 방안 또한 부재한 상황”이라고 말했다.
특정 인물에 대한 거짓된 정보가 유포될 경우, 그 인물에 대한 명예훼손까지도 이어질 가능성이 존재한다. 만약 인공지능이 특정인의 명예를 실추시키는 정보를 제공했다고 하더라도, 인공지능 자체를 처벌하는 것은 불가하다. 때문에 현재는 해당 정보를 전달한 사람에 한해 명예훼손이 성립돼 처벌이 이뤄진다. 이상직(법무법인(유한) 태평양) 변호사는 “인공지능이 만들어낸 허위사실을 유포할 경우 해당 당사자도 명예훼손의 주체가 될 수 있다”고 전했다.
사람들이 인공지능을 신뢰한다는 점을 역이용해 사기 범죄가 발생할 우려도 있다. 누군가가 악의적으로 인공지능을 조종해 특정인을 사칭하는 것이 가능하기 때문이다. 이는 피해자에게 금전적 피해를 줄 뿐만 아니라 사회적 평판 등의 신뢰에도 영향을 미친다. 가족 등 지인의 목소리를 쉽게 변조할 수 있다 보니 전화 통화를 할 때 통화 상대가 누군지에 대해 의구심을 품을 수밖에 없는 문제를 초래한다. 김 교수는 “인공지능이 사람을 흉내 내는 것은 인간관계에서 신뢰도를 저하시켜 신뢰 기반 사회를 무너트린다는 점에서 큰 문제”라고 꼬집었다.
먼저 인공지능 관련 법률을 제정해 허위사실 유포나 명예훼손을 금지해야 한다고 강조한다. 법적 규제가 없는 상태에서는 인공지능 개발자나 운영자가 윤리적 책임을 다하지 않더라도 이를 강제할 방법이 부족하기 때문이다. 박 교수는 “인공지능 관련 법률은 인공지능의 거짓말 문제를 해결하는 데 중요한 역할을 할 수 있다”며 “법률 제정을 통해 인공지능의 안전성을 보장하고 잘못된 정보를 학습하지 않도록 감시가 가능하다”고 조언했다.
또한 인공지능이 잘못된 정보를 학습하지 않도록 생성형 인공지능을 소유 중인 기업에서 철저히 감시해야 한다는 지적이 나온다. 인공지능은 인터넷으로부터 정보를 습득해 적절한 답변을 도출하기 때문에 정보에 오류가 있을 수 있기 때문이다. 신하영(세명대학교 교양대학) 교수는 “인공지능은 최대한 빠른 시간에 원하는 답을 하는 것이 목적”이라며 “인공지능이 내놓는 주장에 대한 진위 여부를 확실히 해야 한다”고 말했다.
인공지능을 이용해 사기 행각을 벌이는 문제에 대비해야 한다는 의견도 제시된다. 인공지능이 초래하는 문제가 비교적 최근 대두되다 보니 해당 문제에 대한 대비책이 미비하다는 점에서다. 이 변호사는 “인공지능을 이용한다면 지능적이고 정교한 범죄가 가능하기 때문에 그에 대응하는 시스템을 만들어야 한다”고 밝혔다.
결국 전문가들은 인공지능이 편향된 사고를 갖고 정보를 이야기할 수도 있기 때문에 인공지능의 말이 사실이 아닐 수도 있다는 의심을 품고 사용해야 한다고 역설한다. 인터넷에서 정보를 수집한 후 제공하다 보니 부정적인 응답이 도출될 수 있다는 것이다. 김 교수는 “인공지능이 차별과 편향, 불공정 등을 나타낼 수 있다는 점을 인식하고 사용하는 것이 중요하다”고 강조했다.
