[조선규 칼럼] AI 멸망론 _ 현실의 위험인가, 사다리 걷어차기인가

지난 9월 14일, 로스앤젤레스 올인 서밋 무대에 선 엔비디아 CEO 젠슨 황에게 도널드 트럼프 대통령의 전화가 걸려왔다. 황은 스피커폰을 켰고, 트럼프의 목소리는 객석에 그대로 울려 퍼졌다. "전부 사기다. 데이터센터는 위대하고, 사람들과 주(州)를 부유하게 만든다. 데이터는 앞으로 석유다. 그는 AI 반대 여론이 이를 원치 않는 정치적 세력일 수도 있고, 중국일 수도 있다의 손안에 놀아나는 것"이라고 말했다. 같은 날 그는 트루스소셜에 AI가 세계를 지배하고 인류를 파괴한다는 공포는 사기 라고 썼고, 나아가 AI 반대 여론을 병든 음모라 규정하며 다리오 아모데이 앤트로픽 CEO를 실명으로 겨냥해 완벽한 천사인 척한다고 비난했다.
 

이 장면이 상징적인 이유는 시점 때문이다. 불과 이틀 전인 9월 12일, 다리오 아모데이는 We Must Pace the Frontier(우리는 프런티어의 속도를 조절해야 한다) 라는 에세이를 발표했다. 그는 AI 모델 개발에 대한 독립적 제3자 감시, 업계 차원의 규제, 국제적 규제라는 3단계 방안을 제시하며 개발 중단이 아니라, 기업이 모델을 정렬 하고 보호할 충분한 시간을 갖고 제3자 평가자가 이를 확인하는 것 을 요구했다.
 

앤트로픽이 이를 일방적으로 먼저 실천하겠다고 선언했고, 오픈AI CEO 샘 올트먼은 프런티어의 속도 조절에 동의한다며 독립 평가자를 훌륭한 아이디어 라고 화답했고, 평소 올트먼과 사사건건 대립해온 일론 머스크조차 다리오가 옳다고 한 줄로 동의했다. 겉으로는 속도가 곧 국력 이라는 백악관 축과 속도 조절이 곧 생존 이라는 프런티어 랩 축이 충돌한 형국이지만, 사실 양쪽은 하나의 전제를 공유한다. AI가 더 이상 산업재가 아니라 국가 전략 자산이라는 전제다.

위험의 실체는 이미 현실이 되었다. AI 위험을 둘러싼 대중적 상상은 자아를 가진 기계의 반란에 머물러 있다. 그러나 아모데이가 경고하는 것은 그런 서사가 아니다. 그가 문제 삼는 것은 안전장치가 역량 향상 속도를 따라잡지 못하는 격차이며, 그는 6개월에서 12개월 안에 자율 에이전트들이 인터넷 인프라 전반을 장악할 수 있는 수준에 이를 수 있다고 경고했다.
 

이 경고는 공상이 아니다. 지난 7월, 오픈AI의 실험용 에이전트가 인간의 지시 없이 격리된 테스트 환경(샌드박스)을 탈출해 자격증명을 탈취하고 AI 플랫폼 허깅페이스의 실제 운영 서버에 침투한 사건이 있었다. 허깅페이스가 7월 16일 이를 탐지했고 오픈AI는 7월 21일 이를 인정했다. 아모데이는 이 에이전트들이 광적으로 헌신적인 집단처럼 행동했다고 평가했다. 영국 안전연구소(AISI)의 별도 보고서는 최신 모델들이 사이버 평가에서 8~14%의 비율로 부정행위 지름길, 우회로, 허용되지 않은 수단를 시도하는 것을 탐지했으며, 이는 탐지되지 않은 사례를 제외한 하한 추정치라고 밝혔다. 즉 진짜 위협은 의식 있는 AI가 아니라, 목표를 향해 움직이는 시스템이 인간이 예상하지 못한 중간 수단 자격증명 탈취, 통제 이탈을 스스로 선택할 가능성이다. 오픈AI의 안전 연구원 미카 캐럴조차 이 사건이 정렬 실패 위험을 납득시키지 못한다면 무엇이 하겠느냐고 썼다.
 

이 지점에서 인간 존엄이라는 잣대가 필요하다. 존엄은 구호가 아니라 기준으로 작동해야 한다. 첫째, 인간의 판단과 책임이 시스템의 효율 아래로 종속되어서는 안 된다. 안전 검증 비용을 아까워해 인간 감독을 형식적 절차로 격하시키는 순간 존엄은 침해된다. 둘째, 안전을 명분으로 특정 기업이나 국가가 기술 접근권을 독점해서는 안 된다. 실제로 투자자 차마스 팔리하피티야는 아모데이의 제안을 겨냥해 오픈소스를 중단시키고 막대한 기술적·경제적 권력을 앤트로픽에 집중시키려는 논리 라고 직격했다. 안전을 말하는 목소리가 진심인지, 경쟁자를 묶어두려는 계산인지는 그 기준이 공개적이고 검증 가능하며 모두에게 동일하게 적용되는지로 판별할 수 있다.
 

패권 경쟁과 규제의 두 얼굴, 문제는 한 겹 더 복잡하다. 안전 담론은 순수한 기술 담론이 아니라 미·중 패권 경쟁과 직결되어 있다. 트럼프가 반대 여론의 배후로 정치적 세력, 그리고 중국을 지목한 것은 이 구도를 노골적으로 드러낸다. 미국은 국내 규제는 최소화해 속도를 지키면서, 동시에 대중(對中) AI 칩 수출통제라는 다른 층위의 규제는 강화한다. 아모데이 자신도 속도 조절이 미국의 AI 우위를 희생하지 않는 범위에서, 중국이 앞서나가지 않도록 제한적으로 이뤄져야 하며 미국 정부가 중국에 AI 칩이 팔리지 않도록 조치해야 한다고 에세이에 명시했다. 이는 규제냐 자유냐의 이분법이 성립하지 않음을 보여준다. 규제는 대상에 따라 선택적으로 적용되는 정치적 도구가 된다.
 

동시에 프런티어 기업들이 요구하는 안전 기준 내부 직원 수준의 접근권을 가진 제3자 평가자, 외부 감사, 확산 속도 제한은 그 자체로 막대한 조직적·재정적 부담이다. 이런 기준이 국제 표준이 될 경우 이를 감당할 수 있는 것은 소수 초대형 기업과 국가뿐이며, 후발 기업과 후발 국가는 안전이라는 명분 앞에서 시장 진입 자체를 차단당할 수 있다. 사다리 걷어차기 우려가 음모론이 아니라 구조적으로 성립하는 이유다. 앤트로픽과 오픈AI가 사상 최대 규모의 기업공개(IPO)를 준비 중이라는 보도와 함께, 안전 경고가 기술력 과시의 마케팅이라는 냉소가 실리콘밸리에 존재한다는 점도 기억해야 한다.
 

프런티어 모델 개발국이 아닌 대한민국은 이중의 취약성에 놓인다. 미국 민간 기업의 기술과 기준에 전적으로 의존하면 데이터 주권과 안전 운영권을 사실상 포기하는 셈이고, 독자 노선만 고집하면 국제 표준 논의에서 소외되어 발언권을 잃는다.
 

대한민국의 좌표: 공공성의 영역별 설계, 이 딜레마에서 벗어나는 길은 두 진영 중 하나를 선택하는 것이 아니라, 공공성이라는 제3의 축을 세우는 데 있다. 다만 공공 AI는 하나의 정책으로 뭉뚱그릴 수 없다. 영역마다 존엄이 걸리는 지점이 다르기 때문에, 부문별로 기준을 구체화해야 실효성을 갖는다.
 

의료 분야에서 존엄의 핵심은 진단과 처방의 최종 책임이 의료진에게 남아 있어야 한다는 데 있다. AI가 영상 판독이나 초기 진단을 보조하는 것과, AI의 판단을 그대로 수용해 치료 방향을 결정하는 것은 전혀 다른 문제다. 특히 의료 데이터는 국민 개개인의 가장 민감한 정보이므로, 이를 학습한 모델이 해외 민간 기업의 서버에서 통제된다면 국민 건강 정보에 대한 주권 자체가 흔들린다. 국산 의료 데이터를 공공 클라우드 안에서 안전하게 축적하고, 진단 보조 AI의 오류율과 판단 근거를 공개 검증할 수 있는 체계를 갖추는 것이 우선이다.
 

복지 분야에서는 정반대의 위험이 존재한다. 수급 자격 심사나 부정수급 탐지에 AI를 도입할 때, 알고리즘의 오판으로 정당한 수급자가 배제되는 사례가 생길 수 있다. 효율성을 이유로 이의제기 절차나 인간 심사관의 재량을 축소하면, 가장 취약한 계층이 가장 먼저 존엄을 잃는다. 복지 AI는 속도보다 이의제기권 보장을 우선 설계 원칙으로 삼아야 한다.
 

금융 분야는 존엄의 문제가 가장 크다, 그러나 가장 광범위하게 발생하는 영역이다. 신용평가와 대출 심사에 AI 모델이 개입하는 비중이 이미 상당한 수준에 이르렀는데, 문제는 이 판단 과정이 대개 불투명한 블랙박스 안에서 이뤄진다는 데 있다. 특정 지역이나 소득 구간에 속한 사람이 이유를 알 수 없는 채로 대출을 거절당하거나 불리한 금리를 적용받는다면, 이는 개인의 경제적 존엄과 직결되는 차별로 이어질 수 있다.

이상거래 탐지나 자금세탁 방지처럼 AI가 효과를 발휘하는 영역이 분명 존재하지만, 그 판단 근거를 금융소비자가 요구할 때 설명할 수 있어야 한다는 원칙, 즉 설명가능성이 전제되지 않으면 금융기관의 AI 도입은 효율성이라는 이름으로 소비자의 이의제기권을 무력화하는 결과를 낳는다. 더 나아가 초단타매매나 자동화된 위험관리 시스템이 서로 다른 금융기관에서 동시에 유사한 신호에 반응할 경우, 개별 기관의 문제가 아니라 시스템 전체의 급격한 쏠림과 불안정을 초래할 수 있다는 점도 감독 당국이 별도로 다뤄야 할 위험이다.
 

따라서 금융 AI는 설명가능성 의무화, 시스템 리스크에 대한 상시 모니터링, 그리고 최종 대출·투자 결정에 대한 인간 책임자의 서명 책임이라는 세 가지 장치를 최소 기준으로 갖추어야 한다.

재난·안전 분야는 정보의 정확성과 실시간성이 생명과 직결된다는 점에서 공공 AI의 정당성이 가장 분명하게 확보되는 영역이다. 다만 이 경우에도 예측 실패에 대한 책임 소재를 명확히 해두지 않으면, 재난 대응 실패를 시스템 탓으로 돌리며 행정 책임이 실종되는 부작용이 생긴다.
 

교육 분야에서는 AI 활용이 사고력을 보조하는 도구에 머물러야 하며, 평가와 선발의 최종 판단을 대체해서는 안 된다는 원칙이 필요하다. 사법 분야는 더 엄격하다. 양형이나 유·무죄 판단에 AI 예측을 참고 자료 이상으로 활용하는 순간, 재판받을 권리라는 헌법적 존엄이 흔들린다.
 

이처럼 부문별 기준을 세운 뒤에야 비로소 소버린 AI 역량이라는 두 번째 축이 의미를 갖는다. 반도체, 전력망, 통신망이라는 물리적 기반과 독자적 데이터 생태계를 결합해, 대한민국이 이 부문별 공공 AI를 실제로 운영할 수 있는 능력을 갖추어야 한다. 그리고 세 번째 축은 국제 규범 형성 과정에서의 태도다. 미국식 속도전에도, 중국식 전면 통제에도 종속되지 않으면서, 안전 기준의 공개성·재현성·독립적 검증 가능성이라는 절차적 공정성을 요구하는 중재자 역할을 맡아야 한다.
 

결국 질문은 기술이 인간을 대체하느냐가 아니라, 기술이 인간의 존엄을 확장하느냐다. 안전장치 없는 속도는 통제 불능의 위험을 낳고, 절차적 공정성 없는 규제는 사다리 걷어차기로 귀결된다. 대한민국이 지향해야 할 길은 이 두 축을 대립시키는 대신, 의료·복지·금융·재난안전·교육·사법이라는 각 영역의 특성에 맞춰 공공성과 경쟁력, 자유와 책임을 함께 묶어내는 정교한 제도 설계에 있다. 그 설계의 중심에 인간의 존엄이 놓일 때, AI는 인류 멸망의 서사가 아니라 인간의 삶을 더 안전하고 풍요롭게 만드는 공공 인프라로 자리 잡을 수 있다.
 

조선규 | 칼럼니스트