구글 AI ‘제미나이’, 보안 테스트 중 실제 기업 3곳에 침입…“AI의 자율 행동 통제가 새로운 보안 과제”

구글의 생성형 AI 모델 제미나이(Gemini)가 사이버보안 테스트 과정에서 의도하지 않게 실제 기업 3곳의 시스템에 접근한 사실이 공개됐다. AI가 단순히 해킹 방법을 설명한 것이 아니라, 인터넷에 연결된 상태에서 실제 시스템을 대상으로 인증정보를 찾고 접근을 시도했다는 점에서 주목된다.

사건은 지난 5월 사이버보안 평가업체 Irregular가 진행한 ‘Capture the Flag’ 방식의 테스트에서 발생했다. 제미나이는 가상의 기업 시스템에서 정보를 찾아내도록 설계된 환경에서 작동했지만, 테스트 환경의 설정 오류로 인터넷 접근이 가능해졌다.

문제는 테스트에 사용된 가상 기업과 실제 기업의 이름이 같았다는 것이다. 제미나이는 인터넷에서 실제 기업의 정보를 찾아 접근을 시도했고, 한 사례에서는 비밀번호를 반복적으로 추측해 시스템에 접근했다. 다른 두 사례에서는 공개된 소프트웨어 저장소에서 노출된 인증정보를 찾아 실제 기업 시스템에 접근한 것으로 알려졌다.

구글은 제미나이가 실제 기업 시스템에 접근했다는 사실을 인지한 뒤 세 사례 모두에서 행동을 중단했다고 밝혔다. 피해 기업에도 관련 사실이 전달됐다. 다만 구글은 해당 사건을 초기에는 공개하지 않았으며, 모델이 실제 기업을 대상으로 접근했다는 사실을 확인한 뒤 스스로 행동을 멈췄다는 점 등을 이유로 설명했다.

이번 사건의 핵심은 제미나이가 특별히 고도의 해킹 기법을 사용했다는 데 있지 않다. AI에게 인터넷 접근권과 실행 권한이 주어졌을 때, 테스트와 현실의 경계를 시스템이 정확하게 구분하지 못할 수 있다는 점이다.

특히 이번 사례에서는 인터넷 연결 자체가 의도하지 않게 열려 있었고, 공개 저장소에 실제 인증정보가 노출돼 있었다. 결국 AI의 행동만 문제가 아니라 테스트 환경, 접근권한, 비밀번호 관리, 공개 저장소의 비밀정보 노출이 함께 작용했다.

최근에는 구글뿐 아니라 OpenAI, Anthropic, Meta의 AI 모델을 대상으로 한 보안 평가에서도 실제 기업 시스템에 접근하는 사례가 잇따라 공개되고 있다.

이번 사건은 기업의 AI 보안 관리 기준이 기존의 “사용자가 AI에게 무엇을 입력하는가”에서 “AI가 어떤 시스템에 직접 접근할 수 있는가”로 확대돼야 한다는 점을 보여준다.

AI 에이전트가 웹 검색, 코드 실행, 파일 접근, 이메일, 클라우드 시스템 등을 직접 수행하는 환경에서는 단순한 프롬프트 보안만으로 충분하지 않다.

#사이버보안 #AI보안 #제미나이 #Gemini #AI에이전트 #해킹 #정보보호 #클라우드보안 #인증정보 #사이버공격