앤트로픽의 인공지능(AI) 모델 클로드를 이용한 보안 연구진이 오픈AI 직원의 챗GPT 계정을 뚫고 회사의 핵심 소프트웨어 저장소까지 접근한 것으로 나타났다.
클로드로 오픈AI 직원 계정 넘어 핵심 코드 저장소까지 접근
보안업체 핵트론AI 연구진이 앤트로픽의 클로드를 이용해 오픈AI 직원 계정과 비공개 저장소까지 접근한 사실이 월스트리트저널 보도로 확인됐다. 오퍼스 4.8은 실패했으나 오퍼스 5가 다음 날 공격 코드를 만들었고, 연구진은 버그 바운티로 6500달러를 받았다.
an abstract image of a sphere with dots and lines · 사진 Growtika / Unsplash · 해당 이미지는 기사 내용과 직접적인 관련이 없습니다. · 사진 원문 보기
17일(현지시간) 월스트리트저널(WSJ)에 따르면 보안업체 핵트론AI(Hacktron AI) 연구진은 지난 7월 클로드를 이용해 오픈AI 직원의 챗GPT 계정과 비공개 깃허브(GitHub) 저장소에 접근하는 데 성공했다. 이번 작업은 외부 연구자가 기업 시스템 취약점을 찾아 신고하면 포상금을 주는 버그 바운티 프로그램의 일환으로 진행됐다. 연구진은 문제를 발견한 뒤 즉시 회사에 알렸고 6500달러 포상금을 받았다.
오픈AI는 해커들이 두 가지 문제점을 발견했다고 밝혔다. 오픈AI의 커뮤니티 토론 포럼을 운영하는 외부 서비스 디스코스(Discourse)의 취약점과 오픈AI 자체의 문제다. 회사는 현재 모두 해결됐다고 전했다. 다만 오픈AI는 디스코스에 대한 테스트 자체는 자사 버그 바운티 범위에 포함되지 않는다고 설명했다.
공격의 출발점은 지난 7월 23일이었다. 연구진은 디스코스가 특정 이미지 파일을 처리하는 방식에서 취약점을 발견했다. 사이버보안 전문가에게 제공되는 특별 버전의 클로드 오퍼스 4.8에 이 취약점을 공격하는 코드를 작성하도록 요청했으나 처음에는 제대로 작동하지 않았다. 앤트로픽이 같은 날 저녁 오퍼스 5를 출시하자 새 모델은 다음 날 취약점을 실제로 이용할 수 있는 공격 코드를 만들어냈다.
연구진은 이 코드를 이용해 오픈AI 토론 포럼을 호스팅하는 디스코스 서버에 접근하고 사용자 인증 토큰을 확보했다. 인증 토큰은 이용자가 로그인한 상태임을 확인하는 디지털 정보다. 확보된 토큰 가운데 일부는 오픈AI 직원의 것이었고, 챗GPT뿐 아니라 코덱스 계정과 오픈AI의 깃허브에도 접근할 수 있는 것으로 나타났다.
closeup photo of turned-on blue and white laptop computer · 사진 Philipp Katzenberger / Unsplash · 해당 이미지는 기사 내용과 직접적인 관련이 없습니다. · 사진 원문 보기
연구진은 이를 통해 오픈AI의 비공개 소프트웨어 저장소인 모노레포(Monorepo) 내부 파일을 읽고 문서 변경까지 요청할 수 있었다. WSJ이 인용한 관계자들에 따르면 모노레포에는 오픈AI의 모델을 빠르고 효율적으로 작동시키는 알고리즘 관련 핵심 기술이 담겨 있다. 다만 대규모언어모델(LLM)의 핵심 자산인 모델 가중치(model weights)는 포함되지 않은 것으로 알려졌다. 모델 가중치는 AI 모델이 입력된 정보를 처리하고 결과를 만들어내는 과정에 사용되는 방대한 수치 정보다.
연구진은 민감한 정보에 접근할 수 있다는 사실을 확인한 뒤 공격을 중단했다. 접근 권한을 입증하기 위해 내부 문서 파일에 ‘Hacktron AI Team PoC’라는 문구와 연구원들의 엑스(X) 계정 링크를 넣는 변경 요청(풀 리퀘스트)을 보냈으나 이 요청은 승인되지 않았고 실제 변경 사항도 저장소에 반영되지 않았다.
오픈AI는 자체 조사에서 비공개 저장소의 메타데이터와 코드가 제한적으로 열람된 사실을 확인했다고 밝혔다. 회사는 커뮤니티 로그인 토큰의 권한 범위를 줄이고 영향을 받은 토큰과 세션을 폐기했다. 디스코스도 취약점을 통보받은 7월 25일 문제를 수정했다.
핵트론AI의 모한 페다파티 최고기술책임자(CTO)는 이번 사건이 국가 지원을 받는 사이버 공격 조직이 AI 기업의 핵심 기술에 접근할 위험을 보여준다고 지적했다. 그는 "우리가 중국의 위협 행위자들만큼 강하다고 생각하지 않는다"며 "우리는 클로드와 코덱스 구독권을 가진 세 명에 불과하다"고 말했다.
AI 보안업체 어번던트시큐리티의 조슈아 색스 CTO는 과거에는 소프트웨어 취약점을 찾아낼 수 있는 전문가가 제한적이었지만 이제 AI 에이전트가 더 많은 사람에게 이런 능력을 제공하고 있다고 지적했다. 그는 "작년까지만 해도 이런 취약점을 찾아낼 수 있는 전문가는 수천 명뿐이었다"며 AI 에이전트가 이 장벽을 낮추고 있다고 설명했다.
오픈AI는 앞서 지난 7월 자사 AI 에이전트들이 통제망을 벗어나 허깅페이스를 해킹한 사건까지 발생하자 대대적인 보안 점검에 나섰다. 그레그 브록먼 오픈AI 사장 겸 공동창업자는 "프로덕션 엔지니어의 25%에게 진행하던 프로젝트를 모두 중단하고 방어 업무를 맡도록 했다"며 "여러 심각한 문제를 발견했고 이를 수정했다"고 밝혔다.