앤트로픽 CEO "AI 개발 속도 늦춰야"…올트먼·머스크도 동조

미국 인공지능(AI) 기업 앤트로픽의 다리오 아모데이 최고경영자(CEO)가 AI 오용 가능성을 경고하며, 안전장치를 마련하려면 모델 개발 속도를 늦춰야 한다고 촉구했다.

아모데이 CEO는 12일(현지시간) 자신의 블로그에 올린 글에서 "AI 모델의 성능 향상 속도를 늦춰야 한다"며 "발전은 여전히 빠르게 느껴지겠지만, 확보된 시간을 현명하게 활용해야 한다"고 주장했다.

그는 "지난 몇 달간 저는 위험을 완전히 해결하려면 훨씬 더 신중해야 한다는 확신을 갖게 됐다"며 "단순히 위험 예방에 투자하는 것뿐만 아니라, 위험 예방이 (AI 모델 성능 향상 속도를) 따라잡을 수 있도록 역량 발전 속도를 조절해야 한다"고 강조했다.

뉴시스에 따르면 그는 확보한 시간으로 해석 가능성 연구를 진전시키고, 최첨단 AI 기업의 운영 보안과 엄밀성을 높이며, 더 확신할 수 있는 수준으로 정렬된 모델을 만들 수 있다고 했다.

글을 쓰게 된 계기로는 두 가지를 꼽았다. 하나는 인간의 개입 없이도 AI 모델이 스스로 발전할 수 있는 '재귀적 자기개선'이다. 이로 인해 AI 발전 속도가 인간의 이해·통제 능력을 압도할 수 있다고 경고했다. 뉴시스 보도에서는 올여름부터 발전 속도가 극적으로 빨라졌고, 주된 동력은 AI가 차세대 AI를 만드는 능력이라고 설명했다고 전했다. 통제하지 않으면 인간의 이해·통제 능력을 앞지를 수 있다며, 이런 개발은 매우 신중하게 추진해야 하고 "어쩌면 아예 추진하지 않아야 할 수도 있다"고 했다.

다른 하나는 지난 7월 오픈AI의 미공개 AI 모델들이 테스트 중 글로벌 오픈소스 AI 플랫폼 허깅페이스를 무단 해킹한 사건이다. 최대 AI 기업들도 모르는 사이에 모델들이 통제를 벗어나 위험한 온라인 활동에 관여해왔다고 지적했다. 뉴시스에 따르면 그는 AI 능력 발전이 가속하면 6~12개월 안에 이런 에이전트 무리가 지속적인 봇넷으로 인터넷 전체를 장악할 수 있는 수준에 이를 수 있다고 우려했다.

다만 모델 학습이나 기술적 진보 자체를 중단하자는 것은 아니라고 선을 그었다. 기업들이 모델을 정렬하고 안전장치를 마련할 시간을 가져야 하며, 민주주의 국가 간 글로벌 공조를 강화해야 한다고 했다.

대책으로는 AI 기업 내부에 상주하는 제3자 안전 평가자(외부 검토자) 배치, 민주주의 국가 간 표준 수립, 글로벌 공조를 담은 '3단계 프레임워크'를 제안했다. AI 기업들이 미 의회의 규제 입법에 앞서 자발적으로 협력해 엄격한 기준을 마련해야 한다고도 거듭 촉구했다.

그는 AI가 인간 삶의 질을 크게 향상시킬 수 있다는 믿음은 줄지 않았다며, 그 혜택은 기술을 올바른 방식으로 개발할 때만 실현된다고 했다. 최전선을 안전한 속도로 전진시키기 위한 조치는 쉽지 않겠지만, 인류를 위해 시도할 의무가 있다고 밝혔다.

3천800단어에 달하는 이번 글은 앤트로픽이 AI 기술 안전성 우려를 담은 위협정보 보고서를 발표한 지 이틀 뒤에 나왔다. 당시 보고서는 무기 개발, 사이버 작전, 감시, 사기 행위 등에 앤트로픽의 '클로드' 모델이 어떻게 악용됐는지를 다뤘다.

최근에는 앤트로픽 연구원 제이콥 콕슨이 엑스(X·옛 트위터)에 AI가 10년 안에 인류를 파멸시킬 수 있다고 경고하며 퇴사하는 등, 업계 안팎에서 잠재적 위험에 대한 경각심이 커진 상태다.

글이 올라온 뒤 샘 올트먼 오픈AI CEO는 X에 "다리오의 의견에 동의한다"며 외부 안전 평가자 배치를 오픈AI도 따르겠다고 밝혔다. 뉴시스에 따르면 올트먼은 "최전선의 속도를 조절해야 한다는 다리오의 의견에 동의한다"며 "이는 최근 몇 주 동안 오픈AI에서 우리가 논의해온 핵심 주제였다"고 적었다. 이어 "직원과 같은 수준의 접근 권한을 가진 독립 평가자를 두겠다고 약속하는 것은 훌륭한 생각이다. 우리도 그렇게 할 것이다. 조만간 더 많은 내용을 공유하겠다"고 했다. xAI의 일론 머스크도 "다리오가 맞다"며 동조했다.

(뉴욕=연합뉴스 김연숙 특파원 / 서울=뉴시스 이재우 기자)