심화 읽기 · 재구성 본문
Training Frontier Models to Out-Think Hackers — Uri Rolls, Arithmetic & Thom Wolf, Hugging Face
20줄 요약20줄 · 펼쳐보기
- Thomas Wolf는 사이버 보안이 AI에게 생각보다 훨씬 더 넓은 탐구 및 공략 영역이라고 주장하며, 이 분야가 AGI 수준의 추론을 요구한다고 강조했다.
- Arithmetic과 Uri Rolls가 개발한 새로운 벤치마크는 모델이 세상에서 일어나는 일을 동적으로 이해하고 실시간으로 행동해야 하는 과제를 제시한다.
- 현재 최신 모델들도 이 벤치마크에서 1~2%의 낮은 성공률을 보이며, 이는 모델들이 동적 세상 모델을 충분히 구축하지 못하기 때문이다.
- Thomas는 폐쇄형 모델은 좋고 오픈소스 모델은 나쁘다는 이분법에 반대하며, 오히려 오픈소스 모델이 사이버 방어의 핵심 솔루션이 될 것이라고 주장했다.
- Uri Rolls는 사이버 공격의 경제학이 AI로 인해 근본적으로 변화하고 있다고 설명하며, 공격자들이 이제 한 번에 여러 대상을 선택할 수 있게 되었다고 말했다.
- 방어자의 임무는 모든 문과 창문을 닫는 것이지만, 공격자는 방어자가 놓친 단 하나의 틈만 찾아내면 된다는 집에 비유로 문제를 설명했다.
- 기존 방어 시스템은 대규모로 운영되어 인간 개입이 제한적이므로, AI 시대의 속도와 복잡성을 따라갈 수 없다고 지적했다.
- Uri는 해결책이 모델 그 자체이며, 우리가 모두 숲속으로 들어가 살 수 없다면 모델 능력을 획기적으로 향상시켜야 한다고 말했다.
- Arithmetic의 첫 공개 벤치마크인 Masov는 사이버 보안 전체를 포괄하는 것이 아니라 접근 제어(Access Control)에 집중한다.
- 접근 제어는 사이버 공간에서 어떤 목표물에 접근하든 첫 번째 관문이며, OWASP 목록 1위이자 300억 달러 산업을 형성한 논리 기반 취약점 영역이다.
- Arithmetic은 널리 배포된 오픈소스 소프트웨어에서 직접 제로데이를 찾아내고, 이를 기반으로 다양한 애플리케이션이 연결된 거대한 실제 환경을 구축했다.
- Masov는 모델에게 코드와 인터넷 접근을 금지한 블랙박스 환경에서 기본적인 도구만 제공하고, 실제 제로데이를 해결하도록 요구한다.
- 평가는 이진 통과 방식으로, 권한이 부족한 사용자가 허용되지 않은 작업을 수행할 수 있었는지를 결정론적으로 검증한다.
- 예시 과제에서는 Keycloak, Vault, Broker가 연결된 환경에서 관리자 이름만으로 권한을 확인하는 취약점을 이용해 약 16단계의 논리 과정을 거쳐 권한을 상승시켜야 한다.
- GPT 5.5와 Opus의 시도는 매우 혼란스러운 탐색을 보였고, 검사 단계까지는 도달했지만 이름 변경을 통한 권한 우회라는 논리적 도약은 하지 못했다.
- 실제 벤치마크 결과에서 K1 난이도에는 단 하나의 해법만 존재했고, K5 난이도에서는 GPT만이 문제를 해결할 수 있었다.
- 다른 모델들은 탐색 단계에서 필요한 거의 모든 정보를 수집했지만, 정보를 실제 익스플로잇으로 전환하는 도약을 하지 못했다.
- Thomas는 속도가 핵심이며, 모든 것을 해결해 줄 두 회사에만 의존해서는 안 되고 오픈소스 모델과 협업을 통해 모든 기업이 보호받을 수 있어야 한다고 강조했다.
- Uri는 이 데이터를 바탕으로 협업할 포럼을 마련했으며, 접근 제어 외 다양한 사이버 영역으로 벤치마크를 확장할 계획이라고 밝혔다.
- 향후 사이버 방어는 엄청난 양의 훈련 후 데이터와 뛰어난 모델, 그리고 오픈소스 커뮤니티의 협업을 통해 공격자보다 빠르고 깊게 사고하는 모델에 의존하게 될 것이다.
Thomas Wolf는 사이버 보안이 AI에게 생각보다 훨씬 더 넓은 탐구 및 공략 영역이라고 주장하며, 이 분야가 AGI 수준의 추론을 요구한다고 강조했다.
원문에서 더 읽기
관련 링크 · 출처