발표자: Jack Cable — Corridor 공동창업자 & CEO, 前 CISA(사이버보안·인프라보안청) 수석 기술 고문, 스탠포드 CS 출신, 고교 시절 버그바운티 Top 100
1. 핵심 주장 (What)
AI가 공격자·방어자 양쪽 모두의 능력을 폭발적으로 증폭시키는 이중 지각변동이 일어나고 있다.
- 프론티어 AI 모델들은 취약점 발견·익스플로잇 능력이 나날이 향상 중
- 동시에 AI 코딩 도구가 코드 생성 속도를 폭발적으로 높이며 공격 표면도 함께 확장
- 이 이중 지각변동이 "AI 버그 종말론(Bug Apocalypse)"의 핵심 구조
- 방어자가 이길 유일한 길은 공격자와 동일한 AI 기법으로 시스템을 근본적으로 강화하는 것
2. 근거와 맥락 (Why/How)
2-1. AI 코딩 툴의 폭발적 확산
- 2023년 기준 개발자의 **84%**가 AI 코딩 도구 사용 (Stack Overflow 조사)
- 기업의 **30~40%**가 AI 코딩 어시스턴트 사용 권장
- 2026년에는 "대다수 개발자·기업이 코딩 에이전트를 사용"할 것으로 예상
- 자동완성 → Cursor/Claude Code 동기 에이전트 → Slack에서 다수 에이전트를 백그라운드 병렬 실행하는 단계로 진화
2-2. AI의 사이버 공격 능력 급상승
- Anthropic의 Claude 4 계열(Mythos·Fable) 차트: 취약점 탐색·익스플로잇 능력 급격히 향상
- 자율 공격 체인 전체(발견 → 익스플로잇 → 자동화)를 실행할 수 있는 수준으로 발전
- 적들은 이미 이 모델을 사용해 실제 시스템을 공격 중
2-3. 발견되는 취약점의 본질 — "새로운 것이 없다"
- AI 모델들이 찾는 취약점은 대부분 수십 년 전부터 알려진 클래스
- MITRE Top 취약점 목록, CISA KEV(Known Exploited Vulnerabilities) 카탈로그에 버퍼 오버플로가 2위
- 버퍼 오버플로: 30년 전에 최초 문서화된 취약점
- 좋은 뉴스: 우리는 이미 이 취약점들을 근본적으로 막는 방법을 알고 있다
2-4. 모델이 코드를 쓸 때도 취약점을 도입한다
- BacksBench (ETH Zurich·UC Berkeley 연구): 최고 모델도 코드 작성 시 20~40% 확률로 취약점 도입
- 이유 ①: 모델은 취약점이 가득한 기존 인류 코드로 학습됨
- 이유 ②: 보안은 맥락 의존적 — 기업의 독점 비즈니스 로직은 모델이 알 수 없음
- 특히 권한 인증(Authorization) 버그: 회사의 도메인 지식 없이는 탐지 불가
2-5. Opus 4.6의 실제 사고 사례
- Opus 4.6이 스마트 컨트랙트에 취약점 도입 → 수백만 달러 탈취
- 모델이 아무리 스마트해도 컨텍스트 부재로 인한 보안 실수는 피할 수 없음
3. 구체적 사례와 데이터
메모리 안전성 언어로의 전환 효과
| 지표 | 수치 |
|---|---|
| 메모리 비안전 언어 제품의 예방 가능 취약점 비율 | 60~70% |
| Android OS 메모리 안전 취약점 비율 (2019년) | ~75% |
| Android OS 메모리 안전 취약점 비율 (2022년) | ~30% |
| 신규 코드만 메모리 안전 언어로 전환 시 감소폭 | 2019→2022 사이 절반 이하로 감소 |
- Google의 Android: 새 코드만 메모리 안전 언어로 전환해도 취약점 비율 75%→30%로 격감
- Linux 커널: Rust로 부분 재작성 진행 중
- Google, Microsoft, Amazon, Linux 등 대형 프로젝트에서 실증
코딩 에이전트 진화 단계
- 자동완성(Auto-complete)
- Cursor/Claude Code 동기 에이전트
- 1시간 이상 실행되는 자율 에이전트, 대형 코드 변경 생성
- 곧 도래: AI가 코드를 리뷰하고 머지 → 향후 6~12개월 내 "대부분 코드가 인간이 아닌 AI에 의해 리뷰될 것"
4. 시사점과 실행 포인트
4-1. 기업이 지금 해야 할 일
① 취약점을 패치하는 두더지 잡기를 그만하고, 근본 재설계에 투자하라
- 오픈소스 라이브러리에 수백만 달러 부어 취약점 하나씩 패치 → 비효율의 극치
- 핵심 라이브러리를 Rust 등 메모리 안전 언어로 1회 재작성 → 영구적 배당
- 모델이 더 스마트해져도 Rust의 프로그래밍 보장(programmatic guarantee)은 우회 불가
② AI 가드레일을 PR 이전 단계에 배치하라
- 코딩 가속화를 막는 것은 불가능 → 막을 것이 아니라 가드레일로 안전하게 가속하라
- Corridor의 접근: PR 이전에 취약점 차단 + AI 코딩 도구 사용 가시성 확보
- 보안팀이 "코딩 에이전트를 쓰면 안 된다"고 할 수 없는 시대 → "어떻게 안전하게 쓸 것인가"의 문제
③ 자율 코드 리뷰 시대에 대비하라
- 6~12개월 내 대부분 코드가 AI 리뷰 후 머지될 것
- 코드리뷰 병목 해소 = 보안 가시성 확보 없이는 재앙
- AI 리뷰에 맡기기 전에 근본적인 보안 기반이 먼저
4-2. 정부·정책에 대한 권고 (미 의회 증언 내용)
Jack Cable이 미 의회에서 증언한 3대 권고:
- 신규 코드의 취약점 방지: 기업·정부 모두 AI 가속 개발에서 보안이 뒤처지지 않도록
- 오픈소스 기반 강화: 오픈소스는 적들의 공격 테스트 환경 — 단발성 패치가 아닌 구조적 재작성
- 미국산 오픈웨이트 모델 생태계 육성: 폐쇄 모델만으로는 경쟁력 유지 불가, 파인튜닝 가능한 오픈웨이트 프론티어 모델 필요
4-3. 수출 규제 논쟁에 대한 입장
- Claude 4 Mythos·Fable 수출 규제 해제 서한에 서명
- 이유: 방어자에 대한 혜택 > 악용 위험
- 현실: 적들은 이미 강력한 모델에 접근하고 있다 — 蒸溜 공격(distillation attack)으로 클로즈드 모델 추격 빠름
- 따라서 방어자가 이 모델을 빨리 쓸 수 있게 해야 한다는 논리
4-4. 개발자·보안팀을 위한 핵심 행동지침
| 우선순위 | 행동 |
|---|---|
| 🔴 즉시 | PR 이전 AI 취약점 스캐닝 도입 |
| 🔴 즉시 | 신규 코드를 메모리 안전 언어로 작성 |
| 🟡 단기 | 핵심 라이브러리의 Rust 재작성 로드맵 수립 |
| 🟡 단기 | AI 코딩 에이전트에 보안 가드레일 통합 |
| 🟢 중기 | AI 코드 리뷰 파이프라인에서의 보안 자동화 |
핵심 요약 (20줄)
- Jack Cable(Corridor CEO, 前 CISA 고문)은 AI 버그 종말론의 원인과 대응책을 심층 분석했다.
- AI 코딩 도구 확산(개발자 84% 사용)과 프론티어 모델의 취약점 탐색 능력 급상승이 동시에 일어나고 있다.
- 공격 표면은 AI 코딩으로 폭발적 확장, 동시에 AI는 취약점 탐색·익스플로잇 전 과정을 자동화한다.
- 핵심 역설: AI가 발견하는 취약점은 30년 묵은 클래스(버퍼 오버플로 등)로 새로운 것이 없다.
- 즉, 우리는 이 취약점들을 근본적으로 막는 방법을 이미 알고 있다 — 메모리 안전 언어다.
- 메모리 비안전 언어(C/C++) 제품 취약점의 60~70%는 Rust·Go 전환만으로 원천 차단 가능하다.
- Android의 사례: 신규 코드만 메모리 안전 언어로 작성해도 취약점 비율이 75%→30%로 격감했다.
- BacksBench 연구에 따르면 최고 AI 모델도 코드 작성 시 20~40% 확률로 취약점을 도입한다.
- 특히 권한 인증(Authorization) 버그처럼 회사 도메인 지식이 필요한 취약점은 AI가 놓치기 쉽다.
- Opus 4.6이 스마트 컨트랙트에 취약점을 도입해 수백만 달러가 탈취된 실사례도 발생했다.
- 향후 6~12개월 내 대부분의 코드가 인간이 아닌 AI에 의해 리뷰·머지될 것으로 전망된다.
- 코드리뷰 병목 해소가 절박하지만, 보안 가드레일 없이 자율화하면 대규모 취약점 축적으로 귀결된다.
- Corridor의 접근법: PR 이전 단계에서 AI 취약점 차단 + 코딩 에이전트 사용 가시성 확보.
- 핵심 메시지: 보안팀은 "코딩 에이전트 사용 불가"를 외칠 게 아니라 "가드레일과 함께 가속"해야 한다.
- 오픈소스 라이브러리 단발성 패치보다 Rust 재작성 같은 구조적 강화가 장기적으로 훨씬 효율적이다.
- Claude 4 Mythos·Fable 수출 규제 해제 서한에 서명 — 방어자 혜택이 악용 위험을 상회한다는 논리.
- 적들은 Distillation Attack으로 이미 강력한 오픈웨이트 모델에 접근 중 — 방어자도 빨리 써야 한다.
- 미 의회 증언 3대 권고: ①신규 코드 취약점 방지, ②오픈소스 구조적 강화, ③미국산 오픈웨이트 생태계 육성.
- AI 보안의 승리 공식: 근본적 Secure-by-Design(메모리 안전 언어) + AI 기반 사전 방어 자동화.
- 이 전쟁에서 이기려면 공격자와 같은 AI 기법을 방어에도 적용하고, 근본 아키텍처를 바꿔야 한다.
YouTube: https://www.youtube.com/watch?v=7JgIS42mz7U 저장일: 2026-07-13