URL: https://www.youtube.com/watch?v=Be-NqsW-wuk 날짜: 2026-08-14 채널: t3dotgg 원문 제목: Claude watermarks your code now
📌 핵심 질문 / 이 영상이 다루는 핵심 논점
==EU AI Act에 대응해 Anthropic이 Claude가 생성하는 텍스트와 코드를 기계 판독 가능한 워터마크로 표시하려 하지만, 텍스트 워터마크는 이미지보다 숨기기 어렵고 제거하기는 훨씬 쉬워 실질적으로 저노력 스팸만 잡는 고양이와 쥐 게임이 될 가능성이 크다.==
- EU AI Act의 Article 50은 AI가 생성·조작한 콘텐츠를 표시할 수 있도록 요구하며, 생성형 AI 제공자는 가능한 범위에서 출력물을 기계 판독 형식으로 표시해야 한다.
- Anthropic은 Claude, API, Claude Code, Claude Cowork, Claude가 파일을 다루는 환경 등 제품 표면과 호스팅 플랫폼 전반에 텍스트 워터마크와 파일용 서명된 provenance 메타데이터를 적용하겠다고 밝혔다.
- 이미지에는 사람이 눈치채지 못하는 픽셀 여유 공간이 많지만, 텍스트는 이미 고도로 압축되어 있어 의미와 문체를 바꾸지 않고 숨길 공간이 거의 없다.
- 유니코드 공백 치환, 통계적 재작성, 간단한 문법 수정, 다른 모델의 패러프레이즈만으로도 대부분의 텍스트 워터마크를 제거할 수 있다.
AI 생성물을 표시하자는 목적 자체는 사용자가 AI와 대화하고 있다는 사실을 알게 하거나 공공 정보의 출처를 투명하게 만드는 데 타당하다. 그러나 탐지 가능한 워터마크는 생성 모델과 탐지 도구의 내부 규칙을 알아야 하며, 그 규칙이 표준화되고 공개될수록 제거 도구도 함께 강력해진다. 장기적인 해법은 모든 가짜를 완벽히 탐지하는 것보다 사람이 만든 이미지와 문서를 확실히 인증하고, 무엇이든 실제처럼 보일 수 있다는 사실을 대중에게 교육하는 방향에 가깝다.
1. AI 생성물 표시가 필요한 이유와 Anthropic의 발표
AI를 사용했는지 판별하기 어려워지는 현상이 콘텐츠 신뢰 문제를 키우고 있으며, Anthropic은 EU 규제의 의무를 지키기 위해 코드까지 표시 대상에 넣었다.
1.1. AI 문체의 흔적만으로는 판별할 수 없다
-
흔히 말하는 AI 흔적의 한계
- 문장 패턴: 엠 대시(em dash), “당신 말이 맞습니다”, “X가 아니라 Y다” 같은 대조 문형, 특정한 반복 패턴이 AI의 흔적으로 거론된다.
- 판별의 불확실성: 이런 단서가 있어도 특정 글이나 코드 한 줄이 정말 AI로 작성됐는지는 대체로 확정할 수 없다.
-
콘텐츠 품질에 대한 공포
- 슬롭(slop)의 확산: 인간이 쓴 텍스트와 AI가 쓴 텍스트를 구별할 방법이 사라지면 세상이 매우 빠르게 저품질 콘텐츠 더미로 변할 수 있다는 우려가 있다.
- 규제의 문제의식: EU도 같은 문제를 인정해 AI Act를 도입했고, AI가 만든 미디어와 텍스트를 더 쉽게 알아보고 표시하는 것을 목표로 삼았다.
1.2. Anthropic의 EU 대응 발표
-
적용 범위
- 출력 텍스트와 코드: Anthropic 문서에는 2026년 8월 2일 이후 EU에서 출시되는 Claude 모델이 출시 시점부터 기계 판독 가능한 표시를 지원한다고 적혀 있다. 생성 텍스트에는 임베디드 워터마크가 들어가고, 지원되는 파일에는 디지털 서명된 provenance 메타데이터가 포함된다.
- 모든 표면과 플랫폼: 표시는 특정 웹 UI가 아니라 모델 수준에서 적용되므로 API, Claude 앱, Claude Code, Claude Cowork 및 기타 Claude 제품에서 나온 텍스트에 따라붙는다. AWS, Google Cloud, Foundry에서 호스팅되는 Claude에도 적용된다.
- 기존 모델까지 확대: Anthropic은 새 모델뿐 아니라 과거 모델에도 표시를 추가할 계획이라고 밝혔다.
-
두 가지 보완 기술
- 텍스트 워터마크: Claude가 생성하는 텍스트 자체에 사람이 볼 수 없는 신호를 섞는다. 의미, 품질, 가독성을 바꾸지 않는 것이 목표이며, 복사·붙여넣기해도 따라가고 일부 편집 뒤에도 남을 수 있다고 설명한다.
- 서명된 provenance: Claude가 SVG, PNG, JPEG 같은 파일을 만들거나 처리할 때 C2PA(Content Credentials) 표준에 맞춘 서명 메타데이터를 붙인다. 메타데이터가 있으면 Claude가 파일을 처리했다는 신호와 파일 변조 여부를 확인할 수 있다.
2. EU AI Act와 투명성 코드의 실제 요구
공식 Code of Practice는 제공자(provider)와 배포자(deployer)를 구분하며, 법적 의무와 자발적 권고가 섞여 있다.
2.1. 코드의 구조와 핵심 조항
-
두 개의 섹션
- Section 1 — 제공자 규칙: AI가 생성하거나 조작한 콘텐츠를 표시하고 탐지하는 규칙을 다룬다.
- Section 2 — 배포자 규칙: 딥페이크와 AI가 생성·조작한 텍스트를 어떻게 라벨링할지 다룬다.
- 작성 주체: EU AI Office가 조정한 다중 이해관계자 과정에서 독립 전문가들이 작성했다.
-
자발적 코드와 강제되는 의무
- 자발적 준수: Code of Practice 자체를 따르는 것은 자발적이다.
- Article 50의 법적 의무: 그러나 투명성 요구사항은 법적 의무다. 사용자가 AI와 대화하고 있다는 사실을 알 수 있는 방식으로 AI를 배포해야 한다.
- 유일하게 강제되는 핵심 표현: AI 제공자는 기술적으로 가능한 범위에서 출력물을 효과적이고, 상호운용 가능하며, 견고하고, 신뢰할 수 있는 기계 판독 형식으로 표시해 인공적으로 생성되거나 조작된 것임을 탐지할 수 있게 해야 한다.
2.2. 표시 의무의 예외
-
보조적 편집 기능
- 입력의 의미를 실질적으로 바꾸지 않는 작업: 표준 편집, 자동 교정, 기존 입력 데이터나 그 의미를 실질적으로 바꾸지 않는 보조 기능에는 같은 수준의 표시 의무가 적용되지 않는다.
- 사진의 작은 보정: 얼굴의 여드름을 지우는 정도의 보조적 편집은 완전히 새 콘텐츠를 생성하는 작업과 동일하게 취급하지 않을 수 있다.
- 문법 교정: 사람이 쓴 에세이에서 개선할 부분을 찾거나 문법을 다듬는 작업도 같은 예외에 가까울 수 있다.
-
법 집행 목적
- 수사·예방·기소: 범죄를 탐지, 예방, 수사하거나 기소하기 위해 법률이 허용한 시스템에는 해당 의무가 적용되지 않는 예외가 있다.
- 실제 쟁점: 반대로 LLM이 새로 생성한 문장이나 코드는 예외가 아니라 표시 대상이 되므로, Claude의 코드 생성도 규제 범위에 들어간다.
3. 이미지 워터마크가 쉬워 보이지만 쉽게 깨지는 이유
이미지는 사람의 지각과 디지털 데이터 사이에 큰 여유가 있어 워터마크를 숨길 수 있지만, 동일한 이유로 압축과 편집을 거치면 신호도 쉽게 사라진다.
3.1. PNG와 JPEG 사례
-
겉으로 같은 두 이미지
- 판별 불가능한 출처: Maria가 며칠 전 X에 올린 이미지에는 AI 생성 표시가 없었지만, 표시가 없다는 사실만으로 사진이 실제 촬영물이라고 결론 내릴 수 없다.
- 파일 형식의 차이: 화면상 동일해 보이는 두 이미지라도 하나는 PNG이고 다른 하나는 JPEG일 수 있으며, 두 파일 사이에는 단 한 바이트도 공유되지 않을 수 있다.
-
사람이 보는 것과 파일이 담는 것의 차이
- 623KB의 여유: 예시 이미지는 약 623KB로 아주 크지도 작지도 않지만, 사람이 인식하지 못하는 데이터가 들어갈 공간은 충분하다.
- 픽셀 신호: 왼쪽 위의 색상 중 더 어두운 보라색을 골라 픽셀 세 개는 그대로 두고 네 번째 픽셀의 색을 바꾸는 방식으로 T3라는 패턴을 넣을 수 있다.
- 지각 불가능성: 영상 압축까지 거치면 사람이 이 변화를 알아챌 수 없으며, RGB나 HSL 값 중 하나를 30에서 31로 바꾸는 정도의 변화도 시각적으로 드러나지 않는다.
3.2. 압축이 워터마크를 제거하는 과정
-
압축 알고리즘의 목표
- 유사 색상의 평탄화: 이미지 압축은 가까운 영역의 색과 밝기를 하나로 정규화해 반복 저장을 줄인다.
- 패턴의 소실: 네 픽셀마다 한 픽셀의 색을 미세하게 바꾼 신호는 JPEG 같은 압축 알고리즘이 거의 항상 평탄화한다.
-
실제 우회 방법
- 파일 변환: PNG를 JPEG로 다시 내보내는 것만으로도 워터마크를 없앨 수 있다.
- 재압축과 크기 조절: 압축률을 올리거나 이미지를 크게 확대한 뒤 다시 축소해도 신호가 파괴된다.
- 미세한 필터: 1% 정도의 샤프닝은 사람 눈에 차이가 거의 없지만 모든 픽셀을 다시 인코딩해 기존 패턴을 바꾼다. 2~5%의 변화도 사람이 거의 못 보는 수준에서 신호를 없앨 수 있다.
- 블러·리사이즈·위치 이동: 이미지를 약간 흐리게 하거나 캔버스 크기를 바꿔도 0.1~1% 불투명도로 얹은 패턴은 빠르게 뭉개진다. 원본을 아주 조금 줄여 픽셀의 위치만 바꿔도 워터마크를 죽일 수 있다.
-
탐지 서비스의 취약점
- SynthID: Google은 이미지·영상 중심의 AI 식별 플랫폼 SynthID를 만들었지만, 제작자는 공식 Gemini 사이트에서 하루 세 번 정도의 테스트만 사용할 수 있고 공식 접근 권한을 받지 못했다고 말한다.
- 노이즈 패턴: SynthID와 GPT Image 2는 이미지 위에 특정 노이즈 패턴을 얹는 방식으로 보이며, 필터를 아주 조금만 적용해도 탐지 대상 비트가 전부 달라진다.
- 직접 복사할 때의 차이: ChatGPT나 Gemini에서 이미지를 그대로 복사하면 내부 ID와 패턴이 남아 X에서 AI 생성 이미지로 태그되기 쉽지만, 재저장·재인코딩은 그 신호를 제거한다.
4. 텍스트 워터마크는 훨씬 어려운 문제다
텍스트는 이미지처럼 보이지 않는 픽셀을 바꿀 수 없으며, 한 단어의 변화도 짧은 문장에서는 즉시 의미와 문체에 영향을 준다.
4.1. 데이터 규모가 줄어들 때 사라지는 여유
-
이미지와 텍스트의 대비
- 픽셀 수에 따른 차이: 4픽셀 이미지의 한 픽셀을 바꾸면 눈에 띄지만, 400만 픽셀 이미지의 한 픽셀은 보이지 않는다.
- 문장의 단어 수에 따른 차이: 책 전체에서 단어 하나를 바꾸면 알아채기 어렵지만, 한 문장 안의 단어 하나를 바꾸면 의미와 어조가 명확히 달라진다.
- 워터마크 공간의 부족: 623KB 이미지에서 몇 비트를 바꿀 수 있는 것과 달리, 텍스트의 각 바이트는 문자나 단어의 의미에 직접 연결된다.
-
스테가노그래피 문제
- 정의: 텍스트 워터마킹은 비밀 코드를 평문에 숨기는 스테가노그래피(steganography) 문제다. “stenography”와 발음이 비슷해 혼동하기 쉽다는 농담도 덧붙인다.
- 단순한 규칙의 부작용: 다섯 번째 글자마다 E를 넣는 방식은 탐지하기 쉽지만 AI 출력물을 오탈자투성이로 만든다.
- 모델에게 제약을 떠넘기는 비용: 강한 모델이 워터마크 제약을 만족하도록 문장을 다시 만들 수는 있지만, 사용자 문제를 풀어야 할 추론 시간을 표시 작업에 쓰게 되고 모델이 실제 능력보다 덜 똑똑하게 들릴 수 있다.
4.2. 모델 재실행만으로는 탐지할 수 없는 이유
-
가능한 답변 공간
- 거대한 전체 공간: 특정 질문에 대한 Claude의 가능한 답변 공간은 매우 크다.
- 워터마크 답변 공간: 그중 워터마크를 가진 답변의 공간은 훨씬 작다. 모든 Claude 답변을 모델에 다시 넣어 토큰 예측 일치도를 계산하면, AI가 쓰지 않은 인간의 글도 우연히 높은 점수를 받을 수 있다.
-
오탐과 비용
- 인간의 자연스러운 문체: 모델이 학습한 자료에 자주 등장한 사람이 모델과 비슷한 말투를 쓰면 인간인데도 AI로 오인될 수 있다. 일부 유튜버는 원래 말투가 모델이 학습한 문체와 비슷해 이런 피해를 크게 받는다.
- 확률의 비대칭: 인간이 우연히 Claude처럼 쓰는 일은 인간이 우연히 특정 워터마크를 재현하는 것보다 훨씬 가능성이 높다.
- 계산량: Anthropic의 모든 모델을 텍스트마다 실행해 확인하는 방식은 비용이 지나치게 크다. EU AI Act가 EU 시민에게 무료 워터마크 확인 서비스를 요구할 가능성까지 고려하면 현실적인 방식이 아니다.
5. Claude 텍스트 워터마크의 가능한 구현
Claude는 토큰 샘플링의 선택 편향과 보이지 않는 유니코드 문자를 활용할 수 있으며, 둘 다 추가하기는 쉽지만 제거도 쉽다.
5.1. 토큰 확률과 SynthID 계열 방식
-
LLM의 토큰 생성 과정
- 확률 목록: 모델은 다음 토큰 하나만 내놓는 것이 아니라 약 10만 개 어휘 각각에 다음 토큰이 될 확률을 계산한다.
- 샘플링: ChatGPT나 Claude Code는 가장 가능성 높은 후보 중 일부를 반무작위로 골라 자연스러운 출력을 만든다.
-
샘플링을 신호로 바꾸기
- 단순 패턴: 두 번째로 유력한 토큰, 첫 번째 토큰, 두 번째 토큰, 첫 번째 토큰을 번갈아 고르면 품질을 유지하면서도 모델을 다시 실행해 패턴을 확인할 수 있다.
- 한계: 모델을 다시 실행해야 해 비싸고, 입력 문맥이 조금만 바뀌어도 결과가 깨진다. 전체 컨텍스트 윈도우가 필요하다는 문제도 있다.
- SynthID 점수: 각 토큰에 이전 토큰들을 바탕으로 점수를 부여한 뒤, 상위 5개 후보 중 SynthID 점수가 높은 후보를 선택한다. 텍스트 블록의 점수를 합산했을 때 비정상적으로 높으면 AI 생성 가능성이 커진다.
- 직관: 엠 대시 같은 키워드 목록을 세는 대신 사람이 인식하기 어려운 토큰 간 수학적 관계를 측정하는 방식이다.
5.2. 유니코드 공간과 호모글리프
-
보이지 않는 문자 활용
- 공백의 다양성: 사람이 같은 공백으로 보는 유니코드 문자는 여러 종류가 있어, 전략적으로 배치하면 위치 정보를 숨길 수 있다.
- 실제 활용 사례: Vercel은 블로그 편집 UI에서 문단 끝에 보이지 않는 코드를 붙여, 사용자가 선택·수정한 텍스트를 CRM의 해당 행과 연결하는 아이디어를 연구했다.
- 과거의 의심스러운 요청 표시: Claude Code가 과거 중국 사용자에게서 복사된 요청을 표시하기 위해 특이한 유니코드 공백을 사용했다는 관찰도 소개된다. VS Code에 ChatGPT 텍스트를 붙여넣으면 일부 공백이 일반 공백이 아닌 것으로 표시되는 사례가 있었다.
-
저렴하지만 쉽게 제거되는 신호
- 탐지 비용: 특정 공백 문자를 세면 되므로 매우 저렴하게 탐지할 수 있다.
- 제거 비용: 각 호모글리프나 공백 문자를 원래 문자로 치환하면 워터마크가 즉시 사라진다.
- 불확실성: Anthropic이 실제로 호모글리프를 AI 생성 워터마크로 쓰는지는 확정할 수 없지만, 이런 문자를 사용하고 있다는 관찰 자체는 존재한다.
6. 워터마크 탐지의 양면성과 공식 문서의 한계
탐지 방법을 사용자에게 공개하면 투명성은 올라가지만, 같은 정보가 생성물 세탁 도구를 만드는 사람에게도 그대로 제공된다.
6.1. 탐지 신호가 의미하는 것
-
Claude 표시가 확인됐을 때
- 처리 사실만 시사: 탐지된 표시는 콘텐츠가 Claude를 거쳤을 수 있다는 신호일 뿐, 전체 provenance를 확정하지 않는다.
- 원저자와 처리자를 구분해야 함: Claude가 교정, 번역, 요약, 파일 변환만 했을 수 있으므로, Claude가 아이디어·텍스트·데이터의 최초 저자였다는 뜻이 아니다.
- 후처리 가능성: 처리 후 내용이 수정·발췌·다른 자료와 결합됐을 수 있다.
-
표시가 없을 때
- 부재는 무죄가 아님: 표시가 감지되지 않는다고 AI 생성·처리가 없었다는 뜻은 아니다.
- 탐지 실패 조건: 표시 도입 전 모델이 만든 글, 심하게 편집·패러프레이즈·번역된 글, 다른 글과 섞인 글, 워터마크를 넣기엔 너무 짧은 문장이 탐지를 피할 수 있다.
- 파일의 취약성: 파일을 변환·재저장·스크린샷하거나 지원되지 않는 플랫폼과 파일 형식을 사용해도 표시가 사라진다.
6.2. 표준화와 보안의 충돌
-
상호운용성 요구
- 공통 방식의 필요: AI Act는 기술적으로 가능한 범위에서 워터마크가 상호운용 가능해야 한다고 요구한다.
- 공개 압력: AI 회사들은 표시 과정을 공개하고 동일한 종류의 워터마크를 표준화해야 할 가능성이 있다.
-
보안성의 역설
- 비밀성이 필요한 탐지: 토큰 선택이나 유니코드 규칙을 숨겨야 제거가 어려워진다.
- 공개해야 하는 투명성: 그런데 규제는 여러 회사와 도구가 읽을 수 있는 공개·상호운용 방식을 요구한다.
- 양립 불가능성: “구현을 숨겨야 안전하지만 모든 도구에 제공해야 한다”는 구조라서, 보안과 상호운용성을 동시에 달성하기 어렵다. 제작자는 이를 “보이지 않고 가짜로 만든 케이크를 먹으면서도 갖고 있으려는” 상황에 비유한다.
7. C2PA는 AI 탐지보다 인간 콘텐츠 인증에 강하다
C2PA 서명은 생성물의 모든 부재를 찾아내기보다, 특정 파일이 실제 장치와 제작 과정에서 나왔다는 사실을 증명하는 방향에서 더 의미가 크다.
7.1. 서명된 provenance의 장점
-
콘텐츠 자격 증명
- 파일 메타데이터: AI 공개 여부를 파일 메타데이터에 넣고, 파일 내용의 해시를 서명하면 사후 변조 여부를 확인할 수 있다.
- 제거와 위조의 차이: C2PA 메타데이터는 삭제할 수 있지만, 삭제된 서명을 진짜인 것처럼 위조할 수는 없다.
- 신뢰 신호: “사람이 만들었다”는 메타데이터가 있는 파일은 신뢰할 수 있고, 메타데이터가 전혀 없는 파일은 의심 대상으로 분류할 수 있다.
-
인간 콘텐츠를 인증하는 방향
- 카메라 기반 증명: 카메라 칩이 실제 촬영 순간에 파일을 서명하는 것은 모든 비카메라 이미지를 AI가 만들지 않았음을 역으로 증명하는 것보다 쉽다.
- 장기 해법: 인간이 만든 미디어를 가능한 한 여러 방식으로 서명하면, AI 생성물 전체를 탐지하는 것보다 신뢰 생태계를 구축하기 쉽다.
- 텍스트의 한계: C2PA는 오디오·이미지·비디오·컨테이너화된 텍스트처럼 메타데이터를 붙일 수 있는 파일에 적합하다. 일반 채팅 출력과 AI 에이전트의 평문 출력은 전달할 파일 아티팩트가 없어 서명하기 어렵다.
7.2. Claude가 만드는 파일의 애매한 경계
-
서명 대상의 불명확성
- HTML과 PDF: Claude Code가 만들어 주는 HTML이나 PDF에 C2PA를 어떤 방식으로 서명해야 하는지는 복잡한 문제다.
- 평문과 파일의 경계: 채팅 응답은 평문이지만, 같은 응답이 저장되는 순간 파일이 된다. 어느 시점을 provenance의 시작으로 볼지 정하기 어렵다.
-
AI Act의 이중 요구
- 서명만으로 부족함: 법은 디지털 서명된 미디어를 장려하면서도 실제 워터마크도 요구한다.
- 현실의 결과: C2PA는 파일의 진위와 변조를 다루는 강한 기반이지만, 텍스트 워터마크의 취약성을 해결하지는 못한다.
8. 우회 도구와 “고양이와 쥐” 게임
현재도 기술 사용자는 워터마크를 지울 수 있고, 기술을 모르는 사용자에게도 곧 같은 기능을 제공하는 도구가 등장할 가능성이 높다.
8.1. 이미 가능한 제거 방법
-
텍스트 세탁
- 유니코드 정리: 특수 공백과 호모글리프를 일반 문자로 치환한다.
- 통계적 재작성: 다른 모델에 패러프레이즈를 요청해 SynthID처럼 단어 선택에 내재된 통계적 신호를 제거한다.
- 수동 수정: 사람이 문장을 조금씩 고쳐도 신호를 없앨 수 있다. 다만 그만큼 사람이 직접 작성한 부분이 늘어나 순수한 AI 생성물과는 멀어진다.
-
파일 세탁
- 메타데이터 삭제: PNG, JPEG, SVG, PDF, DOCX, HTML, Markdown에서 C2PA provenance 메타데이터를 제거하는 도구가 이미 있다.
- 재인코딩: 이미지의 압축·크기·필터를 바꾸거나 파일을 재저장해 픽셀 패턴을 없앤다.
- 에이전트 스킬: 소유한 콘텐츠의 개인정보·위생을 위해 여러 업체의 AI provenance 표시를 지우는 Python 스크립트와 에이전트 스킬이 공개돼 있다. Claude에게 Claude 출력의 워터마크를 지워 달라고 요청하는 역설적인 사용도 가능하다.
8.2. 누가 실제로 잡히는가
-
탐지되는 대상
- 최저 노력 스팸: Claude 출력을 그대로 복사해 붙이는 사람, 트위터 자동 답글 봇처럼 어떤 후처리도 하지 않는 시스템이 주된 탐지 대상이다.
- 중간 수준의 공격: 문법 검사나 짧은 재작성만 거쳐도 신호가 약해지므로, 약간의 의도를 가진 오도 시도는 피할 가능성이 높다.
-
대체 경로
- 오픈 웨이트 모델: 스팸 제작자는 워터마크를 넣지 않는 저렴한 오픈 웨이트 모델로 옮길 수 있다.
- 간단한 전처리: 무료 탐지 서비스로 음성 여부를 확인한 뒤 결과가 음성이 될 때까지 문장을 조금씩 바꾸는 방식도 가능하다.
- 양쪽의 도구화: 탐지 도구가 공개되면 독자가 AI 글을 확인할 수 있지만, 생성자도 같은 도구를 사용해 필터를 통과할 때까지 출력물을 조정할 수 있다.
9. 규제의 목표를 다시 정해야 한다
“AI가 만든 것을 알아내자”는 문장은 대중과 정치권에 매력적으로 들리지만, 목표에 따라 워터마크의 효용은 크게 달라진다.
9.1. 달성 가능한 목표와 달성하기 어려운 목표
-
조금은 도움 되는 영역
- 그대로 붙여넣는 부정행위: 고등학생이 에세이를 그대로 복사해 제출하거나, 자동 봇이 Claude 응답을 변형 없이 퍼뜨리는 경우에는 억제 효과가 있을 수 있다.
- 출처에 대한 보조 신호: 표시가 남아 있다면 독자가 최소한 해당 콘텐츠가 Claude를 거쳤을 수 있다는 맥락을 얻는다.
-
거의 막지 못하는 영역
- 조금의 노력도 들어간 기만: 아주 기본적인 편집과 패러프레이즈가 들어간 AI 오도 캠페인은 통과한다.
- 대규모 사회 파괴: 정부가 AI로 선전물을 대량 생성하거나 사회를 향한 파괴적 캠페인을 벌이는 경우, 워터마크가 실질적으로 중단시키지 못한다.
- 지속적인 학생 우회: 학생들도 곧 간단한 우회법을 배우게 되므로 고등학교 부정행위조차 장기적으로 완전히 차단하기 어렵다.
9.2. 더 나은 장기 방향
-
가짜 탐지에서 진짜 인증으로
- 인간 미디어의 증명: 이미지가 진짜라고 주장하는 대상을 검증하는 인프라를 확대해야 한다.
- 비어 있는 메타데이터의 의미: 아무 표시가 없다고 가짜라는 뜻은 아니지만, 신뢰할 수 있는 인간 생성 인증이 늘어나면 출처를 비교할 수 있다.
-
대중 교육
- 지각의 한계 인식: 실제처럼 보이는 많은 것이 실제가 아닐 수 있다는 사실을 교육해야 한다.
- 판별의 겸손: 워터마크 하나가 없다는 이유만으로 진짜라거나, 하나가 감지됐다는 이유만으로 원저자가 Claude라고 단정하지 않아야 한다.
- 자원 배분: 제작자는 선의의 규제 시도라는 점은 인정하지만, 똑똑한 엔지니어링 인력이 실제로 작동할 가능성이 낮은 기술보다 인간 콘텐츠 인증과 교육에 집중해야 한다고 주장한다.
주요 발언 모음
“AI가 쓴 텍스트와 인간이 쓴 텍스트를 알 수 없다면 세상은 정말 빠르게 슬롭 더미로 변할 것이다.”
“이미지에는 사람이 보지 못하는 데이터가 너무 많아서 워터마크를 넣기 쉽지만, 그 워터마크를 견고하게 유지하기는 어렵다.”
“기술 사용자는 워터마크를 마음대로 제거할 수 있고, 기술 사용자가 아닌 사람에게도 그렇게 해주는 도구가 넘쳐날 것이다.”
“텍스트를 워터마크하는 방법은 탐지 비용이 엄청나게 비싸거나, 우회 비용이 엄청나게 싸거나 둘 중 하나일 수밖에 없다.”
“이건 쥐가 모든 이점을 가진 형편없는 고양이와 쥐 게임이다.”
“장기적으로 필요한 것은 이미지가 가짜가 아니라고 확인하는 일과, 실제처럼 보이지만 실제가 아닐 수 있는 것이 많다는 사실을 대중에게 교육하는 일이다.”
핵심 데이터 & 수치
- 2026년 8월 2일: EU에서 이 날 이후 출시되는 Claude 모델은 출시 시점부터 기계 판독 가능한 표시를 지원한다고 Anthropic 문서가 설명한다.
- 약 623KB: 픽셀 신호를 숨기기에 충분한 여유가 있는 이미지 예시의 파일 크기다.
- 약 10만 토큰: LLM이 다음 토큰을 고를 때 확률을 계산하는 어휘 규모의 예시다.
- 상위 5개 후보: SynthID 계열 방식은 가장 가능성 높은 후보 중 점수가 높은 토큰을 선택하는 샘플링 전략을 사용할 수 있다.
- 1% 샤프닝: 사람 눈에는 거의 차이가 없어도 이미지 워터마크 패턴을 다시 인코딩해 파괴할 수 있는 예시다.
- 0.1~1% 불투명도: 실제 이미지 위에 얹힌 미세한 노이즈 워터마크의 예시이며, 블러·리사이즈 등에 빠르게 사라진다.
- 하루 약 3회: 제작자가 Google 공식 Gemini 사이트에서 SynthID를 시험할 수 있는 횟수로 언급한 수치다.
결론 및 시사점
- EU의 사용자 투명성 목표와 AI 생성물 표시 의무는 정당하지만, 생성 텍스트와 코드를 완벽하게 식별한다는 약속으로 확대해서는 안 된다.
- Anthropic의 텍스트 표시는 모델 수준에서 Claude 제품과 클라우드 플랫폼 전반에 적용될 예정이며, 파일에는 C2PA 서명 provenance가 추가된다.
- 이미지 워터마크는 픽셀 여유 덕분에 숨기기 쉽지만 JPEG 재저장, 압축, 필터, 크기 조절로 쉽게 깨진다.
- 텍스트는 이미 압축된 매체이므로 워터마크를 넣는 순간 토큰 선택이나 문체에 영향을 줄 위험이 있다.
- SynthID식 토큰 점수는 엠 대시 같은 눈에 띄는 표식보다 은밀하지만, 패러프레이즈나 약간의 편집으로 제거할 수 있다.
- 유니코드 공백·호모글리프는 탐지가 값싸지만 원래 문자로 일괄 치환하면 사라진다.
- Claude 표시가 감지돼도 Claude가 원저자였다는 뜻이 아니며, 표시가 없다고 AI 사용이 없었다는 뜻도 아니다.
- C2PA의 가장 강한 쓰임새는 AI 생성물을 모두 찾아내는 일이 아니라 카메라 등에서 나온 인간 생성 콘텐츠를 인증하는 일이다.
- 워터마크를 공개·상호운용 가능하게 만들라는 규제와 워터마크 구현을 비밀로 유지해야 한다는 보안 요구는 서로 충돌한다.
- 실제 효과는 원문을 그대로 복사하는 저노력 스팸·부정행위 억제에 국한될 가능성이 높다.
- 약간의 문법 수정, 재작성, 다른 모델 사용만으로 중간 수준 이상의 기만은 워터마크를 피할 수 있다.
- AI로 사회적 선전·파괴 캠페인을 벌이는 고도의 사용자를 막기에는 이 기술이 부족하다.
- 정책은 “AI인지 탐지”만 목표로 삼지 말고, 출처가 인증된 인간 콘텐츠를 더 많이 만들어 신뢰의 기준점을 제공해야 한다.
- 대중은 워터마크 유무를 진위의 최종 판정으로 사용하지 말고, 출처·서명·편집 이력을 함께 살펴야 한다.
핵심 요약 (20줄)
- AI가 만든 텍스트와 코드를 인간이 쓴 것과 구별하기 어려워지면서 콘텐츠 신뢰 문제가 커지고 있다.
- EU AI Act Article 50은 AI 생성·조작 콘텐츠를 기계 판독 가능한 방식으로 표시하도록 요구한다.
- Anthropic은 EU 규제에 맞춰 Claude가 생성하는 텍스트와 코드에 임베디드 워터마크를 적용할 계획이다.
- 표시 방식은 특정 웹사이트가 아니라 모델 수준에서 적용되어 API와 Claude Code에도 따라붙는다.
- Claude가 처리하는 지원 파일에는 C2PA 기반 디지털 서명 provenance 메타데이터가 붙을 수 있다.
- Claude 표시가 감지돼도 Claude가 아이디어나 원문을 처음 만든 사람이라는 뜻은 아니다.
- 표시가 없다고 AI 사용이 없었다는 뜻도 아니며, 심한 편집과 번역은 탐지를 약화시킨다.
- 이미지에는 사람이 알아채지 못하는 픽셀과 색상 데이터가 많아 워터마크를 숨길 여유가 크다.
- PNG를 JPEG로 바꾸거나 압축률과 크기를 조정하는 것만으로 이미지 워터마크가 깨질 수 있다.
- 텍스트는 이미 고도로 압축되어 단어 하나만 바꿔도 짧은 문장의 의미와 문체가 달라진다.
- 토큰 샘플링 점수를 조정하는 SynthID 계열 방식은 텍스트 안에 미세한 통계적 신호를 남길 수 있다.
- 유니코드 공백과 호모글리프를 숨기는 방식은 구현과 탐지가 쉽지만 원래 문자로 치환하기도 쉽다.
- 다른 모델에 패러프레이즈를 시키면 단어 선택에 내재한 텍스트 워터마크를 제거할 수 있다.
- 워터마크 탐지 서비스를 공개하면 독자뿐 아니라 생성물 세탁을 시도하는 사람도 검증 결과를 이용한다.
- AI Act의 상호운용성 요구는 워터마크 규칙 공개를 압박해 보안상 비밀 유지와 충돌한다.
- C2PA는 AI를 모두 적발하기보다 실제 카메라와 제작 장치에서 나온 인간 콘텐츠를 인증하는 데 더 적합하다.
- 현재 공개된 제거 도구는 유니코드 정리, 통계적 재작성, C2PA 메타데이터 삭제까지 지원한다.
- 실질적으로 잡히는 대상은 Claude 출력을 그대로 복사하는 저노력 스팸 봇과 단순한 부정행위다.
- 약간의 편집이 들어간 기만이나 국가·조직의 대규모 선전 캠페인은 이 방식으로 막기 어렵다.
- 장기 해법은 모든 가짜를 탐지하는 데보다 인간 콘텐츠의 출처를 인증하고 대중의 미디어 이해력을 높이는 데 있다.
