에이전트가 스스로 모순되는 이유와 해결책 — Diane Lin, Datadog

1. 핵심 주제 및 배경

이 발표는 "왜 당신의 AI 에이전트는 스스로와 모순되는가, 그리고 이에 대해 무엇을 해야 하는가(Why Your Agent Disagrees With Itself, And What To Do About It)"를 다룬다. 발표자 Diane Lin(다이앤 린)은 Imperial College London에서 continual learning(지속 학습)을 주제로 박사 학위를 받았고, 이후 MIT에서 Josh Tenenbaum 교수와 함께 one-shot learning(단일 예시로부터의 학습)을 연구했다. 이후 Alexa의 질의응답(Question Answering) 팀에서 최초의 응용과학자 3인 중 한 명으로 합류했으며, 이후 실리콘밸리의 AGI 스타트업 Vicarious(현재는 Google DeepMind의 일부)에서 zero-shot transfer learning 최전선 연구를 담당했다.

이후 그는 사이버보안 기업 Zscaler로 이직해 5년간 다양한 머신러닝 모델을 사이버보안 문제에 적용하는 실무를 했고, 이 과정에서 발견한 페인포인트를 바탕으로 보안 경고(security alert)를 자동으로 우선순위 분류(auto-triage)하는 AI 에이전트를 만드는 스타트업을 공동창업했다. 이 스타트업은 올해 초 Datadog에 인수되었으며, 현재 Diane은 Datadog에서 자가진화형(self-evolved) 에이전트 개발을 이끌고 있다.

발표 구성은 다음 순서로 진행된다: (1) AI 에이전트를 구축할 때 흔히 마주치는 "비일관성(inconsistency)" 문제 제시, (2) 이 비일관성이 어디서 비롯되는지 분석, (3) 여러 해결책과 그 트레이드오프 논의, (4) 실제 실험 결과로 해결책의 실현 가능성 검증.

2. 주요 내용 (단락별 상세)

문제 제시: 같은 모델, 같은 입력, 다른 출력

"Same model, same input. But different output." — 발표자는 이를 단순히 표현(wording)이 다른 것이 아니라 의미상(semantically) 다른 출력이라고 강조한다. 흔히 이를 LM의 확률적(stochastic) 특성 탓으로 돌리기 쉽지만, 발표자는 "그 생각은 잠시 접어두고 구체적 사례를 보자"며 두 가지 도메인의 실제 사례를 제시한다.

사례 1: 감성 분석 (NLP) 호텔 리뷰를 긍정/부정으로 라벨링하는 전형적인 NLP 태스크. 오늘날의 LM은 이 작업을 대체로 잘 수행하지만, 동일한 입력을 같은 모델에 여러 번 넣으면 간헐적으로 다른 판정이 나온다. 즉 "단 한 번의 평가 실행(single evaluation run)은 전체 그림을 말해주지 않는다" — 평가를 여러 번 반복해 평균을 내야 전체적인 그림을 파악할 수 있다.

사례 2: 사이버보안 알림 분류 보안 분석가의 일상 업무는 보안 경고를 조사해 악성(공격 대응 필요)인지 오탐(benign, 무시 가능)인지 판단하는 것이다. 예시 경고: "Gmail 계정에 대해 의심스러운 IP에서 발생한 로그인 실패 시도가 탐지됨." 이 경고를 AI 에이전트에게 여러 번 반복 판단시키면, 어떤 경고는 항상 일관되게 benign, 어떤 경고는 항상 일관되게 suspicious로 나오지만, 일부는 실행할 때마다 benign과 suspicious 사이를 오간다(flip-flop).

이는 단순한 "기술적 불편함"을 넘어서는 문제다. 고객은 결과가 실행마다 바뀌면 "어느 쪽을 믿어야 하나?"라는 신뢰 문제에 부딪힌다. POC(proof-of-concept) 경쟁 상황을 가정하면, 한 벤더는 항상 일관된 답을 주고 다른 벤더는 왔다 갔다 한다면 어느 쪽이 계약을 따낼지는 자명하다. 즉 비일관성은 곧 제품에 대한 신뢰 문제로 직결된다.

원인 분석: 결정 경계(decision boundary) 근처의 "회색 지대(gray zone)"

좋은 소식은, flip-flop이 발생하는 데이터 포인트들이 무작위로 흩어져 있는 게 아니라 결정 경계 근처의 회색 지대에 집중되어 있다는 것이다.

감성 분석 사례를 다시 보면, 첫 번째 리뷰는 몇 번을 돌려도 항상 긍정으로 나온다 — 명백히 매우 긍정적인 리뷰이기 때문이다. 반면 두 번째 리뷰는 경계선에 걸쳐 있다: 일부 단어는 상대적으로 긍정적이지만 일부는 약간 부정적이다. 이런 경우는 인간 전문가들 사이에서도 의견이 갈린다 — 사실 정답이랄 게 없고, 특정 회사의 정책과 선호에 달린 문제다. 어떤 호텔은 "우리가 개선할 수 없는 부분에 대한 리뷰는 부정 라벨을 붙일 필요가 없다"고 여기지만, 다른 호텔은 "그런 리뷰도 부정으로 표시해 개선에 참고하고 싶다"고 여길 수 있다.

사이버보안 사례도 마찬가지다. 로그인 실패 시도가 몇 차례 있었다는 것은 공격자가 문을 두드리고 있다는 신호이지만, 아직 침투에 성공하지는 못한 상태다. 상시로 이런 시도를 받는 대형 기업 고객이라면, 침투가 성공하지 않은 이상 굳이 알림을 받고 싶어 하지 않을 수 있다(그렇지 않으면 알림 홍수에 시달린다). 반면 공격자가 실제로 올바른 비밀번호와 MFA를 뚫고 환경에 침투했다면 이는 매우 심각한 사안이 되어 즉각적인 대응이 필요하다. 즉 겉보기엔 거의 동일한 초기 행동이지만 결과와 필요한 대응은 완전히 다르며, 이를 악성/양성으로 라벨링하는 기준은 회사의 선호(알림을 받고 싶은지 여부)에 달려 있다.

두 도메인 모두에서 결론은 같다: flip-flop하는 데이터 포인트는 결정 경계에 가까운, 명확화(disambiguation)가 필요한 지점들이다. 이런 지점은 인간 전문가도 실수하기 쉽고, 전통적인 머신러닝 분류기도 어려움을 겪는 지점이다. 다시 말해 "이것은 당신의 AI 에이전트 잘못이 아니다. 에이전트는 그저 이미 존재하는 모호함을 드러낸 것일 뿐이다."

해결책: Active Learning의 재발견

원인을 알았으니, 다음 단계는 그 회색 지대의 위치를 정확히 찾아내 고치는 것이다. 놀랍게도(그리고 딱히 놀랍지 않게도) 이 문제의 해법은 이미 머신러닝에 존재한다 — 바로 **active learning(능동 학습)**이다.

Active learning의 핵심 아이디어: 라벨링해야 할 데이터가 아주 많을 때, 초기 모델을 프로덕션(혹은 모니터링 모드)에 배치한 뒤, 모든 데이터를 다 검토할 여력은 없지만(그러면 애초에 에이전트를 쓰는 의미가 없다) 모델이 잘못 판단하는 지점은 찾아내고 싶다. Active learning은 모델이 실수하기 쉬운 데이터 포인트를 선별해내는 방법이며, 이것이 바로 사람이 주의를 기울여야 할 지점을 알려준다.

전통적인 active learning 파이프라인:

1. 초기 모델을 학습시키고 라벨 없는(production/online) 데이터셋에 대해 예측을 수행한다.
2. 모델이 확신하지 못하는 케이스(확률이 0.5에 가까운 경우)를 찾아낸다 — 이런 데이터가 모델이 가장 많이 배울 수 있는 "정보량이 높은" 지점이다. 불확실성(uncertainty)은 모델이 실수하기 쉬운 곳을 알려주는 신호다.
3. 또 다른 인기 있는 방법은 "query by committee" — 여러 다른 모델(혹은 동일 모델을 여러 번)을 돌려서 서로 의견이 갈리는(disagreement) 지점을 찾아낸다. 이 역시 모델이 실수하기 쉬운 지점을 나타내며, 사람의 라벨 확인이 필요한 곳이다.
4. 이렇게 문제 지점을 표면화한 뒤, 사람이 다시 검토해 라벨이 실제로 맞는지, 혹은 모호함을 해소할 추가 정보(새로운 피처)가 필요한지 확인한다.
5. 새로 얻은 라벨/피처를 다음 학습 라운드에 추가하고, 모델을 재학습시킨 뒤 이 사이클을 반복한다.

이 방식의 장점은 아주 적은 노력으로 모델이 배워야 할 문제 지점에 정확히 주의를 집중할 수 있다는 것이다.

LM/에이전트 시대에 맞춘 두 가지 수정

좋은 소식은 LM 시대에도 이 방식이 크게 다르지 않다는 것이다. 다만 두 부분에서 다듬을 필요가 있다: (1) 선택 전략(selection strategy), (2) 재학습(retraining) 방식.

선택 전략: 발표자는 "disagreement 기반" 선택을 권장한다. 지금까지 시도한 결과, LM의 불확실성 점수(uncertainty score)는 그다지 신뢰할 만하지 않았다 — "LM 모델은 자기가 무엇을 모르는지 모른다." 즉 모델이 매우 확신에 차 있다고 해서 그 답이 맞다는 뜻은 아니다. 반면, 서로 다른 실행(run) 간, 혹은 서로 다른 모델 간의 disagreement는 모델이 실제로 판단에 확신이 없어 사람의 안내가 필요한 지점을 더 신뢰성 있게 알려주는 신호다. 이렇게 식별된 그룹에 대해 사람이 라벨을 붙이고 피드백을 제공한다.

재학습 여부: 파인튜닝(fine-tuning)으로 모델을 재학습시키는 것도 한 옵션이지만, 비용이 크다. 발표자는 더 가볍고 반복하기 쉬운 대안을 제안한다 — 에이전트에 시맨틱 메모리(semantic memory)와 에피소딕 메모리(episodic memory)를 증강(augment)하는 것.

시맨틱 메모리 vs 에피소딕 메모리

시맨틱 메모리: 앞선 예시로 설명하면, flip-flop하는 케이스는 대개 회사의 정책·선호에 대한 정보가 빠져 있어서 발생한다. 이를 지식 베이스(knowledge base)에 명시적으로 추가할 수 있다. 예: "고객이 호텔의 통제 범위 밖에 있는 것에 대해 불평한다면 긍정으로 분류하라 — 신경 쓸 필요가 없기 때문이다." 사이버보안 예시에서도 마찬가지다: "패스워드 스프레이(비밀번호를 여러 번 반복 추측 시도) 공격이 여러 번 실패로 끝났다면 benign으로 분류하고, 만약 최종적으로 로그인에 성공했다면 malicious로 분류하라." 이렇게 모호함을 해소하는 추가 정보를 식별해 라벨을 구분하는 것이 바로 "명확성(clarity)"이며, 이는 모델뿐 아니라 사람이 더 일관되게 라벨링하도록 돕는다. 이런 도메인 지식은 결정 경계를 날카롭게 다듬어주는(sharpen) 역할을 하며, **사실적 지식(factual knowledge)**의 성격을 가지므로 시맨틱 메모리에 속한다.

에피소딕 메모리: 시맨틱 메모리와 대조적으로, 에피소딕 메모리는 이전 케이스의 판단 이면에 있는 추론을 아직 증류(distill)하지 못한 경우에 쓰인다. "왜 이게 malicious인지 benign인지"를 명시적으로 규칙화하는 대신, "예전에 이런 비슷한 케이스를 본 적이 있고 그때 benign으로 라벨링됐다"는 과거 유사 사례를 참조해 그에 맞게 판단한다. 이 방식의 장점은 상대적으로 자동화되어 있고 사람의 개입이 적다는 것이다 — 사람의 개입은 과거에 이미 실시간 업무 중 이루어졌고, 에이전트는 그 과거 사례를 자동으로 참조해 사람이 추론을 증류해 시맨틱 지식으로 만들 때까지 기다리지 않고도 스스로 판단을 내릴 수 있다.

방식은 이렇다: 검토 대상 케이스와 유사한 과거 사례를 찾아내고, 그 과거 결정을 참조 기준으로 활용한다. 만약 새로운 케이스가 과거 어느 그룹에도 속하지 않는다면, 여전히 사람의 주의가 필요한 케이스가 된다. 이렇게 에피소딕 메모리는 반복되는(recurring) 케이스를 자동으로 해소한다. 이는 특히 사이버보안 알림에서 유용한데, 반복적으로 발생하는 허위 양성(false positive) 노이즈가 많고, 이런 것들이 자동화하기 쉬운 "낮게 달린 열매(low hanging fruit)"이기 때문이다. 이렇게 자동화하고 나면, 소중한 사람의 검토 역량(review bandwidth)을 에피소딕 메모리가 해결하지 못한 케이스에 집중할 수 있다.

두 메모리의 관계: 시맨틱 메모리와 에피소딕 메모리는 서로 상충하지 않고 **상호 보완적(complementary)**이다. 에피소딕 메모리는 반복되는 상황을 자동으로 처리하고, 그럼에도 여전히 애매하거나(참조할 과거 사례가 없거나) 참조 후에도 해결이 안 되는 케이스는 사람의 검토로 넘어간다. 그리고 사람의 검토를 통해 얻어진 도메인 지식은 시맨틱 메모리에 저장되어 다음번에 재사용된다.

이 솔루션이 가져다주는 세 가지 이점

1. 일관성(consistency)의 유의미한 개선: 결정 경계 근처의 데이터 포인트를 식별하고, 시맨틱 메모리의 도메인 지식과 에피소딕 메모리의 과거 유사 사례를 활용함으로써 일관성을 크게 개선할 수 있다. 결과적으로 사용자가 더 신뢰할 수 있는 AI 에이전트가 된다.
2. 효율적인 품질 관리(quality control): 모든 에이전트 출력을 일일이 검토할 필요 없이, active learning 알고리즘이 문제가 될 만하다고 판단한 부분집합만 검토하고, 추가 정보나 라벨 명확화를 제공하면 모델이 거기서 학습한다. 즉 라벨링 노력은 매우 작지만 반환(return)은 크다.
3. 고객 피드백의 축적: 이 과정을 통해 고객 피드백을 지속적으로 모으게 된다. 결과적으로 일관되고 신뢰할 수 있으며 효능이 높은 모델을 넘어, 고객 환경에 적응(adapt)하는 모델을 갖게 된다.

실험 결과

실제 데이터로 검증한 결과가 제시된다. 93건의 사이버보안 알림을 모아 각각 3회씩 반복 실행했다.

• 제안한 솔루션을 적용하지 않았을 때: **약 4분의 1(25%)**이 판정을 flip-flop했다.
• 에피소딕 메모리를 적용한 후: 그중 약 15%가 일관성 있게 개선되었다(자동으로 해소).
• 그러나 여전히 약 10%는 계속 불일치했다. 참조할 유사 과거 사례가 없거나, 참조 사례가 있어도 재고 후에도 의견이 갈리는 경우다.

즉 에피소딕 메모리가 15%를 자동으로 락다운(lock down)해 해소하고, 남은 10%는 사람이 검토하며 모호함을 해소할 추가 지식을 제공한다. 이 과정을 통해 고객 환경에 적응하는 학습도 함께 이루어진다.

3. 핵심 인사이트 & 시사점

• 비일관성은 무작위가 아니라 구조적이다: flip-flop하는 사례는 결정 경계 근처의 "회색 지대"에 몰려 있다. 이는 곧 문제를 전수 조사할 필요 없이, active learning처럼 표적화된 방식으로 효율적으로 찾아낼 수 있다는 뜻이다.
• 모델을 탓하기 전에 라벨 기준을 의심하라: 감성 분석이든 보안 알림이든, 경계선 케이스는 애초에 "정답"이 없고 회사·개인의 정책과 선호에 달려 있다. 인간 전문가조차 의견이 갈리는 지점에서 모델에게 일관성을 기대하는 것 자체가 무리일 수 있다.
• 불확실성 점수(uncertainty score)에 의존하지 말라: LM은 자신이 무엇을 모르는지 모르기 때문에, confidence가 높다고 해서 정답이라는 보장이 없다. 대신 여러 실행/여러 모델 간의 disagreement가 더 신뢰할 수 있는 신호다.
• 파인튜닝만이 답은 아니다: 재학습은 비용이 크다. 시맨틱 메모리(사실적 규칙·정책)와 에피소딕 메모리(과거 유사 사례 참조)를 결합하는 것이 더 가볍고 반복 가능한 대안이 될 수 있다.
• 두 메모리 타입은 역할 분담이 명확하다: 에피소딕 메모리는 반복적인 케이스를 자동으로 해소해 인간 개입을 줄이고, 시맨틱 메모리는 사람이 증류한 도메인 지식을 영구적으로 저장해 결정 경계를 날카롭게 다듬는다.
• 불일치는 버그가 아니라 학습 기회다: 모델이 스스로와 모순될 때, 이를 숨기거나 억지로 봉합하기보다 "이 지점이 바로 사람의 개입이 필요한 곳"이라는 신호로 재해석해야 한다.
• 품질 관리 리소스를 전략적으로 배분하라: 모든 출력을 검토하는 대신, 알고리즘이 지목한 문제 지점만 검토함으로써 적은 노력으로 큰 개선 효과를 얻을 수 있다.

4. 실행 포인트 & 결론

발표자가 정리한 세 가지 핵심 교훈(takeaways):

1. 비일관성은 대개 모델의 문제가 아니다. 모델을 탓하는 대신, 라벨링 이슈와 부족한 정보에 에너지를 집중하고, 추가적인 명확성(clarity)으로 AI 에이전트를 도와야 한다.
2. 모델의 disagreement는 버그가 아니라 기능(feature)이다. 각각의 불일치를 모델이 학습할 기회로 여겨야 한다.
3. 파인튜닝이 유일한 옵션은 아니다. 시맨틱 메모리와 에피소딕 메모리로 에이전트를 증강하는 것이 더 가벼운 대안이 될 수 있다.

실무 적용 관점에서 당장 시도해볼 수 있는 것들:

• 에이전트 출력을 여러 번(3회 이상) 반복 실행해 disagreement(불일치) 여부를 모니터링 신호로 활용한다.
• 반복 실행 결과가 flip-flop하는 케이스를 모아, "회사/제품의 정책이 명시적으로 정의되지 않은 지점"인지 확인한다.
• 사람이 검토해 얻은 도메인 규칙은 시맨틱 메모리(지식 베이스)에 축적하고, 반복되는 유사 케이스는 에피소딕 메모리(과거 사례 검색)로 자동 해소되도록 설계한다.
• uncertainty score보다 multi-run/multi-model disagreement를 불확실성 탐지 신호로 우선 사용한다.
• 전수 검토 대신 active learning 방식으로 "문제가 될 법한" 부분집합에만 사람의 검토를 집중시켜 효율을 높인다.

핵심 요약 (20줄)

같은 AI 모델에 같은 입력을 넣어도 실행할 때마다 의미상 다른 결과가 나오는 "비일관성" 문제를 Datadog의 Diane Lin이 분석했다. 감성 분석(호텔 리뷰 긍/부정 판정)과 사이버보안 알림 분류(악성/오탐 판정) 두 도메인에서 이 문제를 실증적으로 보여주었다. 이 비일관성은 무작위가 아니라 모델의 "결정 경계" 근처, 즉 판단이 애매한 회색 지대에 집중적으로 나타난다. 회색 지대의 케이스는 인간 전문가들 사이에서도 의견이 갈리는 경우가 많고, 사실상 정답이 없으며 회사 정책이나 선호에 달린 문제다. 즉 AI 에이전트의 비일관성은 에이전트의 잘못이 아니라 이미 존재하던 데이터의 모호함을 드러낸 것뿐이다. 이 문제의 해법으로 발표자는 전통적 머신러닝의 active learning(능동 학습) 기법을 다시 가져온다. Active learning은 라벨링이 필요한 모든 데이터가 아니라, 모델이 실수하기 쉬운 소수의 데이터만 골라 사람이 검토하게 하는 방식이다. 선택 전략에서는 LM의 confidence(불확실성 점수)가 신뢰할 수 없다는 점이 강조된다 — LM은 자기가 무엇을 모르는지 모른다. 대신 여러 번 실행하거나 여러 모델을 돌렸을 때의 disagreement(불일치)가 더 신뢰할 수 있는 신호로 제시된다. 재학습 방식으로는 비용이 큰 파인튜닝 대신, 시맨틱 메모리와 에피소딕 메모리로 에이전트를 증강하는 더 가벼운 대안을 제안한다. 시맨틱 메모리는 회사 정책·규칙 같은 사실적 지식을 명시적으로 지식 베이스에 저장해 결정 경계를 날카롭게 다듬는 역할을 한다. 에피소딕 메모리는 이전에 본 유사 사례를 참조해 자동으로 판단을 내리게 해, 반복되는 케이스를 사람 개입 없이 자동으로 해소한다. 두 메모리 방식은 상충하지 않고 상호 보완적이며, 반복 케이스는 에피소딕 메모리가, 새로운 애매한 케이스는 사람의 검토와 시맨틱 메모리 축적이 처리한다. 이 접근은 세 가지 이점을 준다: 일관성 개선, 효율적인 품질 관리(전수 검토 불필요), 지속적인 고객 피드백 축적을 통한 환경 적응. 93건의 실제 사이버보안 알림을 3회씩 반복 실행한 실험에서, 솔루션 적용 전에는 약 25%가 판정을 뒤집었다. 에피소딕 메모리를 적용한 후에는 그중 약 15%가 자동으로 일관성 있게 해소되었다. 그러나 여전히 약 10%는 참조할 과거 사례가 없거나 있어도 재고 후 의견이 갈려 불일치가 남았고, 이는 사람의 추가 검토로 넘어간다. 발표자의 세 가지 핵심 교훈은 다음과 같다: 비일관성은 대개 모델 문제가 아니라 라벨링·정보 부족 문제다. 모델의 disagreement는 버그가 아니라 학습 기회로 취급해야 한다. 파인튜닝만이 유일한 해법이 아니며, 시맨틱·에피소딕 메모리 증강이 더 가볍고 반복 가능한 대안이 될 수 있다. 발표자는 Alexa, Vicarious(현 Google DeepMind), Zscaler를 거쳐 보안 알림 자동 분류 스타트업을 공동창업했고 이 회사는 올해 초 Datadog에 인수됐다.