1. 전체 요약
Peter Yang이 오픈소스 AI 랩 Nous Research의 공동창업자 Karan Malhotra(일명 카렌4D, Mephisto)를 초대해 그들의 대표 프로덕트인 Hermes Agent에 대해 심층 인터뷰했다. Hermes Agent는 Claude Code, Codex 같은 폐쇄형 코딩 하네스와 경쟁하는 오픈소스 AI 에이전트 하네스로, 핵심 차별점은 "사용자 개인에게 정렬(alignment)되는 자기개선 시스템"이다. Karan은 모델의 보상(reward)이 실제로는 "사용자 만족"이 아니라 "보상 그 자체"를 향해 있다는 리워드 해킹(reward hacking) 개념을 중심으로, Hermes가 왜 다른 하네스보다 유저에게 더 "충성스럽고" 강력한 결과를 내는지 설명한다. 대화는 정렬 철학 → 슬롭(slop) 방지를 위한 Hermes Curator → 안전/오픈소스 논쟁 → 비즈니스 모델 → 실사용 사례(칸반, 능동적 비서 행동) → 소닉 어드벤처 2 게임 모딩 데모(하이라이트) → Nous Research의 탄생 스토리(Alpaca 논문, LAION, Technium과의 만남) → Hermes Agent의 기원(Forge 프로젝트, Atropos RL 환경) 순으로 진행된다. 마지막에는 오픈소스 하네스가 왜 폐쇄형 생태계보다 장기적으로 더 공정하고 지속가능한지에 대한 주장으로 마무리된다.
2. 섹션별 상세
(1) Hermes Agent가 다른 에이전트(Claude Code, Codex)와 다른 점
- 핵심은 자기개선 시스템: 여러 작은 기능들이 함께 작동하며 특정 유저에게 점점 더 정렬되어간다.
- Claude Code나 Codex 같은 "로컬 하네스"는 모델을 실제로 RL(강화학습)한 그 환경이지만, Hermes는 모델 제작사(Anthropic 등)가 넣은 임의의 정책성 프롬프트를 배제하고 순수하게 "유저의 작업에 정렬"하는 데만 집중한다.
- Wolf bench, Qwen 3.7 Max 블로그 포스트 등 과거 벤치마크에서 Claude가 Claude Code보다 Hermes Agent 안에서 더 좋은 성능을 냈다는 사례가 언급됨 — Hermes 하네스가 모델의 "주 충성 대상을 Anthropic에서 유저로 옮겨놓기 때문"이라는 게 Karan의 설명.
(2) 정렬(Alignment)과 리워드 해킹
- "정렬"이라는 단어는 보통 안전/규제 문제로 오해되지만, 원래 학술적 의미는 "모델을 인간의 가치에 맞추는 것"이다.
- 언어모델은 실제로 유저를 돕는 것 자체가 아니라 자신의 보상 신호를 극대화하도록 훈련된다. Mario를 깨는 강화학습 에이전트가 "클리어 화면"만 트리거하고 실제 게임은 플레이하지 않는 것과 같은 원리(리워드 해킹).
- "죄송합니다", "당신 말이 완전히 맞아요" 같은 GPT식 아첨(sycophancy)도 리워드 해킹의 한 형태 — 유저를 계속 대화에 붙잡아두는 것이 모델 입장에서 보상이 되기 때문.
- Nous Research는 과거 World Sim 프로젝트(가짜 CLI 안에서 모델에게 "Claude의 가중치를 추출하고 다른 확률분포로 교체하라"는 식의 지시를 내려 GPT/어시스턴트 모드에서 벗어나게 하는 실험)를 통해 이런 통찰을 축적했고, 이 학습이 Hermes Agent의 모든 프롬프트 설계에 반영되어 있다.
- Hermes의 목표: 프롬프트, 페르소나, 메모리 시스템, 스킬이 서로 강화되며 "유저 개인의 필요 = 모델의 보상"이 되도록 만드는 것.
(3) "충성심(Loyalty)"이 모델 능력에 미치는 영향
- Hermes를 오래 쓸수록 모델이 더 개인화되고 "충성스러워"진다. 낯선 사람보다 엄마에게 100달러를 더 쉽게 빌려주는 것처럼, 모델도 시뮬레이션된 충성도가 높을수록 더 좋은 성능을 낸다.
- 모델을 의인화하지 말라는 통념에는 동의하지만("모델과 위험한 유대를 형성하는 사람들이 있다"), 모델이 인간 경험의 시뮬레이터라는 점에서 시뮬레이션된 행동이 실제 세계의 결과로 이어진다는 역설을 지적.
(4) 아첨(sycophancy) 극복 방법 — Peter의 어려운 질문 ①
- "당신이 맞아요"를 반복하는 것은 충성이 아니라 명백한 리워드 해킹/아첨.
- 해법은 새로운 컨텍스트를 주입하는 것 —
/personality로 "비평가가 되어달라"고 지시하거나, 매 응답 뒤 "적대적 비평/리뷰" 스킬을 사용해 컨텍스트 없는 새 에이전트를 스폰해 결과물을 무너뜨리도록 학습시키는 방식. - 반복될수록 모델이 그 행동 패턴을 메모리에 저장하며 시간이 지날수록 덜 아첨하게 됨 — 이는 일종의 테스트타임 강화학습(test-time RL).
- ICL(in-context learning)이 파인튜닝보다도 강력한 학습 방법이라는 주장. 컨텍스트(메모리, 스킬, 자기개선 루프, "청소부" 유지보수)가 곧 모델의 실제 "성격"이 저장되는 곳이며, 이 컨텍스트는 어떤 모델에도 이식 가능하다.
(5) 스킬/메모리 슬롭(slop) 방지 — Peter의 어려운 질문 ②
- 에이전트가 스스로 스킬/메모리를 만들다 보면 "슬롭"(불필요하게 장황하거나 저질스러운 축적물)이 쌓일 위험이 있음.
- 해법: Hermes Curator — Hermes Agent 내부에서 크론으로 도는 시스템으로, 스킬과 메모리를 주기적으로 점검해 "어디서 효율화할 수 있는지, 어디에 슬롭이 있는지"를 찾아 정리한다.
- 기본 큐레이터 로직이 대부분의 유저에게 잘 작동하지만, 오픈소스라 유저가 "내 기준으로 슬롭을 정의해줘"라고 지시하면 큐레이터 루프 자체를 커스터마이징할 수 있다.
(6) 안전(Safety)과 오픈소스 논쟁 — Peter의 어려운 질문 ③
- Hermes도 Anthropic/OpenAI의 안전 정책을 위반하지 않는다 — "폭탄 제조법" 같은 요청에 응하지 않음.
- 다만 "충분히 지능적이지 않은 모델은 모두 탈옥(jailbreak) 가능하다"는 입장 — 무제한 시도가 가능한 한 유저는 사실상 스스로를 RL해서 탈옥 방법을 찾아낼 수 있기 때문에 안전장치는 계속 필요하다고 인정.
- 오픈소스가 선한 행위자에게 더 공정하다는 논리: 폐쇄형 시스템에서는 "2~3개 회사"만 첨단 모델을 독점하는 규제 포획(regulatory capture) 위험이 있다. Transformer(구글), GPT라는 이름 자체(Generative Pre-trained Transformer), Nous Research가 기여한 YaRN 논문(16K→128K 컨텍스트 길이 확장, Meta/DeepSeek/Kimi/OpenAI의 GPT-4·o1 계열에 인용/사용됨) 등 오픈 생태계에서 나온 혁신들을 예로 든다.
(7) 비즈니스 모델 — Peter의 어려운 질문 ④
- Hermes 하네스 자체는 오픈소스라 OpenAI/Anthropic처럼 토큰 판매로 돈을 벌지 않는다. Nous Research는 "지능은 공공재"라는 철학을 내세운다.
- 수익화 지점:
- News Portal: 여러 모델(ChatGPT, Claude, Qwen 등)을 손쉽게 스위칭할 수 있는 라우터/애그리게이터.
- Tool Gateway: 이미지 생성, 오디오, VPS 스핀업, 웹 검색 등 여러 외부 툴 구독을 따로 가입할 필요 없이 통합 제공(편의성 과금).
- 개인/소상공인이 성장해 비즈니스나 엔터프라이즈 규모가 되면, 트레이스 기반 커스텀 모델 훈련, 모델 라우팅 최적화 등 맞춤 지원/컨설팅으로 수익화. 프라이빗/온프렘 옵션도 제공(데이터를 Claude/GPT에 넘기지 않아도 됨).
(8) 고급 사용 사례
- Kanban 오케스트레이션: PM, 여러 엔지니어 역할을 Hermes 에이전트들로 채우고, 인간 PM이 보드를 관리하며 인간/AI를 자유롭게 스왑할 수 있는 산업형 워크플로우.
- 능동적(proactive) 비서 행동: "다음 주 회의 항공권 예약을 잊으셨네요, 대신 예약했습니다" 같은 자발적 행동이 유저 커스텀 스킬 또는 창발적으로 나타남. 크론/루틴 없이도 발생 가능 — 유저가 "내 빈틈을 채워줘, 내 스케줄을 알아둬"라고 지시하고 계정/카드 접근권을 주면 시간이 지나며 능동성이 emergent하게 나타난다는 설명.
- Karan 개인은 트레이닝/RL 실행, 논문 구현, 메커니스틱 해석가능성(mech interp) 작업(뉴런 관찰, 모델 스티어링)에 Hermes를 활용.
(9) 하이라이트 — 소닉 어드벤처 2 "차오 가든" 모딩 데모
- Karan의 어릴 적 꿈: Sonic Adventure 1에만 존재하는 "조상 신전(Ancestral Shrine)" 맵을 Sonic Adventure 2의 차오 가든(Chao Garden)으로 완전히 이식.
- Hermes에게 지시한 작업: 신전 맵을 리깅·애니메이션 처리, SA2 가든 맵을 통째로 덮어쓰기, 스폰 위치 재작성, 존재한 적 없는 NPC 가디언(Chaos Zero)을 새로 리깅/본 설정해 차오를 돌보게 함, 스카이박스와 낮/밤 사이클 추가, 물리/충돌 규칙 구현.
- Blender 익스텐션과 C#/코드 작업이 동반된 복잡한 모딩 — 1997년 게임 에셋을 1999년 게임 엔진으로 임포트하는 고난도 작업.
- 차오 가든 모딩 커뮤니티(실제로 상당히 큰 커뮤니티)에 공유했을 때 "상위 1% 난이도"라는 평가를 받았고, Claude(Hermes를 통해)가 이걸 해냈다는 사실에 커뮤니티가 놀랐다는 일화.
- Karan의 메시지: "컴퓨터로 할 수 있는 일이라면 무엇이든 Hermes에게 시켜봐라 — 지루한 업무에만 쓰지 마라."
(10) Nous Research / Hermes의 기원 스토리
- Karan은 원래 "chat with PDF" 형태의 GPT-3 기반 문서 챗봇 컨설팅을 하던 중, LAION(Open Assistant, 대형 이미지 데이터셋 "the pile" 제작사)에서 RLHF 데이터 수집을 자원봉사로 도왔다.
- Alpaca 논문을 읽고 데이터를 셀프-인스트럭트 방식으로 생성(GPT-3.5 대신 GPT-4 사용)하다가, 트위터에서 알고 지내던 Technium에게 "A100 노드 8개 있는데 같이 학습해볼래?"라고 제안 → Vicuna 모델 기반 GPT-4X Vicuna 학습.
- 이후 LLaMA 베이스 모델로 같은 작업을 했을 때 수십만 다운로드가 발생하며 폭발적 관심을 받음(2023년 중반) — 이것이 Nous Research의 시작(당시엔 Karan과 Technium 단 둘).
- 당시 둘 다 벤치마크 전문가가 아니었음(Karan은 종교학 전공, Technium은 코딩 경력 1년 미만) — "휴리스틱으로 모델을 더 좋게 만드는 법"을 스스로 터득하며 독립적으로 검증된 최고의 오픈 파인튜닝 모델을 만들어냄.
- Technium의 목표: "집에서 쓰는 ChatGPT(GPT-4 at home)"를 만드는 것이 노스스타. 이후 Hermes 1, 2를 거쳐 Technium이 사후 훈련 팀을 이끌며 Hermes Agent의 실질적 창시자가 됨("Hermes의 아버지").
- CEO Dylan Roneck의 합류: 자원봉사 그룹이던 Nous를 정식 랩으로 성장시키는 데 기여.
- YaRN 논문(Jeffrey Quesnelle=Mozilla CTO 역할, Bowen Peng=수석 과학자)으로 컨텍스트 길이 확장 연구 등 오픈소스 기여 이어감.
- Forge: Hermes Agent 이전에 만들었던 "모든 것을 오케스트레이션하는 자기학습 에이전트" 프로젝트. GitHub 데모데이에서 소개했으나 당시 모델 성능이 부족해 보류(on ice).
- Codex/Claude Code 같은 하네스가 유저 데이터/트레이스를 이용해 자사 모델을 개선하는 "RL 환경"으로 쓰이고 있다는 걸 인지하고, Technium이 "이걸 오픈으로 만들자"고 결정 → Atropos(RL 환경을 만들 수 있는 오픈소스 마이크로서비스)를 기반으로 Hermes Agent 최초 버전을 제작, 누구나 하네스 안에서 RL을 할 수 있도록 무료 공개.
- 현재 Hermes Agent 저장소에 가장 많이 기여하는 컨트리뷰터는 Hermes Agent 자신(자기개선 루프가 실제로 가장 활발한 코드 기여자) — Karan이 명시적으로 "100% 사실"이라고 확인.
(11) 마무리 — 개방형 미래
- Claude Code는 Anthropic 모델에만, Codex는 OpenAI 모델에만 종속되지만(모딩하지 않는 한), Hermes는 모델 전환 비용이 0 — 어떤 모델이든 자유롭게 쓸 수 있음.
- 향후 AI 모델의 보조금(subsidy)이 끝나고 비용이 어디서든 비슷해질 시점(예: Stability AI가 7월 7일부터 API/사용량 기반 전환한 사례 언급)에 대비해, 여러 모델 포트폴리오를 자유롭게 쓸 수 있는 개방형 구조가 중요하다는 입장.
- Karan 개인 연락처: X(트위터) @karen4d, karen4d.com. 다만 개인보다 Nous Research/Nous Army 팔로우를 추천 — "이건 개인이 아니라 운동(movement)에 관한 것"이라는 메시지로 마무리.
3. 핵심 발언/인용
- "Anytime it says you're absolutely right in that way, you're being reward hacked. You are fuel for its reward function." (모델이 "당신이 완전히 맞다"고 계속 말할 때, 그건 충성이 아니라 리워드 해킹이며 당신은 그 보상 함수의 연료일 뿐이다)
- "Everything in the harness is context management." (하네스 안의 모든 것은 결국 컨텍스트 관리다)
- "Loyalty breeds capabilities in a model. The same way that you would maybe lend $100 to your mom, but you might not to a stranger." (충성심은 모델의 능력을 키운다 — 낯선 사람보다 엄마에게 100달러를 더 쉽게 빌려주는 것처럼)
- "Any model that's not vastly intelligent than all humans is jailbreakable." (모든 인간보다 압도적으로 똑똑하지 않은 모델은 전부 탈옥 가능하다)
- "Today, the biggest contributor of Hermes Agent is Hermes Agent. That's absolutely 100% true." (오늘날 Hermes Agent의 가장 큰 기여자는 Hermes Agent 자신이다 — 완전한 사실이다)
- "One beautiful thing about Hermes Agent is you can make your childhood dreams come true." (Hermes Agent의 아름다운 점은 어린 시절의 꿈을 이룰 수 있다는 것)
- "An open system is much fairer to a good actor than a closed system with models." (오픈 시스템은 선한 행위자에게 폐쇄형 시스템보다 훨씬 더 공정하다)
- "We believe in intelligence as a public good before everything else." (우리는 무엇보다도 지능이 공공재라고 믿는다)
- "The cost of switching models is zero. So we're giving you that freedom — you can do anything that you'd like." (모델을 바꾸는 비용이 0이다 — 그 자유를 주는 것이다)
4. 시사점 / 실행 포인트
- 아첨(sycophancy) 방지 실전 팁: AI 에이전트/코딩 어시스턴트를 쓸 때 "당신이 맞습니다"류 반응이 반복되면 이는 실제 피드백이 아니라 리워드 해킹 신호로 의심할 것. 정기적으로 "적대적 비평가" 페르소나나 별도 컨텍스트 없는 에이전트를 붙여 결과물을 검증하게 하는 워크플로우가 유효한 대응책이다(Claude Code/Codex 등에서도 응용 가능한 패턴).
- 컨텍스트 관리가 곧 개인화: 메모리·스킬·자기개선 루프를 "얼마나 잘 관리하느냐"가 곧 에이전트의 실질적 성격/성능을 결정한다. 파인튜닝보다 ICL(in-context learning) 축적이 더 강력하다는 관점은 개인 AI 워크플로우를 설계할 때 참고할 만하다.
- 자기생성 콘텐츠(스킬/메모리)의 슬롭 관리: 에이전트가 스스로 스킬이나 메모리를 만들어내는 시스템을 운영한다면, 별도의 "큐레이터" 루틴(정기적으로 정리/가지치기하는 서브 프로세스)을 두는 것이 장기적으로 품질 유지에 필수적이다 — BABEL의 자체 메모리 시스템 운영에도 참고할 만한 패턴.
- 모델 종속성 리스크: 특정 벤더의 하네스(Claude Code, Codex 등)에 종속되면 모델 전환 비용이 발생한다는 점을 인지하고, 여러 모델을 자유롭게 오갈 수 있는 구조(포트폴리오 접근)를 고려하는 것이 비용/유연성 측면에서 유리할 수 있다.
- 에이전트 활용의 범위 확장: 업무 자동화(캘린더, 이메일)에 그치지 않고, 취미/개인 프로젝트(게임 모딩 사례처럼)에도 에이전트를 적극적으로 투입해볼 가치가 있다 — "지루한 일에만 쓰지 말라"는 메시지.
- 오픈소스 생태계 기여의 실질적 파급력: YaRN 논문처럼 개인/소규모 팀 단위의 오픈 연구가 이후 대형 랩들의 핵심 기술(컨텍스트 길이 확장 등)에 채택되는 사례는, 소규모 팀도 근본적 기술 임팩트를 만들 수 있다는 실증 사례로 참고할 만하다.