발표자: Pablo Castro, CVP & Distinguished Engineer, Microsoft 행사: AI Engineer World's Fair 한 줄 요약: AI 에이전트가 다루는 지식을 내재적(intrinsic)·외재적(extrinsic)·학습된(learned) 지식 세 가지로 나누고, 각각을 Microsoft Foundry가 어떻게 제품화했는지 설명하는 발표.
Layer 1 — 핵심 주장
- 내재적 지식(모델 파라미터에 내장된 지식)이 오늘날 AI 지수적 성장을 촉발한 원동력이다. 1996년 IntelliSense부터 2026년 초 "사람이 코드를 한 줄도 직접 쓰지 않고 탄생한" OpenClaw 같은 소프트웨어까지, 30년에 걸친 타임라인이 이를 증명한다.
- 외재적 지식(RAG/그라운딩)은 저기술 기법에서 정교한 컨텍스트 엔지니어링 시스템으로 진화했다. 단순 코사인 유사도 벡터 검색만으로는 부족하며, 실제 고객 시나리오에서는 여러 검색 기법을 결합해야 성능이 좋아진다는 것이 반복적으로 검증됐다.
- 조직 차원의 그라운딩(회사 전체 데이터 연결)이 개별 데이터셋 그라운딩만큼 중요해졌다. Microsoft는 이를 위해 Microsoft IQ(Work IQ·Fabric IQ·Foundry IQ·Web IQ)라는 단일 진입점 체계를 만들었다.
- 어려운 검색 케이스에서는 에이전틱 리트리벌(agentic retrieval)이 단순 검색보다 확실히 낫다. 증거 회수율(evidence recall), 답변 완결성(answer completeness) 등 지표에서 지속적으로 우위를 보인다 — 단, 쉬운 케이스엔 단발성 검색으로 충분하다.
- 학습된 지식(learned knowledge)은 에이전트의 실사용 트레이스를 평가·개선 루프에 다시 투입하는 것이다. Foundry의 "Agent Optimizer"는 베이스라인 평가 → 후보 생성 → 힐클라이밍(hill-climbing) → 프로덕션 배포의 과정을 자동화하며, 이는 Satya Nadella가 최근 언급한 "사람과 에이전트가 함께 복리로 성장하는 학습 루프"를 실제로 구현한 것이다.
Layer 2 — 세부 논증 및 예시
1) 내재적 지식과 지수적 성장의 타임라인
- 발표자는 25년 간격으로 작성한 두 코드 조각을 예로 든다 — 도구는 달라졌지만 "내가 아는 것으로 시작하거나 찾아본 뒤 작성한다"는 과정 자체는 놀랍도록 비슷했다는 점을 강조.
- 타임라인:
- 1996 — Microsoft IntelliSense 출시 (함수 시그니처를 외울 필요가 없어짐)
- 2018(22년 후) — 머신러닝이 IntelliSense 추천 순위를 개선
- 2021(3년 후) — GitHub Copilot 출시. ChatGPT보다도 먼저 나온 핵심 변곡점이며, 이 세대의 경험은 모두 모델의 "내재적 기억(intrinsic memory)"에 크게 의존했다.
- 이후 Cursor, GitHub Copilot X 등장, 발전 속도가 급격히 빨라짐
- 2025년 말 — Opus 4.5 출시, 이후 GPT·Opus 등 코딩 성능 급속 개선
- 2026년 초 — "사람이 손으로 코드를 한 줄도 쓰지 않은" OpenClaw 같은 소프트웨어 등장
- 요지: 지수적 성장 곡선의 상당 부분은 모델의 내재적 지식과 추론 능력에 의해 견인됐다.
2) Microsoft의 에이전트 플랫폼 구조
- GitHub에서 시작(빌드 공간) → 컨텍스트화 시스템으로 그라운딩 → Foundry에서 호스팅·관찰성(observability)·관리 → Foundry 모델 카탈로그(수천 개 모델 제공, 매일 추가)
- 발표 시점 기준 "바로 어제" Claude가 Microsoft Foundry에서 정식 출시(GA)되어, Foundry의 통합 경험 안에서 Claude의 모든 기능을 사용할 수 있게 됨.
3) RAG의 두 가지 진화 축
- 축 1 — 그라운딩 범위: 에이전트별 개별 데이터셋 → 회사 전체의 "ambient(주변) 데이터"(문서, 이메일, 채팅, 데이터 웨어하우스)까지 확장. 이를 위해 Microsoft IQ를 구축:
- Work IQ: SharePoint 문서, 이메일, 캘린더, 채팅, 사람 간 연결 관계에 연결
- Fabric IQ: 데이터 웨어하우스·데이터 레이크·Power BI 리포트 등 분석 자산 접근
- Foundry IQ: 자신의 데이터를 업로드해 모든 에이전트의 그라운딩에 활용
- Web IQ: 공개 웹 데이터로 에이전트의 세계관을 완성
- 축 2 — 검색 기법의 정교화: 벡터 데이터베이스가 처음 RAG를 실용화했지만, 순수 코사인 유사도만으로는 부족함이 드러남. Foundry IQ의 검색 기술(iSearch) 평가에서 개별 기법보다 결합 기법(하이브리드)이 실제 고객 시나리오에서 일관되게 더 나은 성능을 보임.
4) Foundry IQ의 레이어드 아키텍처 (라이브 데모)
- 설계 목표: 복잡성을 숨기되, 필요하면 완전한 제어권을 줄 것.
- 상단(초보자용): Foundry에서 "지식 베이스(knowledge base)" 생성 → 영화 데이터셋 예시 → 검색 워크플로우를 구동할 모델 선택 → effort(지연시간 vs 품질 트레이드오프) 설정 → 데이터 소스 3종 연결(비정형 PDF/blob storage, 정형 parquet 통계 테이블, 웹) → 저장하면 바로 Foundry 에이전트에 연결 가능.
- 특이점: 모든 지식 베이스는 그 자체로 MCP 서버로 노출되어, 다른 하네스에서 별도 글루 코드 없이 바로 연결해 쓸 수 있음.
- 하단(전문가용): Azure Portal에서 해당 지식 베이스를 뒷받침하는 인덱스에 직접 접근 → 양자화(quantization) 방식, 인덱싱 알고리즘, 렉시컬(lexical) 검색 방식을 직접 제어 가능. 청크 구조 등 데이터 내부도 탐색 가능.
- 스택을 위아래로 자유롭게 오갈 수 있어, 요구사항이 바뀌면 그때그때 제어 수준을 조정할 수 있음.
5) 에이전틱 리트리벌이 필요한 이유
- 단발성(single-shot) 검색은 쉬운 케이스에는 충분하지만, 어려운 케이스에서는 정보 요구가 실제로 충족됐는지 스스로 반영(reflect)하는 시스템이 필요함.
- Microsoft 자체 평가 결과: 증거 회수율(evidence recall), 답변 완결성(answer completeness) 등 여러 지표에서 에이전틱 리트리벌이 개별 단순 기법보다 지속적으로 우수.
6) 토큰 효율성
- 검색 시스템은 "가장 정보 밀도가 높으면서 토큰 수는 가장 적은" 답변을 내도록 신중하게 평가됨 — 토큰 소비가 곧 비용이자 가치이기 때문.
7) 학습된 지식과 Agent Optimizer (라이브 데모, VS Code + Foundry Toolkit)
- 전제조건: 에이전트의 구성(지시문 instructions, 툴 정의, 스킬 등)을 반드시 **외부화(externalize)**해야 함 — 하드코딩되어 있으면 최적화 루프가 작동할 수 없음.
- 절차:
eval generate: 기존 평가 데이터셋이 없다면, 에이전트의 트레이스와 지시문을 바탕으로 태스크 준수도(task adherence) 중심의 평가 데이터셋(태스크·질문·채점 기준)을 자동 생성.optimize: 평가 데이터셋으로부터 확립된 지표를 힐클라이밍(hill-climbing) 방식으로 최적화. 데모에서는 약 45분 소요. "judge" 스타일의 루프로 여러 후보 조합을 반복 생성·평가.optimize apply: 구성이 외부화돼 있으므로, 더 나은 성능의 후보 구성으로 그냥 스왑(swap) 가능.
- 데모 결과: 최적화된 지시문(instructions)은 사람이 손으로 쓴 것이 아니라, 실제 사용자 트레이스를 반영한 힐클라이밍 과정에서 "발현(emerge)"된 것이었음.
- Satya Nadella가 최근 글에서 언급한, 사람과 에이전트가 함께 복리로 성장하며 조직 고유의 차별화된 역량을 포착하는 학습 루프의 실제 구현 사례.
Layer 3 — 핵심 발언 원문 인용
"My job at Microsoft is to connect the dots between AI and knowledge." "제 마이크로소프트에서의 역할은 AI와 지식 사이의 점을 연결하는 것입니다."
"Intrinsic knowledge is just the knowledge that comes with the models... I would argue this is the knowledge that actually threw us into the exponential we are in today." "내재적 지식은 모델에 내장된 지식입니다... 저는 이것이 우리를 오늘날의 지수적 성장 곡선으로 밀어넣은 지식이라고 주장하고 싶습니다."
"Early this year, incredibly successful software like OpenClaw comes out to existence with not a single line of code written by hand." "올해 초, OpenClaw 같은 놀랍도록 성공적인 소프트웨어가 사람이 손으로 작성한 코드 한 줄 없이 탄생했습니다."
"For a hot second as an industry, we thought that if we could get really, really good at computing cosine similarity between vectors, we were all set for retrieval. It turns out things are never that easy." "업계 전체가 잠깐 동안, 벡터 간 코사인 유사도 계산만 정말 잘하면 검색 문제는 다 해결된다고 생각했습니다. 하지만 결코 그렇게 쉽지 않다는 게 드러났습니다."
"Every knowledge base is an MCP server, so you can just connect to it without having to write any glue code in the middle." "모든 지식 베이스는 그 자체로 MCP 서버이기도 해서, 중간에 연결 코드를 짤 필요 없이 그냥 연결하면 됩니다."
"Our experience in our own evaluations is for difficult cases, agentic retrieval can [make] a difference." "저희 자체 평가 경험상, 어려운 케이스에서는 에이전틱 리트리벌이 실질적인 차이를 만들어냅니다."
"This is a real learning loop materialized in practice." "이것이 실제로 구현된 진짜 학습 루프입니다."
Layer 4 — 실행 포인트 및 시사점
- 벡터 검색만 믿지 말 것: RAG/검색 시스템을 설계할 때 순수 벡터 유사도에만 의존하지 말고, 렉시컬 검색 등과 결합한 하이브리드 방식을 기본값으로 고려한다. 특히 어려운/모호한 쿼리에는 단발성 검색이 아닌 반영(reflection) 단계를 포함한 에이전틱 리트리벌을 적용한다.
- 에이전트 설정을 반드시 외부화(externalize)한다: 지시문·툴 정의·스킬을 코드에 하드코딩하지 않고 별도 설정으로 분리해야, 추후 자동 평가·최적화 루프(Agent Optimizer 류)를 적용할 수 있는 전제조건이 갖춰진다.
- 그라운딩 범위를 두 단계로 나눠 설계한다: (1) 에이전트 전용의 특정 지식과 (2) 조직 전체의 "ambient 데이터"(문서/이메일/채팅/데이터 웨어하우스)를 구분해서 관리 체계를 설계한다 — Microsoft IQ(Work/Fabric/Foundry/Web IQ) 같은 계층 구조를 자체 스택에도 참고할 만하다.
- 토큰 효율성을 검색 시스템의 정식 평가 지표로 삼는다: 정확도뿐 아니라 "가장 적은 토큰으로 가장 정보 밀도 높은 답변"을 내는지도 함께 측정한다.
- 프로덕션 트레이스를 1급 자산으로 취급한다: 실사용 트레이스를 수집해 평가 데이터셋 생성과 최적화 루프에 재투입하는 파이프라인을 구축한다 — 지시문은 정적인 것이 아니라 지속적으로 개선되는 산출물로 다룬다.
- 직접 체험하려면 ai.azure.com에서 Foundry의 지식 베이스와 Agent Optimizer를 바로 사용해볼 수 있다(발표자 직접 언급).