차세대 커머스를 위한 멀티모달 협업 에이전트 설계법

URL: https://www.youtube.com/watch?v=UoU8_gkaXI4 날짜: 2026-09-03 채널: Tech Bridge 원문 제목: [한영자막] 차세대 커머스를 위한 멀티모달 협업 에이전트 설계법

---

📌 핵심 질문 / 이 글이 다루는 핵심 논점

==사용자가 정확한 키워드나 잘 정의된 목표가 아니라 막연한 분위기와 감각만 가지고 찾아와도, 에이전트가 선호도를 함께 발견하고 필요한 정보를 능동적으로 수집해 구매 목표까지 안내하려면 어떻게 설계해야 하는가?==

• 검색창을 감싼 래퍼(wrapper)에 머무는 에이전트는 사용자가 이미 적절한 어휘와 목표를 알고 있다고 가정하므로 표현 격차(Articulation Gap)를 해결하지 못한다.
• 멀티모달 협업 에이전트(Multimodal Collaborative Agent)는 탐색(Discovery) → 연구(Research) → 응답(Response)의 쇼핑 루프를 통해 모호한 의도를 점차 실행 가능한 목표로 바꾼다.
• 에이전트는 대화·개인 맥락·참조 이미지에서 확정 제약 조건과 유연한 선호를 구분하고, 정보 이득(Information Gain)이 가장 큰 다음 질문과 최적의 응답 형식을 선택해야 한다.
• 자동 평가기(Auto Rater)는 작동 상태의 사실 보존, 신뢰도 보정, 반사실적 민감도, 질문 효용, 턴 효율, 형식 정확도, 데이터 충실도, 사용자 실행 가능성을 루프 전체에서 채점해야 한다.

쇼핑은 사용자의 요구와 상품 메타데이터 사이의 연결을 관찰하기 쉬운 영역이지만, 같은 구조는 금융·교육을 비롯한 다른 소비자 분야에도 적용된다. 핵심은 질문을 많이 던지는 데 있지 않다. 사용자가 무엇을 원하는지 모르는 순간에는 보여주고 반응을 관찰하며, 시스템이 비교·조사·요약을 대신 수행한 뒤, 사용자가 다음 행동을 확신할 수 있는 형태로 결과를 제시해야 한다.

1. 검색창 래퍼에서 협업 파트너로 전환해야 하는 이유

커머스 에이전트의 역할은 완성된 검색어를 받아 결과를 반환하는 데서 끝나지 않고, 불완전한 의도를 사용자의 목표로 발전시키는 데까지 확장되어야 한다.

1.1. 기존 에이전트가 전제하는 이상적인 사용자

1. 검색어 중심의 전제
   1. 많은 에이전트는 검색창 위에 대화 인터페이스만 씌운 래퍼처럼 작동한다.
   2. 사용자가 무엇을 찾는지 이미 알고 있고, 잘 정의된 의도(Well-defined Intent)를 갖고 있으며, 적절한 키워드까지 알고 있다고 가정한다.
2. 어휘 격차의 문제
   1. 에이전트와 상호작용할 때 필요한 어휘를 사용자가 이미 갖추었다고 전제하면, 상품 속성이나 검색어를 모르는 사용자는 시작점부터 막힌다.
   2. 실제 사용자는 구매하고 싶다는 막연한 느낌이나 분위기(Vibe)만 갖고 방문하는 경우가 많으며, 의도를 말로 깔끔하게 형성하지 못한다.

1.2. 모호한 의도를 목표로 바꾸는 협업

1. 표현 격차(Articulation Gap) 수용
   1. 의도가 불분명하거나 적절한 키워드를 찾지 못한 사용자를 오류 입력으로 취급하지 말고 정상적인 출발점으로 받아들여야 한다.
   2. 사용자가 표현하지 못하는 선호를 에이전트가 먼저 이해하고, 필요하면 적극적으로 이끌어내야 한다.
2. 가능성에서 추천으로 이동
   1. 에이전트는 사용자가 쇼핑할 수 있는 여러 가능성을 먼저 보여주어 선택 공간을 열어야 한다.
   2. 그 다음 사용자가 마음속에 둔 예산·크기·스타일 같은 제약 조건에 맞는 추천으로 수렴해야 한다.
3. 선순환(Flywheel) 구조
   1. 막연한 의도에서 출발해 선호를 발견하고, 가능성을 탐색하고, 제약 조건에 맞는 추천을 제공하는 순환 고리를 구성해야 한다.
   2. 사용자의 목표 달성에 가까워질수록 에이전트가 가진 작업 상태와 협업 전략도 갱신되어 다음 행동의 품질이 높아진다.

2. 쇼핑 루프의 세 단계

탐색은 사용자의 맥락과 미지의 변수를 정리하고, 연구는 선호를 얻고 상품 정보를 처리하며, 응답은 목적에 맞는 표현 형식으로 결과를 전달한다.

2.1. 1단계 — 탐색(Discovery): 알고 있는 것과 모르는 것 정리

1. 맥락 신호 통합
   1. 에이전트는 과거 대화, 현재 질의에 명시된 내용, 개인 맥락, 사용자가 제공한 참조 자료를 함께 살핀다.
   2. 여러 신호를 종합해 사용자를 이해하기 위한 작동 상태(Working State)를 만들고, 무엇이 중요한지 기억한다.
2. 협업 전략(Collaborative Strategy) 수립
   1. 작동 상태를 바탕으로 현재 의도가 어느 정도 정리되었는지 판단한다.
   2. 정확히 원하는 것을 알아내기 위해 사용자에게 어떤 정보를 더 요청해야 하는지 정하고, 질문 순서와 방법을 설계한다.
3. 탐색 단계의 두 번째 과업
   1. 에이전트가 이미 알고 있는 사용자 정보와 아직 알아야 하는 정보를 분리한다.
   2. 모든 미지의 변수를 처음부터 전부 해소하려 하지 않고, 다음 단계에 가장 큰 영향을 주는 변수부터 찾는다.

2.2. 2단계 — 연구(Research): 선호 도출과 백그라운드 조사

1. 선호를 얻는 방법 학습
   1. 사용자가 무엇을 원하는지 모르는 상황에서는 텍스트 질문만으로 선호를 끌어내기 어렵다.
   2. 에이전트는 시각적 참조 자료나 영감 보드(Inspiration Board)를 활용해 사용자와 공통 언어(Common Language)를 만들 수 있는지 판단한다.
2. 사용자를 대신하는 정보 처리
   1. 사용자가 원하는 것을 일일이 묘사해야 하는 부담을 줄이고, 에이전트가 백그라운드에서 비교·트레이드오프(Trade-off)·장단점 분석·정보 요약을 수행한다.
   2. 조사 결과를 사용자의 우선순위와 제약 조건에 맞는 잠재적 선택지로 정리해 돌려준다.

2.3. 3단계 — 응답(Response): 목적에 맞게 답의 모양 선택

1. 텍스트 일변도의 실패
   1. 많은 시스템은 마지막 응답을 텍스트가 많은 문단으로만 반환해 사용자가 필요한 정보를 찾기 어렵게 만든다.
   2. 에이전트는 사용자의 질문 의도에 따라 글머리 기호, 비교표, 시각적 보드 중 적절한 표현을 골라야 한다.
2. 적응형 응답(Adaptive Response)
   1. 결과를 어떤 형식으로 보여줄지 결정하는 능력은 장식이 아니라 에이전트 지능의 일부다.
   2. 사용자가 실제로 답을 발견하고 구매 같은 다음 행동으로 이동하도록 프레젠테이션 기술을 조정해야 한다.

3. 탐색 단계의 작동 상태 설계

에이전트는 대화와 멀티모달 입력에서 사실·제약·추정 선호·신뢰도·실시간 변수를 분리해 하나의 갱신 가능한 작동 상태로 관리해야 한다.

3.1. 거실 리모델링 사례로 구성하는 작업 상태

1. 목표와 세션 맥락
   1. 사용자가 일정한 예산을 염두에 두고 거실을 다시 꾸미려 한다는 목표를 상태에 기록한다.
   2. 세션 기록(Session History)과 사용자 컨텍스트(User Context)를 함께 보존해 현재 질의만 떼어 보지 않는다.
2. 확정된 하드 제약 조건(Hard Constraints)
   1. 사용자가 질의에 직접 제공한 예산, 방의 물리적 조건처럼 결과를 반드시 만족해야 하는 조건을 추출한다.
   2. 명시된 제약 조건은 추정이나 분위기와 섞지 않고, 추천 가능 여부를 판정할 수 있는 구조화된 정보로 관리한다.
3. 유연한 소프트 제약 조건(Soft Constraints)
   1. 사용자가 특정 스타일을 정확한 용어로 설명하지 못하면 좋아하는 레이아웃이나 영감이 담긴 참조 이미지를 제공할 수 있다.
   2. 사용자가 “이 디자인이 나에게 더 와닿는다”고 반응하는 시각적 신호에서 원하는 스타일의 정신적 모델(Mental Model)을 추론한다.
4. 신뢰도 점수(Confidence Score)
   1. 멀티모달 입력에서 스타일이나 선호를 추출한 뒤, 에이전트가 그 해석을 얼마나 확신하는지 점수화한다.
   2. 신뢰도가 낮으면 곧바로 단정하지 않고 추가 질문이나 시각적 선택지를 통해 추론을 보강한다.

3.2. 실시간으로 갱신해야 하는 변수

1. 변수의 결과 영향력
   1. 에이전트는 결과를 사용자에게 표시하는 방식에 영향을 주는 변수를 거의 실시간으로 찾아야 한다.
   2. 추천이 아무리 정교해도 표시 순간의 핵심 정보가 오래되면 사용자의 기대와 구매 경험이 무너진다.
2. 재고(Inventory) 사례
   1. 재고는 실시간 새로 고침이 필요한 대표 변수다.
   2. 이미 품절된 상품을 가능한 선택지처럼 보여주면 이전에 쌓은 분위기와 신뢰가 무의미해지므로, 실시간 변수를 작동 상태의 일부로 두고 응답 직전에 갱신해야 한다.

3.3. 작동 상태 평가를 위한 자동 평가기

1. 사실 보존(Fact Retention)
   1. 맥락의 각 부분에 언급된 사실이 작동 상태에 빠짐없이 들어갔는지 확인한다.
   2. 예산·대화 내용·참조 자료·확정 조건과 추정 조건이 정확히 표현되었는지 검사한다.
2. 협업 신뢰도 보정
   1. 에이전트가 입력에서 신호를 추출한 확신도가 특정 오차 범위(Error Bound) 안에 있는지 측정한다.
   2. 신뢰도 점수가 실제 추출 정확도와 동떨어지지 않도록 자동 평가가 보정 상태를 점검한다.
3. 반사실적 민감도(Counterfactual Sensitivity)
   1. 질의 일부를 의도적으로 뒤집고, 그 변화와 연결된 기본 제약 조건도 에이전트가 함께 변경하는지 확인한다.
   2. 질의 변화와 관련 없는 제약 조건은 그대로 유지되어야 하며, 관련 조건과 비관련 조건에 대한 민감도를 양방향으로 측정한다.

4. 의도 격차를 줄이는 다음 질문 선택

에이전트는 모든 정보를 다 물어보는 대신, 대화의 방향을 가장 의미 있게 바꾸는 미지 변수를 정보 이득으로 우선순위화해야 한다.

4.1. 미지 변수와 장애물의 구분

1. 정답 이전의 장애물 식별
   1. 의미 있는 추천을 만들기 전에 해결해야 하는 모든 장애물을 먼저 열거한다.
   2. 거실 사례에서는 방의 너비를 모르면 상품이 실제 공간에 들어가는지 판단할 수 없고, 스타일 추출 신뢰도가 낮으면 취향에 맞는 추천인지 확신하기 어렵다.
2. 모든 미지 변수의 선제 해소 금지
   1. 에이전트는 답변 전 모든 미지 변수를 찾아내려 할 필요가 없다.
   2. 현재 선택 가능한 움직임과 질문을 비교한 뒤 다음 한 단계의 품질을 가장 많이 높이는 변수에 집중한다.

4.2. 최대 정보 이득(Maximum Information Gain) 질문

1. 방 너비를 먼저 묻는 논리
   1. 여러 선택지 중 방 너비를 먼저 확인하면 실제 공간에 맞지 않는 상품을 추천하는 치명적 오류를 사전에 막을 수 있다.
   2. 상품이 방에 들어가지 않으면 스타일과 예산을 아무리 잘 맞춰도 추천은 무의미하므로, 방 너비는 대화 방향을 크게 바꾸는 변수다.
2. 질문의 이유까지 선택
   1. 좋은 에이전트는 다음에 무엇을 물을지만 결정하지 않고, 왜 그 질문이 현재 최선인지도 판단한다.
   2. 질문의 우선순위는 남은 미지 변수의 개수가 아니라, 그 답이 추천 품질과 사용자 목표에 미치는 영향으로 정한다.

4.3. 협업 전략 자동 평가

1. 장애물 커버리지
   1. 최종 응답에 필요한 각 장애물을 에이전트가 식별했는지 확인한다.
   2. 중요한 장애물을 놓치면 이후 검색과 응답이 아무리 그럴듯해도 의미 있는 답으로 이어지지 않는다.
2. 과도한 질문 방지(Over-asking)
   1. 에이전트가 같은 질문을 계속 반복하거나 불필요한 질문을 연속으로 던지는 패턴을 명시적으로 감점한다.
   2. 질문을 많이 하는 것이 적극성의 증거가 아니며, 사용자의 피로를 늘리고 구매 여정을 지연시킬 수 있다.
3. 질문 효용(Question Utility)
   1. 각 질문이 실제로 올바른 선호를 얻거나 유도하는 데 유용한지 평가한다.
   2. 질문의 표현뿐 아니라 질문 시점·순서·답변이 가져오는 정보량까지 함께 점검한다.

5. 연구 단계의 멀티모달 선호 도출

주관적인 스타일처럼 언어로 경계를 정하기 어려운 제약 조건은 상품 온톨로지와 임시로 연결한 뒤, 시각적 선택과 미세 반응으로 점진적으로 정밀화한다.

5.1. 사용자 제약 조건과 상품 온톨로지 연결

1. 임시 브리지(Temporary Bridge)
   1. 사용자가 제공한 방 너비·예산·스타일 같은 제약 조건을 상품 카탈로그와 지식 데이터베이스의 온톨로지(Ontology)에 매핑하는 임시 연결 고리를 만든다.
   2. 이 연결이 있어야 카탈로그에서 상품을 검색할 때 사용자 언어의 제약 조건을 상품 메타데이터로 되돌려 연결할 수 있다.
2. 실시간 매핑
   1. 에이전트가 이미 아는 제약 조건과 현재 탐색 중인 제약 조건을 지식 데이터베이스에 거의 실시간으로 매핑한다.
   2. 매핑은 한 번 고정된 번역표가 아니라 대화가 진행되고 선호 신뢰도가 변할 때 갱신되는 작업 가설이다.
3. 검색 품질과 온톨로지의 관계
   1. 사용자 제약 조건이 상품 속성에 제대로 연결되지 않으면 검색 결과는 사용자의 실제 의도와 멀어진다.
   2. 주관적 표현을 카탈로그 메타데이터와 연결하는 지능이 멀티모달 협업의 핵심 기반이 된다.

5.2. 텍스트 질문 대신 시각적 선호 보드 사용

1. 주관적 제약 조건의 한계
   1. 스타일 선호처럼 사용자가 정확한 단어를 모르는 조건에는 텍스트 정보 추출이 최선의 방식이 아닐 수 있다.
   2. “모던”, “따뜻한”, “미니멀” 같은 단어를 고르게 하는 것보다 사용자가 실제로 끌리는 시각적 기준점을 보여주는 편이 표현 격차를 줄인다.
2. 공통 언어 만들기
   1. 기존 제약 조건과 과거 대화를 바탕으로 상품 온톨로지에서 참조 이미지와 비슷한 몇 가지 스타일을 골라 시각적 선호 보드(Visual Preference Board)로 제시한다.
   2. 사용자는 각 스타일을 완벽하게 정의하지 않아도 어떤 선택이 자신에게 더 와닿는지 반응할 수 있고, 에이전트는 그 반응을 공통 언어로 삼는다.
3. 보드 선택의 근거
   1. 제시할 스타일 후보는 현재까지의 대화, 확정 제약 조건, 임시 온톨로지 매핑, 참조 이미지의 두드러진 신호를 함께 사용해 결정한다.
   2. 처음부터 하나의 스타일을 단정하지 않고 몇 가지 유사한 가능성을 보여주어 사용자가 탐색하고 선호를 발견할 여지를 남긴다.

5.3. 마우스·클릭으로 드러나는 미세 반응

1. 암묵적 신호 관찰
   1. 사용자의 마우스 커서가 특정 방향으로 이동했는지, 특정 카드 위에 머물렀는지(Hover), 클릭했는지 관찰한다.
   2. 말로 표현된 답뿐 아니라 어떤 시각적 선택지에 주의를 기울이고 행동했는지를 선호 추정에 반영한다.
2. 신뢰도 모델 갱신
   1. 미세 반응이 어떤 신호를 신뢰도 향상에 활용할 수 있는지 알려주면 에이전트는 스타일 선호에 대한 신뢰도 모델을 업데이트한다.
   2. 반복되는 반응과 언어적 답변이 일치하는지 확인해 추정 선호를 더 정밀하게 만들 수 있다.

5.4. 멀티모달 도출 과정의 자동 평가

1. 숨은 선호 발견 효율
   1. 사용자 시뮬레이터에 숨겨진 제약 조건을 넣고, 에이전트가 그 선호를 얼마나 효율적으로 끌어내는지 측정한다.
   2. 목표는 사용자가 자기 취향을 매번 처음부터 설명하지 않아도 시스템이 적절한 선택지를 통해 빠르게 선호를 발견하도록 하는 것이다.
2. 턴 효율(Turn Efficiency)
   1. 사용자가 숨겨진 선호를 모두 드러내기까지 몇 번의 대화 턴이 필요한지 센다.
   2. 같은 질문을 반복하거나 대화 진행에 필요한 정보량이 낮은 질문을 이어가는 악순환은 턴 효율을 떨어뜨리므로 피해야 한다.
3. 형식 선택 정확도(Format Selection Accuracy)
   1. 쉽게 확정할 수 있는 조건에는 텍스트 질문이 적합할 수 있다.
   2. 사용자가 표현하지 못하는 퍼지한 선호에는 시각적 기준점을 제시해 공통 언어로 답하게 하는 방식이 적합하다.

6. 응답 단계의 정보 표현 설계

모든 선호·우선순위·제약 조건을 파악한 뒤에는 모델의 지능을 사용해 정보를 가장 빨리 발견하고 구매 행동으로 이어지게 하는 출력 형식을 선택해야 한다.

6.1. 거실 사례에서 완성되는 사용자 모델

1. 추천 기준 확정
   1. 에이전트는 사용자의 스타일 선호와 일정한 예산 아래에서 상품을 구매하려는 의도를 파악한다.
   2. 대화 중 수집한 메타데이터를 바탕으로 어떤 차원에서 상품을 찾고 어떤 정보를 노출해야 하는지 결정한다.
2. 우선순위 반영
   1. 사용자의 다양한 우선순위가 무엇인지 알고, 그 우선순위에 맞는 상품 조합을 찾는다.
   2. 응답은 단순히 많은 상품을 나열하는 것이 아니라 사용자가 중요하게 여기는 차원을 중심으로 구성한다.

6.2. 질문 목적에 따른 출력 형식

1. 정책·리뷰 정보
   1. 특정 상품의 반품 정책이나 리뷰 정보를 찾는 사용자는 빠르게 훑을 수 있는 요약 또는 글머리 기호 목록을 원한다.
   2. 핵심 조건을 짧게 구조화하면 긴 설명 속에 필요한 정보가 묻히는 일을 줄일 수 있다.
2. 두 상품 비교
   1. 두 제품의 장단점과 트레이드오프를 알고 싶은 사용자는 자신이 중요하게 생각하는 여러 기준을 가로축으로 둔 비교표(Comparison Table)를 받는 편이 낫다.
   2. 비교표는 가격·크기·스타일·기능처럼 의사결정 기준을 나란히 놓아 어느 상품이 자신의 우선순위에 맞는지 판단하게 한다.
3. 스타일 영감·공간 재구성
   1. 거실을 어떻게 꾸밀지 아이디어를 찾는 사용자는 시각적 참조 자료와 상품 영감 사진을 통해 여러 가능성을 발견하는 편이 낫다.
   2. 사진·무드보드·제품 이미지는 언어로 이름 붙이기 어려운 분위기와 조합 가능성을 직접 보여준다.

6.3. 응답 품질 평가

1. 형식 정확도(Format Accuracy)
   1. 사용자의 질의에 최적인 응답 형식을 선택했는지 확인한다.
   2. 사용자가 찾는 정보가 응답 속에 묻히지 않고 쉽게 눈에 들어와야 구매라는 다음 단계로 이동할 수 있다.
2. 데이터 충실도(Data Fidelity)
   1. 모델이 잘못된 정보를 만들어내지 않고 실제 상품 정보를 정확한 형식으로 포착했는지 검사한다.
   2. 응답 전체에서 가격·재고·리뷰·정책·속성 같은 정보가 일관되고 정확하게 반영되어야 한다.
3. 사용자 실행 가능성(User Actionability)
   1. 응답 형식이 사용자가 다음 행동을 확신하도록 만드는지 평가한다.
   2. 목표로 하는 다음 행동은 상황에 따라 더 탐색하기, 비교하기, 또는 제품 구매를 결정하기가 된다.

7. 설계 원칙 네 가지와 시스템의 성장

모호함을 정상 입력으로 받아들이고, 보여주며 질문하고, 답의 모양을 설계하고, 루프 전체를 채점하는 네 가지 원칙이 제품 설계의 기준이 된다.

7.1. 모호한 입력을 처음부터 받아들이기

1. Vibe를 위한 준비
   1. 사용자는 깔끔한 검색어가 아니라 분위기와 감각을 가지고 들어올 수 있고, 처음부터 잘 정의된 목표를 갖지 않을 수 있다.
   2. 따라서 제품은 정리되지 않은 질의를 처리하고, 에이전트가 사용자의 목표가 형성되는 과정을 함께 만들어가도록 설계해야 한다.
2. 소비자 분야 확장
   1. 상거래에서 보이는 의도·제약·카탈로그·추천 패턴은 금융과 교육 같은 소비자 영역에도 적용할 수 있다.
   2. 영역이 달라져도 맥락 수집, 선호 도출, 정보 조사, 적응형 응답이라는 루프의 구조는 유지된다.

7.2. 항상 묻기보다 보여주고 질문하기

1. 시각 자료와 비교의 속도
   1. 시각 자료와 비교 선택지는 사용자가 언어로 설명하는 것보다 선호를 훨씬 빠르게 드러내게 한다.
   2. 사용자는 에이전트와 같은 기준점을 보며 공통 언어로 상호작용할 수 있다.
2. 행동 기반 신호
   1. 호버·클릭·선택 방향은 말로 표현되지 않은 선호를 보완한다.
   2. 이런 신호를 신뢰도 모델과 연결하면 에이전트가 질문을 줄이면서도 선호를 점진적으로 정밀화할 수 있다.

7.3. 답을 모양대로 만들기

1. 프레젠테이션도 지능의 일부
   1. 모델 응답의 구조와 프레젠테이션 형식은 부수적인 UI 문제가 아니라 지능의 일부다.
   2. 목록·비교표·시각 보드 중 사용자가 정보를 가장 쉽게 찾을 수 있는 형식을 선택해야 한다.
2. 다음 행동으로 연결하기
   1. 올바른 정보가 응답 안에 있어도 찾기 어렵다면 구매 여정은 멈춘다.
   2. 중요한 정보가 즉시 발견되고 이해되도록 구성해 탐색·비교·구매 결정을 자연스럽게 이어가야 한다.

7.4. 루프 전체를 채점하기

1. 단계별 자동 평가
   1. 탐색의 상태 정확도, 연구의 선호 도출 효율, 응답의 형식·데이터·행동 가능성을 각각 평가할 수 있는 자동 평가기 세트를 둔다.
   2. 어느 한 단계만 잘해도 다른 단계의 실패를 보상할 수 없으므로 전체 루프를 연속적으로 채점해야 한다.
2. 진화하는 평가 시스템
   1. 자동 평가기는 처음에는 단순한 규칙과 측정으로 시작한다.
   2. 제품과 에이전트가 발전하면 운영자도 시스템과 함께 성장하고, 평가기는 새로 생긴 능력과 실패 모드를 반영하도록 점진적으로 확장해야 한다.

8. Q&A — 판매자 온톨로지, 공통 프로토콜, 에이전트 간 상호작용

질문과 답변은 커머스 지식 구조의 책임을 판매자와 에이전트 사이에 어떻게 나눌지, 그리고 사용자가 에이전트 중심 경험으로 이동할 때 어떤 인터페이스가 필요한지를 보완한다.

8.1. 판매자 측 온톨로지를 공정하게 구성하는 법

1. 질문의 핵심
   1. 검색·검색 결과 조회가 특정 방식으로 구조화되어야 하는지, 판매자와 에이전트 모두에게 공정한 온톨로지를 판매자 측에서 어떻게 설계해야 하는지 질문이 제기된다.
   2. 판매자가 가진 상품·서비스 도메인 전문성을 에이전트가 이해하는 제약 조건과 어떻게 연결할지가 핵심 쟁점이다.
2. 판매자의 지능이 들어갈 위치
   1. 사용자가 지정한 제약 조건과 에이전트가 이해한 표현 사이의 브리지를 만들 때, 판매자는 자신의 상품을 가장 잘 설명하는 메타데이터를 제공해야 한다.
   2. 판매자는 각 제약 조건이 자신이 가진 상품 메타데이터와 어떻게 매핑되는지 온톨로지로 정의해야 하며, 이 매핑이 검색 가능성을 좌우한다.
3. UCP(Unified Communications Platform)
   1. 최근 출시한 UCP는 여러 판매자가 에이전트와 공통 언어로 소통할 수 있게 하는 방향의 기능이다.
   2. 판매자별 전문 지식을 공통 계층에서 활용하려면 제약 조건·상품 속성·서비스 정보를 일관된 방식으로 연결해야 한다.

8.2. 응답 형식의 결정권

1. 수평적 공통 계층
   1. 현재 초점은 여러 판매자의 정보가 에이전트로 흘러가고 에이전트가 결정을 내리도록 하는 데 있다.
   2. 모든 판매자 위에 수평적 공통 계층을 만들고, 사용자가 앱과 상호작용할 때 끊김 없는 경험을 제공하는 것이 목표다.
2. 에이전트가 결정하는 출력
   1. 어떤 정보와 상품을 어떤 형식으로 보여줄지는 현재 에이전트 지능의 일부다.
   2. 판매자가 응답 형식을 개별적으로 결정하게 두면 공통 경험이 깨질 수 있으므로, 현 단계에서는 판매자가 최종 형식을 결정하지 않는다.

8.3. 사용자가 더 이상 직접 사용자가 아닌 에이전트가 되는 경우

1. 에이전트 간 인터페이스
   1. 사용자를 대신하는 에이전트가 판매자 또는 다른 에이전트와 직접 상호작용하는 단계가 오면, MCP(Model Context Protocol)가 둘 사이의 인터페이스 역할을 할 가능성이 있다.
   2. 다만 현재는 에이전트들이 서로 상호작용하는 단계까지 아직 도달하지 않았다는 점이 분명히 언급된다.
2. 퍼널 상단의 사용자 참여
   1. 사용자 연구에서는 사람들이 선택 과정과 여러 가능성을 탐색하는 과정에 적극적으로 참여하기를 좋아한다는 점이 확인되었다.
   2. 발견과 영감을 찾는 구매 퍼널 상단(Upper Funnel)에서는 사용자가 대리 에이전트보다 시스템과 직접 상호작용하는 쪽을 선호한다.
3. 퍼널 하단의 에이전트 역할
   1. 에이전트가 개입하기 좋은 시점은 구매 여정 하단(Lower Funnel), 즉 여러 판매자의 가격을 비교하거나 협상하려는 순간이다.
   2. 따라서 전체 여정이 에이전트에게 완전히 위임되는 것이 아니라, 상단에서는 사람의 탐색을 돕고 하단에서는 비교·가격 협상 같은 실행을 맡는 분업이 자연스럽다.

주요 발언 모음

“사용자는 명확한 목표를 갖고 있지 않을 것입니다. 따라서 깔끔하지 않은 질의도 처리할 수 있어야 합니다.”

“항상 텍스트로 질문하기보다 보여주고 질문하는 데 집중해야 합니다.”

“시각 자료와 비교를 사용하면 선호를 훨씬 더 빠르게 파악할 수 있고, 에이전트와 사용자가 공통 언어로 소통할 수 있습니다.”

“답의 모양을 만들어야 합니다. 프레젠테이션 형식은 사용자가 올바른 정보를 찾는 데 이상적이어야 합니다.”

“응답 구조를 만드는 방식도 지능의 일부입니다.”

“루프를 채점해야 합니다. 과정의 모든 단계에 적절한 자동 평가기를 갖춰야 합니다.”

“자동 평가기를 만드는 일은 진화하는 시스템과 같습니다. 시스템이 발전할 때 운영자와 평가기도 함께 점진적으로 성장해야 합니다.”

핵심 데이터 & 수치

• 영상 길이: 20분 37초(1,237초) 분량이며, 설명·사례·Q&A 순서로 진행된다.
• 핵심 루프: 탐색(Discovery) → 연구(Research) → 응답(Response)의 3단계 구조다.
• 연구 단계의 내부 과업: 선호 도출 방식 선택과 사용자를 대신하는 백그라운드 조사라는 2단계로 구성된다.
• 대표 사례: 일정한 예산으로 거실을 리모델링하려는 사용자의 세션 기록, 개인 맥락, 하드·소프트 제약, 스타일 참조 이미지, 방 너비, 재고를 작동 상태에 통합한다.
• 평가 축: 사실 보존, 신뢰도 오차 범위, 반사실적 민감도, 장애물 식별, 과도한 질문, 질문 효용, 숨은 선호 발견 효율, 턴 효율, 형식 선택 정확도, 형식 정확도, 데이터 충실도, 사용자 실행 가능성을 점검한다.
• 적용 범위: 쇼핑·상거래에서 관찰하기 쉬운 패턴이지만 금융·교육 등 다른 소비자 분야에도 확장할 수 있다.

결론 및 시사점

1. 모호한 의도와 불완전한 키워드를 정상적인 사용자 입력으로 간주하고, 사용자가 목표를 형성하는 과정 자체를 협업 대상으로 삼아야 한다.
2. 대화·개인 맥락·참조 이미지·미세 반응을 작동 상태로 통합하되, 사실·확정 제약·추정 선호·신뢰도·실시간 변수를 분리해야 한다.
3. 모든 미지 변수를 한 번에 질문하지 말고, 상품 적합성과 대화 방향을 가장 크게 바꾸는 변수를 정보 이득 기준으로 골라야 한다.
4. 주관적 선호에는 텍스트 질문을 강요하지 말고 시각적 보드와 비교 선택지를 사용해 사용자와 공통 언어를 만들어야 한다.
5. 판매자 온톨로지는 도메인 전문성을 상품 메타데이터에 연결하고, 공통 계층은 에이전트가 여러 판매자의 정보를 일관되게 판단할 수 있도록 해야 한다.
6. 정책·리뷰에는 요약이나 목록, 비교에는 트레이드오프 표, 스타일 영감에는 이미지와 무드보드처럼 답의 형식을 질의 목적에 맞춰야 한다.
7. 자동 평가기를 루프의 모든 단계에 배치하고, 제품이 진화할수록 평가 기준과 운영 방식도 함께 발전시켜야 한다.
8. 사용자는 영감과 발견이 중심인 퍼널 상단에서 직접 탐색하기를 원하고, 에이전트는 비교·협상·가격 확인이 중심인 퍼널 하단에서 더 큰 실행 가치를 제공한다.

핵심 요약 (20줄)

검색창 래퍼형 에이전트는 사용자가 목표와 키워드를 이미 안다고 가정해 표현 격차를 해결하지 못한다. 멀티모달 협업 에이전트는 막연한 분위기에서 출발해 사용자의 구매 목표까지 함께 구체화해야 한다. 쇼핑 루프는 탐색, 연구, 응답의 세 단계로 구성되며 각 단계가 다음 단계의 입력을 만든다. 탐색 단계는 과거 대화, 현재 질의, 개인 맥락, 참조 자료를 통합해 작동 상태를 구축한다. 작동 상태는 세션 기록, 사용자 맥락, 하드 제약, 소프트 선호, 신뢰도, 실시간 변수를 함께 관리한다. 참조 이미지는 사용자가 말로 표현하지 못한 스타일과 레이아웃 선호를 드러내는 핵심 신호가 된다. 재고처럼 결과의 유효성을 좌우하는 변수는 응답 전에 실시간으로 새로 고쳐야 한다. 자동 평가기는 작동 상태의 사실 보존과 신뢰도 점수가 허용 오차 안에 있는지를 확인한다. 반사실적 민감도 평가는 질의가 바뀔 때 관련 제약만 바뀌고 무관한 조건은 유지되는지 검사한다. 의도 격차를 발견한 에이전트는 모든 미지 변수가 아니라 가장 중요한 다음 변수를 찾아야 한다. 방 너비는 상품이 실제 공간에 들어가는지 결정하므로 거실 사례의 우선 질문이 된다. 정보 이득이 큰 질문을 고르면 불필요한 질문 반복을 줄이고 대화의 방향을 효율적으로 바꿀 수 있다. 주관적인 스타일 선호에는 텍스트 질문보다 시각적 선호 보드가 더 적합할 수 있다. 참조 이미지와 유사한 스타일 후보를 보여주면 사용자와 에이전트가 공통 언어로 취향을 조율할 수 있다. 호버와 클릭 같은 미세 반응은 말로 드러나지 않은 선호를 포착해 신뢰도 모델을 갱신한다. 정책과 리뷰에는 요약이나 목록을, 상품 비교에는 기준별 트레이드오프 표를 제공해야 한다. 공간 꾸미기와 스타일 영감에는 제품 사진, 시각 자료, 무드보드가 탐색을 촉진한다. 응답 형식은 사용자가 정보를 쉽게 찾고 구매 같은 다음 행동을 확신하게 만드는 지능의 일부다. 판매자는 상품 전문성을 온톨로지와 메타데이터로 연결하고 UCP를 통해 에이전트와 공통 언어를 만들 수 있다. 사용자는 퍼널 상단에서 직접 발견하기를 선호하며 에이전트는 퍼널 하단의 비교와 협상에서 더 큰 역할을 맡는다.