음성 에이전트의 언어 지도: 미담을 마담으로 읽는 순간

원문 제목: My name is... my name is...: A Linguistic Map for Voice Agents — Midam Kim, ServiceNow URL: https://www.youtube.com/watch?v=IDNfAZVKvPE 날짜: 2026-09-16 채널: aiDotEngineer

📌 핵심 질문 / 이 영상이 다루는 핵심 논점

==음성 AI를 단순한 음성 입력→처리→출력 파이프라인이 아니라 사용자와 봇이 함께 만드는 공동 활동(joint activity)으로 설계하려면, 소리·단어·상호작용·정신 모델을 어떻게 언어적으로 정렬해야 하는가?==

• 인간의 대화는 소리와 단어를 주고받으며 서로의 정신 모델(mental model)을 계속 갱신하는 상호작용이다.
• 음성 에이전트는 듣기 채널과 말하기 채널 각각에서 소리, 단어, 상호작용, 정신 모델을 함께 관리해야 한다.
• 구성 요소 하나라도 빠지거나 시간축에서 정렬되지 않으면 사용자의 짜증, 작업 실패, 상담원 전환, 통화 포기, 조용한 실패로 이어진다.

음성의 자연스러움은 좋은 ASR·TTS 모델만으로 만들어지지 않는다. 사용자의 발화와 의도, 봇의 타이밍과 어휘, 감정과 맥락을 통화 내내 동적으로 관리해 사용자의 정신 모델이 올바르게 성장하도록 해야 한다. ServiceNow의 Eva Bench 같은 엔드투엔드 진단 도구와 언어학적 관점은 이 문제를 분석하고 시스템을 구축하는 틀을 제공한다.

1. “미담”을 “마담”으로 만든 통화 실패

음성 에이전트의 작은 인식 오류가 어떻게 상호작용 붕괴와 인간 상담원 요구로 이어지는지 한 통화가 보여준다.

1.1. 이름 철자에서 시작된 오류

1. 봇의 첫 질문과 느린 철자 말하기

   1. 봇은 “Could you please spell your first name?”이라고 이름을 철자대로 말해 달라고 요청했다.
   2. 김미담은 봇이 요구한 대로 이름을 천천히 m i d a m이라고 철자했다.

2. M과 N을 구별하지 못한 확인

   1. 봇은 확인 과정에서 “is it m i d a n?”이라고 물으며 마지막 글자를 M이 아니라 N으로 바꿨다.
   2. 김미담은 “No, it is m i d a m.”이라고 바로잡았다.
   3. 봇은 “Thank you for your correction. Happy to help you today, Madam.”이라고 답했다.
   4. 김미담은 이름이 Midam이지 Madam이 아니기 때문에 처음보다 더 짜증이 났다. M과 N을 잘못 들은 뒤, 영어 단어 규칙에 따라 이름을 또 다른 단어로 바꿔 버린 셈이다.

1.2. 계좌번호와 말 끊기

1. 사용자에게 공유되지 않은 과업 맥락

   1. 봇은 곧바로 “what is your account number?”라고 물었다.
   2. 김미담은 갑자기 계좌번호가 무엇을 가리키는지 몰라 “What is that account number thing?”이라고 혼란스러워했다.
   3. 그래도 사용자는 적응력이 있어 관련 정보를 찾아보았고, 낯선 번호를 확인했다.

2. 긴 숫자열을 읽는 동안 발생한 STT 실패

   1. 김미담은 계좌번호를 A X 4 5 1이라고 천천히 읽기 시작했다.
   2. 익숙하지 않은 번호를 읽는 데 시간이 걸리자 봇은 사용자의 발화를 기다리지 않고 말을 끊었다.
   3. STT는 unit이라는 단어를 올바르게 인식하지 못했고, 봇은 사용자의 말을 덮어쓰며 “I couldn't find your record.”라고 말했다.
   4. 봇은 사용자가 무엇을 말하려 했는지 확인하지 않은 채 “Can you please repeat that?”이라며 같은 정보를 다시 요구했다.

3. 상호작용의 종료

   1. 김미담은 “Can I talk to a person? I just don't want to deal with you anymore.”라고 말했다.
   2. 이름 오인식 자체는 사람 사이에서도 일어날 수 있어 처음에는 관대하게 넘길 수 있었다.
   3. 그러나 계좌번호라는 맥락을 공유하지 못하고, 읽는 시간을 기다리지 못하고, 같은 정보를 반복시키고, 명확화 질문도 하지 않은 누적 실패가 통화를 포기하게 만들었다.

2. 인간의 대화는 공동 활동이다

2.1. 소리와 단어를 주고받으며 정신 모델을 갱신한다

1. 상호작용적 의사소통

   1. 한 사람이 소리와 단어를 전달하면 상대방이 듣는다.
   2. 대화라면 상대방도 자신의 소리와 단어를 돌려보낸다.
   3. 정보가 앞뒤로 오가는 동안 양쪽은 계속 정보를 처리하고 머릿속 정신 모델을 업데이트한다.
   4. 이 상호작용 전체가 인간 의사소통의 공동 활동이다.

2. 음성 AI에도 필요한 동일한 기대

   1. 인간은 의사소통자로 수천 년 동안 진화했으며, 상호작용적 대화가 인간이 알고 있는 소통 방식이다.
   2. 사용자는 봇에게도 상대방이 듣고, 기다리고, 맥락을 기억하고, 필요에 맞게 답하는 동일한 패턴을 기대한다.
   3. 음성 AI를 인간과 봇 사이의 공동 활동으로 만들지 않으면 사용자는 봇을 단순한 자동화 파이프라인으로 체감하고 사람 상담원을 선호하게 된다.

2.2. 실패 통화를 언어 프레임워크로 다시 읽기

1. 듣기와 말하기의 양방향 구조

   1. 통화의 각 당사자에게는 듣기(listen)와 말하기(speak) 채널이 있다.
   2. 김미담의 이름 철자 발화에서 봇이 M과 N의 차이를 제대로 듣지 못한 것은 듣기 수준의 SCT failure다.
   3. 봇의 TTS는 이름에 영어 중심의 읽기 규칙만 적용해 M I D A M을 미국식 영어로 Midam처럼 읽었다.

2. 실패가 누적되는 방식

   1. 첫 발음 오류는 사람 사이에서도 일어날 수 있으므로 사용자가 대화 전체를 포기하게 만들지는 않는다.
   2. 계좌번호를 모르는 사용자의 혼란, 번호를 읽을 때의 지연, STT의 unit 오인식, 봇의 말 끊기와 덮어쓰기, 반복 요청이 차례로 이어졌다.
   3. 봇은 사용자의 정신 모델을 함께 추적하지 않았고, 사람이 흔히 쓰는 상호작용적 명확화(interactive clarification) 전략도 시도하지 않았다.

3. 음성 에이전트의 언어 구성 요소 지도

인간 대 인간 음성 대화에서 기대되고 안정적으로 유지되는 요소를 듣기 채널과 말하기 채널에 배치하면 시스템의 실패 지점을 진단할 수 있다.

3.1. 듣기 채널(listening channel)

1. 소리(sound)

   1. 봇이 사용자의 음성을 제대로 인식하는지 묻는 층이다.
   2. 음성 인식과 관련된 각종 공학적 기술 용어가 이 층에 들어간다.

2. 단어(word)

   1. 봇이 사용자가 실제로 말한 단어를 이해하는지 묻는 층이다.
   2. M과 N을 잘못 듣거나 unit을 잘못 인식하는 오류는 소리 신호와 단어 해석을 함께 무너뜨린다.

3. 상호작용(interaction)

   1. 봇이 자신의 차례를 위해 적절한 시점까지 기다리는지 묻는 층이다.
   2. 사용자가 낯선 번호를 읽느라 잠시 멈춘 것을 발화 종료로 오인하면 봇이 말을 끊게 된다.

4. 정신 모델(mental model)

   1. 봇이 듣기 과정에서 사용자의 의도와 현재 상황을 이해하는지 묻는 층이다.
   2. 사용자가 계좌번호가 무엇인지부터 확인해야 하는 상태를 파악했다면 봇은 즉시 번호를 요구하기보다 의미와 위치를 설명하거나 확인 질문을 해야 한다.

3.2. 말하기 채널(speaking channel)

1. 소리와 발음

   1. 봇이 이름, 고유명사, 철자와 숫자를 어떤 발음 규칙으로 출력하는지가 중요하다.
   2. 영어 중심의 TTS 읽기 규칙이 Midam과 Madam을 구분하지 못하는 맥락을 만들었다.

2. 사용자가 이해할 수 있는 단어

   1. 봇은 사용자의 어휘를 이해해야 할 뿐 아니라 사용자가 이해할 수 있는 단어를 골라야 한다.
   2. 봇 내부의 업무 용어나 계좌번호 표현을 사용자가 공유하지 않는다면 질문 자체가 정신 모델을 어긋나게 만든다.

3. 상호작용적 타이밍

   1. 봇은 필요한 정보를 준비하더라도 사용자의 차례가 끝날 때까지 기다린 뒤 말해야 한다.
   2. 응답 지연(latency), 발화 종료 감지, 차례 지키기(turn-taking)가 실제 통화 경험을 결정한다.

4. 필요한 정보

   1. 봇은 사용자가 실제로 필요로 하는 정보를 말해야 한다.
   2. “기록을 찾을 수 없다”는 결과만 반복하는 대신 무엇이 잘못되었는지, 어떤 정보를 다시 확인해야 하는지, 사람 상담원으로 전환할 수 있는지를 설명해야 한다.

4. 요소들은 독립된 모듈이 아니라 정렬된 체계다

4.1. 상호의존성과 정렬

1. 소리에서 단어로 이어지는 의존성

   1. 소리를 잘 처리하려면 단어 수준의 맥락을 함께 고려해야 한다.
   2. 발음이 비슷한 M과 N을 구분하려면 철자와 이름이라는 단어 수준의 정보가 필요하다.

2. 단어에서 상호작용으로 이어지는 의존성

   1. 소리와 단어를 잘 처리하려면 차례 지키기와 차례 감지(turn detection)를 함께 고려해야 한다.
   2. unit 인식 실패만 고치더라도 사용자가 읽는 중에 봇이 끼어드는 타이밍 문제가 남아 있으면 통화는 계속 실패한다.

3. 정신 모델과 작업 완료

   1. 모든 층의 목표는 사용자가 원하는 작업을 완료하게 하는 것이다.
   2. 좋은 소리 인식, 적절한 단어, 차례 감지가 있어도 사용자의 의도를 파악하지 못하면 task completion에 도달할 수 없다.

4. 하나라도 빠지면 음성 에이전트가 실패한다

   1. 소리·단어·상호작용·정신 모델 중 어느 하나라도 없으면 음성 에이전트가 제대로 작동하지 않는다.
   2. 네 요소는 서로 잘 정렬되어야 하며, 독립적인 체크박스처럼 순서대로 처리하면 안 된다.

4.2. 시간축과 사라지는 음성

1. 음성 경험은 조용히 추적된다

   1. 이 모든 과정은 시간선(timeline)을 따라 진행된다.
   2. 채팅에서는 사용자가 말한 내용이 텍스트 기록으로 눈앞에 남지만, 음성 에이전트에서는 사용자가 말하고 봇이 답하고 다시 사용자가 말하는 왕복만 이어진다.

2. 남는 것은 사용자의 정신 모델이다

   1. 파형과 공기의 진동은 발화 순간 지나가며, 소리·단어·상호작용도 말해진 순간 사라진다.
   2. 통화가 끝난 뒤 남는 것은 사용자의 정신 모델이며, 정신 모델은 시간선을 따라 진행되고 성장한다.
   3. 사용자가 봇을 유능하고 협력적인 상대라고 이해할지, 같은 말을 반복시키는 장애물이라고 이해할지가 만족도를 결정한다.

5. 사용자 기대에 맞추는 음성 AI 오케스트레이션

5.1. 모델과 어휘를 준비하는 방법

1. ASR 듣기 품질

   1. 좋은 음성 인식(ASR, Automatic Speech Recognition) 모델이나 설정을 선택한다.
   2. 인식 결과에 후처리(post-processing)를 적용해 고유명사, 철자, 숫자, 업무 용어의 오류를 보정한다.

2. TTS 말하기 품질

   1. 좋은 텍스트 음성 변환(TTS, Text-to-Speech) 모델과 설정을 선택한다.
   2. 발음 전처리(pre-processing)를 적용해 이름·고유명사·철자의 언어별 읽기 규칙을 명시한다.

3. 공유 어휘(shared vocabulary)

   1. 봇과 사용자가 함께 사용할 수 있는 어휘를 신중하게 선별한다.
   2. 봇 내부의 전문 용어를 그대로 노출하기보다 사용자가 이해하고 답할 수 있는 표현을 선택한다.

5.2. 대화의 리듬과 감정·맥락

1. 차례와 지연 시간

   1. turn-to-turn detection, latency, turn-taking을 안정적으로 처리한다.
   2. 사용자가 생각하거나 번호를 찾는 짧은 침묵을 성급한 발화 종료로 판단하지 않아야 한다.

2. 감정 감지와 처리

   1. 사용자가 만족하는 순간만이 아니라 답답해하고 불만을 드러내는 순간도 감지해야 한다.
   2. 같은 정보를 무작정 반복시키는 대신 사과, 명확화, 다른 입력 방식, 인간 상담원 연결 같은 다음 행동을 선택해야 한다.

3. 맥락 유지

   1. 맥락은 특정 한 문장이 아니라 통화의 모든 상황을 포함한다.
   2. 앞서 철자 오류가 있었고 사용자가 계좌번호를 찾는 데 시간이 걸린다는 사실을 유지해야 다음 질문과 응답이 일관된다.

4. 통화 중 동적 관리

   1. 상황은 통화 내내 변하기 때문에 언어 요소를 정적으로 설정해 두는 것만으로는 부족하다.
   2. 아이를 비롯해 서로 다른 유형의 사용자는 서로 다른 기대를 가지므로 시간선에 따라 동적으로 관리해야 한다.
   3. 만족한 사용자뿐 아니라 만족하지 못한 사용자에게도 맞춰 대응해야 진정으로 확장 가능한 음성 AI 오케스트레이션이 된다.

6. 언어 오케스트레이션의 사업적 결과

6.1. “가장 자연스러운 방식” 뒤에 숨은 난이도

1. 자연스럽지만 쉽지 않은 음성

   1. 음성은 가장 자연스러운 의사소통 방식이라고 자주 말하지만, 실제로는 결코 쉽지 않다.
   2. 자연스러운 경험의 배후에는 소리, 단어, 차례, 맥락, 의도를 맞물리게 하는 언어적 오케스트레이션이 있다.

2. 오케스트레이션 실패의 비용

   1. 봇이 언어적 조정을 제대로 수행하지 못하면 치명적인 실패(catastrophic failure)가 된다.
   2. 사용자 불만, 작업 실패, live agent escalation, 통화 포기(abandoned calls), 조용한 실패(silent failures)가 늘어난다.

6.2. Eva Bench와 진단의 역할

1. 엔드투엔드 벤치마크

   1. ServiceNow는 음성 상담원의 상태를 진단할 수 있는 엔드투엔드(end-to-end) 벤치마크 Eva Bench를 만들었다.
   2. Eva Bench는 개별 모델 점수만 보는 대신 실제 음성 에이전트 경험이 여러 언어 층에서 제대로 작동하는지 살펴보는 출발점이다.

2. 범용 해결책이 아닌 진단 프레임워크

   1. 모든 시스템에 즉시 적용되는 단 하나의 해결책은 존재하지 않는다.
   2. Eva를 사용하거나 언어학을 배우고 언어학자를 고용해 각 시스템의 소리·단어·상호작용·정신 모델 문제를 찾아야 한다.
   3. 언어학적 프레임워크는 시스템을 진단하고 구축하는 데 사용할 수 있는 지도이지, 어떤 제품이나 모델 하나로 끝나는 처방이 아니다.

7. 사용자는 에이전트에 적응하고, 언어는 변한다

7.1. 화자 적응(speaker adaptation)

1. 대화 상대를 알아갈수록 편해지는 과정

   1. 김미담과 처음 대화한 사람은 말하는 방식, 억양, 사용하는 단어를 통화 중에 학습한다.
   2. 다음에 직접 만났을 때 상대방은 그 지식을 바탕으로 더 편안하게 대화할 수 있다.
   3. 화자는 항상 적응하며, 이 적응은 인간 대화의 공동 활동에 포함된다.

2. 사용자도 통화 중 음성 에이전트에 적응한다

   1. 사용자는 통화가 진행되는 동안 봇의 발음, 속도, 질문 방식, 허용되는 표현을 학습한다.
   2. 시스템은 사용자가 다음 발화에서 음성 에이전트를 더 잘 활용하도록 준비되어 있어야 한다.
   3. 첫 번째 오해 뒤에 사용자의 발음이나 말투를 무조건 바꾸게 하기보다 에이전트가 사용자의 적응을 지원해야 한다.

7.2. 6개월 뒤의 언어까지 고려하기

1. 언어는 계속 변한다

   1. 언어는 고정된 사전이 아니라 계속 변화하는 사회적 체계다.
   2. 오늘 잘 작동한 음성 비서가 1년 뒤, 또는 6개월 뒤의 어휘·발음·표현 변화에도 대응할 수 있는지 물어야 한다.

2. 장기 설계 질문

   1. “여러분의 시스템은 사용자가 다음 통화에서 에이전트를 더 잘 사용하도록 준비되어 있는가?”를 점검해야 한다.
   2. “여러분의 음성 비서는 1년 후, 아니 6개월 후의 언어 변화에도 대비되어 있는가?”를 지속적으로 평가해야 한다.

주요 발언 모음

“My motto is doing linguistics, and what I'm going to be doing today is to hand you that lens of linguistics.”

“Human communication is a joint activity.”

“Voice AI is a joint activity between the bot and the user, not just a pipeline.”

“Sounds, words, interactions vanish the moment they're spoken, but the mental model proceeds and grows over the timeline.”

“Without any of those components, your voice agent will fail.”

“We always say that voice is the most natural way of communication, but it is not actually easy.”

“The fix is in you and your system.”

“Business implications are linguistic implications and vice versa in this voice AI scene.”

“Is your voice agent ready for language change in one year or six months even?”

핵심 데이터 & 수치

• 수천 년: 인간은 수천 년 동안 의사소통자로 진화했으며, 그래서 상호작용적 대화를 기본 소통 방식으로 기대한다.
• 1년·6개월: 음성 비서는 1년 뒤뿐 아니라 6개월 뒤의 언어 변화에도 대비해야 한다.
• 4개 언어 층: 소리(sound), 단어(word), 상호작용(interaction), 정신 모델(mental model)이 듣기·말하기 채널에 걸쳐 서로 의존하고 정렬된다.
• 2개 채널: 각 당사자의 듣기 채널과 말하기 채널이 함께 음성 대화를 구성한다.
• Eva Bench: ServiceNow가 음성 상담원 상태를 진단하기 위해 만든 엔드투엔드 벤치마크다.
• 계좌번호 예시 A X 4 5 1: 낯선 번호를 사용자가 천천히 읽는 동안 STT와 차례 감지 실패가 겹친 사례다.

결론 및 시사점

1. 음성 에이전트 품질은 ASR 정확도나 TTS 자연스러움 하나로 정의되지 않으며, 소리·단어·상호작용·정신 모델의 정렬로 정의해야 한다.
2. 사용자가 잠시 멈춘 이유, 어떤 정보를 찾고 있는지, 앞서 어떤 오류가 있었는지를 통화 시간선 안에서 추적해야 한다.
3. 이름·철자·숫자·전문 용어는 언어별 발음과 공유 어휘를 기준으로 설계하고, 후처리와 전처리로 보강해야 한다.
4. 차례 감지, 지연 시간, turn-taking을 개선하지 않고 인식 모델만 교체하면 사용자의 말을 끊는 실패가 남는다.
5. 감정 감지와 명확화 전략을 도입해 사용자가 불만을 표시할 때 같은 정보를 반복시키는 대신 설명·수정·사람 연결을 선택해야 한다.
6. Eva Bench 같은 엔드투엔드 평가와 언어학자의 분석을 활용해 각 시스템에서 실패한 언어 층을 찾아야 한다.
7. 음성 AI의 사업적 성과와 언어적 설계는 서로 분리되지 않으며, 언어적 실패가 사용자 불만과 이탈로 직접 이어진다.
8. 사용자는 에이전트에 적응하므로 시스템은 그 적응을 학습하고 다음 발화를 더 쉽게 만들어야 하며, 6개월·1년 뒤의 언어 변화도 계속 평가해야 한다.