Persona Engineering: A Field Guide to AI Synthetic Personas — Ishan Anand

URL: https://www.youtube.com/watch?v=YnNF55QV0zs 날짜: 2026-07-29 (업로드), 2026-07-30 (처리) 채널: AI Engineer (aiDotEngineer) 발표자: Ishan Anand (Chief AI Officer, Insight Sciences — LLM 합성 페르소나로 마켓 리서치/인사이트 팀 지원) 영상 길이: 21:09

---

📌 핵심 질문 / 이 영상이 다루는 핵심 논점

==합성 페르소나(synthetic persona)는 날씨 예보와 똑같다. 특정 범위 안에서는 유효하지만, 그 범위를 벗어나면 부정확해지고, "사람"이 아니라 "예측(forecast)"으로 다뤄야 한다.==

• 합성 페르소나는 최근 몇 년간 노벨티에서 시장의 실질적 모멘텀으로 전환되었고, 관련 투자와 언론 보도도 급증했다
• 하지만 이 분야를 다루는 대부분의 보도는 얕고, 과대 포장(hype) 아니면 무조건적 무시(dismissal) 둘 중 하나로 치우쳐 있다
• 발표자는 벤더이지만, 오늘 다루는 모든 내용은 발표자 본인의 의견이 아니라 **공개된 학술 연구(published research)**에 근거한다고 강조한다

이 발표는 (1) 왜 지금 합성 페르소나가 뜨는지, (2) 어떻게 실패하는지, (3) 영감을 줄 만한 구축 기법들, (4) 정확도를 판단하는 지표까지 4개의 축으로 구성된다.

---

1. 왜 지금(Why Now) 합성 페르소나인가

날씨 예보가 컴퓨팅 파워와 데이터의 증가로 가능해졌듯, 합성 페르소나도 동일한 조건 위에서 등장했다. 다만 과거에도 비슷한 시도가 있었고 실패했다는 역사적 교훈이 있다.

1.1. 역사적 선례: Simulmatics의 실패, 그리고 지금은 다른 이유

1. 1950~60년대의 "사람 예보(people forecast)" 시도

   1. Simulmatics라는 회사: 컴퓨터의 등장과 함께 "정확한 일기예보"가 약속되던 시기, Simulmatics는 원시적인 통계와 당시의 연산력으로 유권자(electorate)를 시뮬레이션하고 예측할 수 있다고 주장했다
   2. 역사가 Jill Lepore의 상세 취재: 이 회사의 시도는 광범위하게 다뤄졌으나, 결과적으로는 실패한 것으로 판명됐다
   3. 교훈: 이런 종류의 주장(합성 인간 시뮬레이션)은 항상 겸손하게(with humility) 접근해야 한다 — 과거에도 비슷한 과대 주장이 있었고 무너졌기 때문

2. 그렇다면 지금은 왜 다른가

   1. 연산력의 증가: 단순히 컴퓨팅 파워만 늘어난 게 아니라
   2. 더 나은 모델링(LLM): LLM 덕분에 지금까지와는 질적으로 다른 시뮬레이션이 가능해졌다

1.2. LLM이 여는 새로운 시뮬레이션 패러다임

1. 기존 시뮬레이션의 한계

   1. 수학/공식 기반: 오랫동안 "무언가를 시뮬레이션한다"는 것은 그것을 수식과 방정식으로 만드는(mathematize) 것을 의미했다
   2. 감정·행동·선택은 수식화가 어렵다: 우리가 어떻게 느끼고, 어떻게 행동하고, 어떤 선택을 하는지는 항상 방정식에 순순히 따르지 않는다

2. LLM이 제공하는 새로운 매체(medium)

   1. 언어 자체가 새로운 원자 단위(atomic unit): LLM은 우리가 모델링할 수 있는 새로운 매체, 즉 언어 자체를 원자 단위로 제공한다
   2. 수학은 여전히 내부에 있지만: LLM도 결국 수학 기반이지만, 그 위에 우리가 구성하고 시뮬레이션할 수 있는 "중간 계층(intermediary layer)"을 제공한다는 점이 이전에는 없던 것

1.3. 실제로 작동한다는 증거 — Argyle 계열 실험 (83% 정합성)

1. 실험 설계

   1. 약 1,000명의 인간 참가자: 배경, 견해, 태도에 대해 약 2시간 30분에 걸친 심층 인터뷰 진행
   2. 성격 검사 및 설문 배터리: 참가자들에게 다양한 성격 테스트와 설문을 실시
   3. AI 에이전트에 전사(transcript) 전달: 인터뷰 전사본을 AI 에이전트에게 주고, 동일한 설문/성격 테스트를 풀게 함

2. 결과 및 중요한 단서

   1. 83% 정합도: 에이전트가 대응하는 실제 인간과 약 83% 일치/예측력을 보였다
   2. 단, 이 수치는 정규화된 값: 인간 자신의 불확실성과 노이즈(noise) 대비 정규화한 수치라는 캐비어트가 있다 (이 주제는 발표 말미에 다시 다룸 — 인간 재검사 시 자기 일관성이 80%였다는 사실과 연결됨)

---

2. 합성 페르소나가 실패하는 3가지 방식

합성 페르소나는 일반적인 실험과 다르며, 어떻게 실패하는지 모르면 쉽게 속을 수 있다. 발표자는 3가지 핵심 실패 모드를 제시한다.

2.1. 실패 모드 1 — 부실한 그라운딩(grounding)으로 인한 잠재적 교란변수(confounder) 문제

1. 실험 설계: Willingness to Pay(지불의사) 테스트

   1. 매우 모호하고 단순한 프롬프트: "당신은 고객이다. 제품을 보여주겠다. 카테고리와 가격을 알려주겠다. 구매할지 말지 답하라"는 형태의 템플릿(카테고리·가격이 변수)
   2. 인간 패널과 합성 페르소나에 동일 테스트 실시: 연구진은 인간 패널을 모집해 같은 테스트를 진행하고, 이어서 합성 페르소나에도 동일 테스트를 진행했다

2. 결과: 인간과 LLM의 극적인 차이

   1. 인간(그래프 상 빨간색)의 결과: 기본 경제 이론대로, 가격이 오를수록 구매 확률이 하락하는(하향 기울기) 전형적인 패턴을 보였다
   2. LLM의 역U자형(inverted U-shape) 곡선: 특히 문제가 된 구간은 가격이 오르는데 구매 확률도 함께 올라가는 부분 — 매우 기이한 패턴이었다

3. 원인 분석: LLM이 만들어낸 잠재적 교란변수(latent confounder)

   1. 가격을 다른 속성의 대리지표(proxy)로 사용: 추가 실험을 통해 밝혀진 것은, LLM이 가격을 유효기간(expiration date)이나 경쟁 제품 가격 같은, 인간이라면 "고정된 것"으로 여겼을 다른 속성들의 대리 신호로 사용했다는 점
   2. 컨텍스트가 없으면 LLM은 교란변수를 추론하거나 발명한다: 인간 실험에서는 "금시계를 탁자 위에 올려두고 가격을 추정해보라"고 하면 환경은 고정되고 인간의 판단만이 변수가 된다. 반면 합성 실험에서는 제대로 세팅하지 않으면 환경의 다른 부분들 자체가 변수가 되어버린다
   3. 비유 — "즉흥극(improv)을 하는 LLM": 그라운딩이 부실한 페르소나는 마치 LLM이 즉흥극을 하는 것과 같다 — "탁자 위 금시계라고? 아, 그럼 여기는 보석가게겠군. 이 사람은 부자일 테니 구매 확률이 높겠지" 식으로 세계관을 즉석에서 지어낸다(infer what's likely)

4. 교훈: 풍부한 그라운딩(rich grounding)이 필요하다

   1. 성격·맥락·연구 설계 자체까지 그라운딩: 페르소나의 성격뿐 아니라 맥락, 심지어 연구가 어떻게 구성되어 있는지(study's own construction)까지 풍부하게 명시해야 한다
   2. 인간 실험과 반대되는 원칙: 인간 피험자 실험에서는 연구 설계를 참가자에게 숨기려 하지만, LLM에게는 프롬프트가 곧 우주(universe) 전체이므로, 프롬프트로 세계를 그려서(paint the world) 교란변수가 끼어들 여지를 막아야 한다

2.2. 실패 모드 2 — 프롬프트 민감성(Prompt Sensitivity)과 순서 편향(Order Bias)

1. 실험: 선택지 순서만 바꾼 동일 질문

   1. 같은 질문, 같은 선택지, 순서만 교체: 첫 번째 질문에서는 "예"가 첫 번째 옵션, 두 번째 질문에서는 "예"가 두 번째 옵션으로 배치
   2. 극단적인 순서 편향 발견: 모델은 순서에 따라 극단적으로 다른 답을 내놓았다

2. 결과 해석

   1. 두 결과를 평균 내면 노이즈로 수렴: 두 순서의 결과를 평균하면 사실상 50/50, 즉 아무 정보도 없는 노이즈로 씻겨 나갔다(washed out into noise)
   2. 인간도 순서 편향이 있지만 이 정도는 아니다: 인간에게도 첫 항목 편향(first order bias)이 있지만, LLM만큼 극단적이지는 않다

3. 교훈: 내구성 테스트(durability test) 필요

   1. 재정렬(reordering)·재문구화(rewording)에 대한 강건성 확인: 페르소나가 선택지 순서나 문구를 바꿔도 안정적인 답을 내는지 검증해야 한다
   2. 적대적 도전(adversarial challenge)에 대한 반응도 확인: 페르소나의 의견에 반박하는 질문을 던졌을 때 어떻게 바뀌는지도 테스트 대상이다

2.3. 실패 모드 3 — 태도(attitude)는 잘 예측해도 행동(behavior)은 잘 예측하지 못한다

1. 근본 원인: 학습 데이터의 편향

   1. LLM은 사람들이 "말한 것"을 학습했지, "행동한 것"을 학습하지 않았다: 그 결과 서술된 태도(stated attitudes) 예측이 실제 행동/행위(actions or behaviors) 예측보다 쉽다
   2. 이중의 이유: 태도는 (a) 텍스트에 명확하게 남아 있을 가능성이 높고, (b) 애초에 텍스트 자체로 존재하는 형태이기 때문

2. 증거: 알려진 사회과학 실험을 LLM으로 예측한 연구

   1. LLM(검은 원)과 전문가(파란색)의 전반적 성능은 비슷: 이 차트의 원래 요지는 LLM이 전문가만큼 잘한다는 것
   2. 하지만 두 카테고리로 나누면 격차가 드러난다: 상단은 설문(survey) — 언어·텍스트 기반이며 태도를 반영 — 로 모델이 대체로 더 잘한다. 하단은 필드 실험(field experiments) — 행동을 다루며, 이는 텍스트로 전사(transcribe)되어야 하는 것들이라 학습 데이터에 있을 가능성이 낮고, LLM 성능이 떨어진다

3. 교훈: 태도에서 행동으로 삼각측량(triangulate)하라

   1. 예시 — 헬스장 출석: 출석 여부를 직접 묻기보다, 운동에 대한 태도를 묻고 그것이 적절한 대리지표(proxy)가 되는지 확인하는 편이 나을 수 있다

---

3. 합성 페르소나를 구축하는 3가지 예시 기법

3.1. 기법 1 — 단순 프롬프팅 (Argyle 논문, 정치 성향 페르소나)

1. Argyle 논문 — 이 분야의 초기 시금석(seminal paper)

   1. 텍스트 완성(text completion) 모델 시대의 산물: 당시 사용한 모델이 채팅형이 아니라 텍스트 완성 모델이었기 때문에, 프롬프트가 채팅 형식이 아니라 "I am..." 진술문 형태였다
   2. 프롬프트 예시: "나는 강한 진보주의자다. 나는 진보적 가치를 지지한다..." 등 맥락을 채운 뒤 마지막에 "2016년에 나는 ___에게 투표했다"로 끝맺어 모델이 완성하도록 함
   3. 결과: 모델이 힐러리 클린턴, 버니 샌더스, 힐러리 클린턴 등으로 응답을 샘플링했고, 보수 성향 버전에서도 대응하는 결과가 나왔다

2. 현재는 프롬프팅 기법과 모델 선택 자체가 실증적 검증 대상

   1. 정답은 없다: 이후 훨씬 많은 프롬프팅 기법과 모델이 등장했고, 어떤 조합이 특정 유스케이스에 최선인지는 발표자도 미리 알 수 없다고 인정
   2. 알려진 정답(ground truth) 데이터로 실증 검증 필요: 실제 사례로, 투표 패턴을 재현하는 페르소나를 구성한 연구에서 왼쪽(실제)과 오른쪽(4가지 페르소나 구성 방식)을 비교했더니, 페르소나를 더 정교하게(detailed) 만들수록 오히려 모델 내부의 편향(bias)을 증폭시켜 실제와 더 멀어지는 현상이 관찰됐다 — 연구자들도 이를 처음엔 인지하지 못했다

3.2. 기법 2 — 파인튜닝 (Subpop 논문)

1. 파인튜닝이 필요한 이유: 특히 행동처럼 애초에 학습 텍스트에 존재하지 않는 데이터가 빠져 있을 때 유용할 것으로 기대됨

2. Subpop 논문의 방법론

   1. 프롬프트 템플릿 구성: 인구통계 정보 + 설문 질문으로 구성된 템플릿을 만듦
   2. 인간 분포 vs 모델 분포 비교 후 파인튜닝: 알려진 인간 데이터 분포와 모델이 산출한 분포를 비교하고, 둘이 정렬(align)될 때까지 파인튜닝을 반복

3. 놀라운 결과: 보지 못한 그룹(unseen group)에도 정합성 개선

   1. 파인튜닝에 사용된 그룹(파란색)뿐 아니라: 예상대로 개선됨
   2. 파인튜닝에 사용되지 않은 그룹(흰색)도 거의 같은 정도로 개선됨: 이는 "거의 마법 같은(almost magical)" 결과로, 이후 연구는 모델이 이미 이 그룹들에 대한 잠재적(latent) 이해를 갖고 있었지만 그것을 설문이라는 포맷으로 표현하는 방법을 몰랐을 뿐이라는 가설을 시사한다
   3. LLM은 원래 "설문 풀기"라는 태스크에 익숙하지 않다: 파인튜닝은 실제로 그 태스크를 배우거나 스스로를 표현하는 방법을 익히도록 돕는 과정에 가깝다는 것

4. 교훈: 원하는 페르소나는 이미 모델 안에 있고, 우리는 그것을 소환(summon)하거나 이끌어낼(elicit) 방법을 찾아야 할 뿐이다

3.3. 기법 3 — 정교한 캘리브레이션: 척도를 텍스트로, 텍스트를 다시 분포로

1. 문제의식: 앞선 Subpop의 교훈 — "LLM은 설문에 익숙하지 않지만 텍스트로 자신을 표현하는 데는 익숙하다" — 를 더 밀어붙인 시도

2. 실험 설계

   1. 1단계 — 시스템 프롬프트에 인구통계 + 제품 컨셉 제시: "이 제품을 얼마나 구매하고 싶은가?"를 1~5점(5=가장 구매 의향 높음, 1=가장 낮음) 척도로 묻는 기본적인(naive) 프롬프팅 패턴과 비교 대상으로 설정
   2. 2단계 — 숫자 대신 텍스트로 답하게 함: "1~5점을 매기지 말고 문장으로 답하라"고 지시. 예: "나는 어느 정도 관심이 있다. 잘 작동하고 너무 비싸지 않다면 한번 써볼 것 같다"
   3. 3단계 — 인간이 각 점수에 대응하는 예시 텍스트를 직접 작성: 1점="절대 안 살 거다", 5점="당연히, 20개도 살 거다" 같은 식으로 각 점수의 예시 문장들을 사람이 미리 써 둠
   4. 4단계 — 의미적 유사도(semantic similarity)로 매핑: 모델이 낸 텍스트와 인간이 작성한 예시 텍스트 간 의미 유사도를 측정해, 1~5점 구간 위의 확률 분포로 변환

3. 결과: 평균값뿐 아니라 분포(distribution)까지 재현

   1. "사람처럼 느껴지는" 분포: 어떤 날은 4점, 어떤 날은 5점, 하지만 1·2·3점은 드물게 나오는 식의 자연스러운 분포 형태가 재현됨
   2. 중요한 실패 모드와의 연결: LLM은 종종 페르소나의 평균값(average)은 맞히더라도 세부적인 변동(variation)을 뭉개버리는(muddled together in the middle) 경향이 있는데, 이 기법은 그 문제를 해결
   3. 분포 형태 유사도(shape similarity) 지표: 0(전혀 다름)~1(완전히 동일) 척도에서, 단순(naive) 방식(그래프 하단, 분홍/보라색)보다 이 캘리브레이션 방식(그래프 상단, 노란색)이 훨씬 높은 점수를 기록 — 최종 선택뿐 아니라 그 선택의 변동성(variation)까지 잘 포착했다는 의미

---

4. 합성 페르소나의 정합성(Alignment)을 측정하는 법

4.1. 통계적 유의성의 함정 — "날씨 게이지" 비유

1. 흔한 오해: 전통적 마켓 리서치 클라이언트들이 자주 놀라고 실망하는 지점 — 합성 페르소나로 통계적 유의성(statistical significance)을 "부풀릴" 수는 없다. 과소 대표된(underrepresented) 집단에서 더 많은 값을 뽑아낼 수는 있지만, 그것이 통계적으로 유의미해지는 것은 아니다

2. 날씨 게이지 비유로 설명

   1. "오늘 샌프란시스코에 비가 얼마나 왔는가"를 알고 싶다면: 게이지 1,000개를 설치하면 추정치의 정확도(accuracy)가 실제로 올라간다 — 이건 "이미 일어난 일"을 측정하는 것이므로
   2. "내일 비가 올 것인가"를 알고 싶다면: 입력을 바꾸지 않고 예보(forecast)를 1,000번 재실행해도 그 예보의 확실성(certainty)은 올라가지 않는다 — 모델이 말하는 바에 대한 추정은 좋아지지만, 예보 자체의 정확도가 좋아지는 것은 아니다
   3. 결론: 입력 변경 없이 합성 페르소나를 반복 실행하는 것은 후자에 해당 — 즉, 더 많은 합성 샘플이 통계적 유의성을 개선해주지 않는다

4.2. 분포 비교를 위한 다중 지표(Multiple Metrics)

1. 전통적 이밸류에이션(eval)과의 차이

   1. 정답/오답이 명확한 고전적 eval과 다름: 합성 페르소나 평가는 몇 개 맞고 틀렸는지 세는 방식이 아니라, 분포 대 분포(distribution vs distribution)의 비교가 필요하다
   2. 분포가 틀리는 방식은 다양하다: 완전히 엉뚱하게 틀릴 수도 있고, 평균은 맞지만 분포의 형태(shape)가 틀릴 수도 있다

2. 권장 지표 조합

   1. 상관관계(correlation) 계열 지표: 하나로 사용
   2. 형태(shape) 계열 지표: 분포의 밑바탕 형태를 포착하는 지표를 함께 사용해야 한다 (앞서 3.3의 shape similarity 사례 참고)

4.3. 노이즈 바닥(Noise Floor) 설정하기

1. 인간 데이터 자체의 노이즈를 먼저 측정해야 한다

   1. 83% 정합도 실험의 숨은 디테일: 앞서 언급한 83% 정합도를 만든 연구팀은, 동일한 인간 참가자들을 2주 후 다시 불러 같은 설문/성격 테스트를 재실시했다
   2. 인간도 자기 자신과 80%만 일치했다: 즉 인간 스스로의 자기 일관성(self-consistency)이 80%에 불과했고, 이것이 모델이 도달할 수 있는 정확도의 이론적 상한(noise floor)을 설정한다 — 83%라는 수치는 바로 이 기준에 대해 정규화된 값이다

2. 재검사(retest)가 불가능할 때의 대안

   1. 인간 데이터를 둘로 쪼개기: 실제로 인간을 다시 불러 재검사하기 어려운 경우가 많은데, 이때는 확보한 인간 정답(ground truth) 데이터를 두 덩어리로 나눠 하나는 "합성"인 척, 하나는 "인간"인 척 가정한다
   2. 상관관계를 반복 측정 후 평균: 이 작업을 수백~수천 번 반복해 평균을 내면, "절반이 합성이고 절반이 실제인 데이터"에서 기대할 수 있는 정확도 수준, 즉 노이즈 바닥을 인위적으로 설정할 수 있다

---

5. 결론 — 날씨 예보 렌즈로 본 합성 페르소나, 그리고 인간+에이전트 생태계

1. 날씨 예보 비유의 최종 정리

   1. 합성 페르소나는 사람이 아니라 예보(forecast)다: 두 시스템 모두 (a) 경계가 있고(bounded), (b) 시간이 지나며 개선되고, (c) 현실과 대조해 검증될 때 가장 신뢰할 수 있다

2. 합성 페르소나 vs 인간 리서치는 대립이 아니라 상호보완적

   1. 이유 1 — 인간은 더 이상 유일한 경제 주체가 아니다: 인지(awareness), 고려(consideration), 구매 결정 등 인간 고객의 모든 행동이 점점 더 AI 에이전트에 의해 매개(mediated)되고 있다. 따라서 "인간만" 조사한 연구는 더 이상 골드 스탠다드(gold truth)가 아니며, 진짜 필요한 것은 "인간+에이전트 생태계"가 어떻게 작동하는지 이해하는 것
   2. 이유 2 — 합성 페르소나의 실질적 대안은 인간 리서치가 아니라 "리서치 없음"이다: 실무에서는 설문에 포함된 질문에만 바로 답할 수 있다. 실제로는 "설문 끝나고 2개월 후에 물어보지 않은 질문"이 튀어나오는 경우가 대부분이고, 이때 누군가는 그냥 "추측(extrapolation)"으로 답하게 된다. 전문가 + 합성 페르소나 조합이 이런 상황에서 더 나은 답을 준다

3. 가장 흥미로운 방향: 생성형 에이전트 기반 모델링(Generative Agent-Based Modeling)

   1. 시간 부족으로 深掘りは 생략했지만: 각 페르소나들을 서로 상호작용시키며 동역학(dynamics)을 시뮬레이션하는 방향을 언급
   2. 최종 비전: 인간 데이터를 "살아있는, 쿼리 가능한 자산(living queryable asset)"으로 전환하는 것

4. 발표자 소개 및 컨택: Insight Sciences는 마켓 리서치·인사이트 팀이 AI로 합성 페르소나를 만들고 활용하도록 돕는 회사. 웹사이트: insightsciences.ai

---

주요 발언 모음

"synthetic personas are like weather forecasting... they operate within a particular regime and going past that sometimes can go outside of where they're accurate."

"if it's a poorly grounded persona, it's a little like the LLM is playing improv with you."

"LLMs are trained on what people say, and they're not trained on what people do."

"your persona that you're looking for is in there. We just need to figure out the way to summon it or elicit it."

"you cannot use statistical synthetic personas to boost statistical significance."

"they are not people, they are forecasts, and we should treat them accordingly."

"the alternative to a synthetic persona is not human research. In most cases, it's no research or it's somebody's opinion."

핵심 데이터 & 수치

• 83% 정합도: Argyle 계열 실험에서 AI 에이전트가 대응 인간의 설문/성격 테스트 응답과 보인 정합률 (인간 자신의 노이즈 대비 정규화된 값)
• 80% 자기 일관성: 같은 인간 참가자들이 2주 후 재검사에서 스스로와 일치한 비율 — 모델이 도달 가능한 정확도의 이론적 노이즈 바닥
• 역U자형 곡선: Willingness-to-pay 실험에서 LLM이 보인 비정상적 가격-구매확률 관계 (인간은 정상적인 하향 곡선)
• 50/50로 씻겨나간 순서 편향 실험: 선택지 순서를 뒤집은 두 질문의 결과를 평균하면 노이즈로 수렴

결론 및 시사점

1. 합성 페르소나는 실제로 작동하지만(83% 정합도 등 검증된 사례 존재), "사람"이 아니라 "날씨 예보"처럼 다뤄야 하며 유효 범위를 이해하는 것이 성패를 가른다.
2. 페르소나를 구축할 때는 그라운딩(맥락·성격·연구 설계까지)을 풍부하게 해야 잠재적 교란변수로 인한 왜곡을 줄일 수 있다.
3. 프롬프트 재정렬·재문구화에 대한 durability test 없이는 결과를 신뢰할 수 없다.
4. 태도(attitude) 예측이 행동(behavior) 예측보다 훨씬 쉽다는 것을 인지하고, 가능하면 태도 질문으로 행동을 삼각측량하라.
5. 더 정교한 페르소나 구성이 항상 더 정확한 것은 아니다 — 오히려 모델의 편향을 증폭시켜 실제와 멀어질 수 있으므로 반드시 ground truth로 실증 검증해야 한다.
6. 파인튜닝은 미학습 그룹까지 정합성을 개선시킬 수 있다(latent understanding 가설) — 모델은 이미 알고 있지만 표현 방법을 모를 뿐일 수 있다.
7. 텍스트 기반 응답을 인간이 작성한 앵커 텍스트와 의미 유사도로 매핑하면 평균뿐 아니라 분포 형태까지 재현할 수 있다.
8. 합성 샘플을 아무리 늘려도 통계적 유의성은 개선되지 않는다 — 정확도를 높이려면 실제 인간 데이터와 대조 검증해야 한다.
9. 평가에는 상관관계 지표와 분포 형태 지표를 함께 사용하고, 인간 데이터 자체의 노이즈 바닥(재검사 또는 half-split 방식)을 반드시 설정해야 공정한 비교가 가능하다.
10. 합성 페르소나는 인간 리서치의 대체재가 아니라 보완재다 — 특히 사후에 튀어나오는 미조사 질문에 대해 "전문가+합성 페르소나" 조합이 무근거 추측보다 낫다.