데이터 부족에 빠지지 않는 법: Anuj Iravane의 의료 합성 데이터 파이프라인

URL: https://www.youtube.com/watch?v=XAsb7MIAzm8 날짜: 2026-08-20 원본 업로드일: 2026-08-19 채널: aiDotEngineer 발표자: Anuj Iravane, Anterior AI 리드

---

📌 핵심 질문 / 이 데이터가 필요한데 보관할 수 없다면 어떻게 할 것인가

==가장 중요한 데이터가 개인정보·계약·규제로 인해 보관과 재사용이 불가능하다면, 실제 데이터를 억지로 축적하는 대신 업무의 의사결정 구조를 역방향으로 실행해 다양하고 검증 가능한 합성 데이터를 만들어야 한다.==

• Anterior가 다루는 의료 행정 업무는 정책에 따른 의사결정과 비정형 의료 기록의 해석으로 요약된다.
• 의료 기록은 환자의 전체 임상 경로와 희귀한 예외를 담지만, PHI(Protected Health Information)라서 보관·재사용·파생 데이터 생성이 계약상 금지된다.
• LLM에 300쪽짜리 기록을 한 번에 쓰게 하면 현실성·다양성이 무너지는 모드 붕괴가 발생하므로, 정책에서 라벨과 추론 경로를 먼저 샘플링하고 환자 여정·문서를 단계적으로 생성해야 한다.
• 생성된 데이터의 품질은 AI 엔지니어가 단독으로 판정할 수 없으며, 임상의가 생성 과정을 조종하고 파이프라인의 스킬을 직접 소유해야 실제 배포에 도움이 된다.

의료 합성 데이터는 단순히 가짜 문서를 대량으로 만드는 작업이 아니다. 정책이 어떤 결과를 허용하는지 결정 트리로 표현하고, 그 결정에 도달하는 다양한 임상 조건과 추론 경로를 골고루 샘플링한 다음, 실제 기록이 만들어지는 과정을 모방해 문서를 채워야 한다. 이 구조는 고객 데이터를 기다리지 않고도 배포 전 희귀 오류와 엣지 케이스를 만들어 시험하게 한다.

1. Anterior가 풀고 있는 문제: 고위험 의료 행정과 데이터 빈곤

정확도 기준이 극도로 높은 의료 행정에서는 풍부한 비정형 데이터가 필요하지만, 바로 그 데이터가 가장 엄격하게 보호된다.

1.1. Anterior의 사업과 업무 범위

1. 임상의가 주도하는 AI 기업

   1. 회사 정체성: Anterior는 헬스 플랜을 위해 만들어진 clinician-led AI company이며 Sequoia와 NEA의 지원을 받는다.
   2. 주요 역할: 헬스 플랜의 AI 전환(AI transformation)을 수행하고, 여러 고위험 의료 행정 워크플로를 프로덕션에서 운영한다.

2. 자동화 대상 업무

   1. 사전 승인(Prior Authorization): 환자의 치료나 장비가 의학적으로 필요한지 정책과 기록을 대조한다.
   2. 지급 무결성(Payment Integrity): 의료비 지급이 정책·기록·청구 내용에 부합하는지 확인한다.
   3. HEDIS 지표: 환자 진료 및 건강보험 품질 측정에 필요한 조건을 기록에서 판정한다.
   4. 공통 구조: 업무 이름은 달라도 비정형 데이터를 정책과 대조해 결론에 이르는 policy-guided decision-making over highly unstructured data라는 공통점이 있다.

1.2. 의료 데이터가 가진 독특한 복잡성

1. 팩스가 여전히 핵심 전송 수단이다

   1. 의료 커뮤니케이션의 약 70%가 여전히 팩스로 이뤄진다.
   2. 실무에서 들어오는 데이터는 환자 정보가 가득한 스캔 팩스 묶음과 그 안의 의료 기록이다.

2. 정보 밀도가 높고 긴 꼬리(long tail)를 가진다

   1. 데이터는 드물고 미묘한 상황의 긴 꼬리에서 나온다.
   2. 한 묶음은 환자의 전체 임상 경로를 모델링하며, 사람마다 진료 여정이 다르다.
   3. 각 기록은 한 사람의 생애를 흐릿한 렌즈로 관찰한 것처럼 많은 정보를 담지만, 관찰 방식과 문서화 방식 자체가 불완전하다.

3. 표현 형식이 뒤섞여 있다

   1. 읽기 어려운 손글씨가 포함된다.
   2. 표, 체크박스, 키-값 쌍, 이미지가 한 기록 안에 함께 등장한다.
   3. 문서의 의미는 평문만 읽어서는 충분히 복원되지 않으며, 레이아웃과 문서 유형도 해석에 영향을 준다.

4. 정확도 기준이 일반 소프트웨어와 다르다

   1. 의료 업무에서 95% 정확도는 충분하지 않다.
   2. 작은 비율의 실패도 환자·보험자·의료기관에 큰 결과를 만들 수 있으므로, Anterior는 데이터셋과 평가(evals)에 깊이 투자한다.
   3. 비정형 의료 기록은 자동화하려는 거의 모든 워크플로에 반복해서 들어오는 핵심 데이터원이다.

1.3. PHI가 만드는 데이터 보관의 벽

1. 원본을 남길 수 없다

   1. 의료 기록은 PHI이므로 Anterior가 보관할 수 없다.
   2. 보관한 원본을 다시 사용하거나, 원본에서 정보를 추출해 파생 데이터로 남기는 것도 계약상 금지된다.

2. 익명화조차 허용되지 않는 경우가 많다

   1. 기록을 redaction(식별정보 가리기)하거나 anonymization(익명화)해 보관하는 방법도 계약에서 금지될 수 있다.
   2. 결과적으로 장기간 유지되는 데이터셋에는 원본도, 익명화 사본도, 파생 정보도 남지 않는다.

3. 정면 돌파가 아닌 생성이 필요하다

   1. 고객 데이터를 축적할 수 없는 상태에서 높은 정확도와 엣지 케이스 평가를 동시에 달성해야 한다.
   2. 필요한 기록을 자체적으로 합성하겠다는 선택이 데이터 빈곤 문제의 해결책이 된다.

2. LLM 합성 데이터의 가능성과 한계

LLM은 합성 데이터를 만드는 훌륭한 도구지만, 의료 기록 전체를 한 번에 생성하는 방식은 다양성과 현실성에서 쉽게 무너진다.

2.1. 합성 데이터가 주목받는 이유

1. 기초 모델 훈련 전반으로 확장되는 흐름

   1. Frontier Labs는 지속적 사전 학습(continued pre-training)을 위한 합성 데이터 생성에 투자한다.
   2. 강화학습(RL), computer use, 에이전트 훈련에서도 합성 데이터가 활용된다.
   3. 실제 데이터를 직접 보관하지 못하는 도메인에서 합성 데이터는 학습·평가 재료를 공급하는 일반적 전략이 되고 있다.

2. LLM을 생성기로 사용하는 접근

   1. 의료 및 비의료 영역의 여러 연구팀이 LLM으로 목적별 합성 데이터를 생성하는 데 성공했다.
   2. LLM은 자연어 문서 생성과 조건부 변형에 강하므로 첫 번째 선택지로 자연스럽게 떠오른다.

2.2. 한 번에 생성할 때 발생하는 모드 붕괴

1. 현실성과 다양성을 동시에 유지하기 어렵다

   1. 실제 의료 기록은 300쪽을 넘기도 한다.
   2. LLM에 300쪽 기록을 한 번에 쓰게 하는 것은 소설 전체를 한 번에 쓰게 하는 것과 비슷하다.
   3. 출력이 그럴듯해 보여도 희귀한 조건, 문서 간 연속성, 환자의 장기 경로가 빠지고 비슷한 기록만 반복된다.

2. 스케일에서 문제가 더 커진다

   1. 소수의 기록을 만들 때는 사람이 이상한 결과를 고칠 수 있다.
   2. 기록 수와 길이가 커지면 one-shot 생성의 불일치와 반복 패턴이 누적된다.
   3. 다양한 사례를 많이 만들어야 하는 평가용 데이터셋에서 이런 편향은 모델의 약점을 숨긴다.

3. LLM의 모드 붕괴 원인

   1. 사전 학습 노출 부족: 비정형 의료 기록은 공개 사전 학습 코퍼스에 거의 노출되지 않으므로 모델이 데이터의 분포를 충분히 배우지 못한다.
   2. 학습 목적의 편향: 오늘날의 사전 학습·사후 학습 목표는 창의성과 다양성보다 유용하고 도움 되는 시스템을 만드는 데 맞춰져 있다.
   3. 결과: 모델이 안전하게 반복할 수 있는 전형적 패턴으로 수렴해, 드물고 창의적인 임상 조합을 충분히 만들지 못한다.

2.3. 생성의 방향을 뒤집는 발상

1. 정방향 업무 흐름

   1. 실제 자동화 업무는 비정형 의료 데이터와 정책에서 출발한다.
   2. 정책을 데이터에 실행하고, 그 과정의 추론 경로(reasoning trace)를 따라간다.
   3. 추론이 끝나면 승인·거절과 같은 라벨(label)을 결과로 얻는다.

2. 역방향 합성 흐름

   1. 먼저 가능한 라벨을 무작위로 샘플링한다.
   2. 그 라벨에 도달할 수 있는 정책상의 추론 경로를 결정한다.
   3. 마지막으로 선택된 경로를 만족하도록 의료 기록을 뒤에서부터 생성한다.

3. 다양성이 생기는 지점

   1. 라벨과 추론 경로를 충분히 다양하게 뽑으면 데이터는 다양한 입력 조건에 조건부로 생성된다.
   2. LLM이 스스로 데이터 전체 분포에서 창의적으로 샘플링하게 두는 대신, 정책의 구조가 생성 조건을 제공한다.
   3. 따라서 모드 붕괴를 완전히 없애지는 않더라도 다양성 문제를 크게 우회할 수 있다.

3. 정책을 결정 트리로 바꾸는 이유

정책의 상징적 표현은 결과에 도달하는 경로를 통제 가능하게 만들고, 생산 데이터가 놓치는 희귀 상황을 의도적으로 평가하게 한다.

3.1. CPAP 의학적 필요성 정책의 구조

1. 정책의 역할

   1. 예시로 CPAP 장치에 대한 medical necessity review 정책이 사용된다.
   2. 환자 상태와 기록이 어떤 조건을 만족하는지에 따라 CPAP를 승인하거나 거절해야 한다.

2. 결정 트리로서의 정책

   1. 정책은 환자가 가질 수 있는 여러 조건을 나열한다.
   2. 조건의 조합이 최종 승인·거절 결과를 결정한다.
   3. 복잡한 텍스트 규정을 결정 트리나 이에 준하는 symbolic representation으로 모델링하면, 어떤 조건이 어떤 결론을 만드는지 명시적으로 추적할 수 있다.

3.2. 정책 기반 샘플링의 장점

1. 결정적 추론 경로 생성

   1. Anterior는 정책을 결정 트리와 유사한 상징 구조로 표현한다.
   2. 이 구조에서는 특정 결과를 만들 수 있는 서로 다른 추론 경로를 결정적으로 샘플링할 수 있다.
   3. 샘플링한 경로가 뒤이어 생성할 기록의 조건부 입력이 된다.

2. LLM보다 균일하고 유효한 사전 분포

   1. LLM에게 전체 기록을 맡기면 모델이 자주 본 전형적인 사례에 편향된다.
   2. 정책 트리에서 경로를 뽑으면 조건 공간을 더 균일하게 훑는 prior distribution을 구성할 수 있다.
   3. 결과에 필요한 조건을 명시적으로 통제하므로, 희귀 조합을 의도적으로 포함할 수 있다.

3. 생산 데이터 평가의 맹점 보완

   1. 고객에게서 200건을 받아 평가한 결과 95%가 나와도, 고객 데이터에 없던 희귀 엣지 케이스 성능은 알 수 없다.
   2. 의료 데이터는 변이가 매우 커서 생산 데이터 분포 밖의 희귀 상황이 항상 존재한다.
   3. 정책 경로를 균일하게 샘플링하면 실제 운영 데이터에서 거의 보지 못할 시나리오까지 체계적으로 시험할 수 있다.

4. 인과적 상태 표현과의 연결

   1. Cynthia라는 접근과 유사하게 symbolic causal state representation에서 시나리오를 샘플링하는 연구 흐름이 있다.
   2. 상징적 표현은 합성 데이터의 다양성을 늘리는 수단으로 여러 팀이 탐구하는 영역이다.

4. 환자 여정에서 문서까지: coarse-to-fine 생성 파이프라인

정책 경로를 조건으로 삼은 뒤, 실제 문서가 생산되는 시간적·계층적 과정을 따라가며 기록을 점점 구체화한다.

4.1. 1단계: 환자 불변값과 환자 여정

1. 환자 불변값(patient invariants) 생성

   1. 생물학적 성(sex), 생년월일(birth date), 혈액형(blood group)처럼 여정 전체에서 유지되는 기본값을 먼저 만든다.
   2. 이 값은 뒤에서 생성되는 사건과 문서가 서로 모순되지 않도록 하는 기준점이 된다.

2. 환자 여정(patient journey) 생성

   1. 선택된 정책 추론 경로와 불변값을 LLM에 제공한다.
   2. LLM은 환자가 겪었을 법한 사건과 의료 제공자(provider)를 시간순으로 정렬한 목록을 만든다.
   3. 결과는 환자의 생애에 걸쳐 어떤 일이 있었는지 보여주는 고수준 자연어 개요다.

4.2. 2단계: 진료 만남과 문서 계획

1. 문서가 발생하는 실제 지점 모델링

   1. 현실에서는 모든 순간에 문서가 생기는 것이 아니라, 환자와 provider가 만나는 진료·상담 encounter에서 문서가 생성된다.
   2. 따라서 파이프라인은 환자 여정의 각 encounter를 문서 생성의 기준 단위로 삼는다.

2. 문서 계획(document plan)

   1. 각 encounter에 어떤 문서가 필요한지 먼저 계획한다.
   2. 문서 종류, 문서가 다룰 사건, 앞선 병력과의 관계를 계획에 담는다.
   3. 계획은 실제 문서 본문을 만들기 전에 전체 기록의 구조를 고정하는 중간 계층이다.

4.3. 3단계: 문서 fan-out과 정보 채우기

1. 앞선 기록을 조건으로 문서 생성

   1. 문서 계획과 환자의 이전 이력을 함께 사용한다.
   2. 각 encounter에 해당하는 실제 문서를 여러 갈래로 fan-out해 생성한다.
   3. 문서 안에 필요한 임상 정보를 채워 넣어, 서로 다른 문서가 하나의 환자 경로를 반영하게 한다.

2. coarse-to-fine의 효율성

   1. 환자 불변값 → 환자 여정 → encounter별 문서 계획 → 실제 문서라는 계층을 따라간다.
   2. 단계별 프롬프트가 필요한 정보만 주고받으므로 입력·출력 토큰을 효율적으로 사용한다.
   3. 전체 300쪽 기록을 한 번에 컨텍스트에 넣지 않아도 긴 여정을 생성할 수 있다.
   4. 환자 여정을 길게 늘려도 각 문서 생성이 독립적으로 fan-out되므로 LLM 컨텍스트 윈도우를 과도하게 압박하지 않는다.

4.4. 4단계: 평가와 정제 루프

1. 문서 간 일관성 검사

   1. 생성된 문서는 병렬 fan-out 과정에서 독립적으로 만들어질 수 있다.
   2. LLM 기반 consistency check가 모든 문서를 서로 비교해 모순, 부정확성, 충돌하는 정보를 찾는다.
   3. 검사 결과는 특정 문서나 문서 일부를 다시 생성·수정하는 refinement loop로 들어간다.

2. 라벨과 기록의 round-trip 검증

   1. 파이프라인은 시작할 때 라벨과 정책 경로를 이미 알고 있다.
   2. 생성된 의료 기록을 원래의 업무에 다시 넣어, 처음 선택한 작업의 입력·출력과 기록이 일치하는지 확인한다.
   3. 이 round-trip check는 합성 기록이 실제로 해당 정책 결과를 유도하는지 검증한다.
   4. 라벨을 생성 과정에서부터 구성했기 때문에, 별도의 값비싼 ground-truth 수집을 일부 건너뛸 수 있다.

3. 텍스트 도메인에서 평가하기

   1. 생성과 평가는 평문과 Markdown에서 수행한다.
   2. 텍스트를 PDF로 렌더링하는 것은 기술적으로 가능하지만, 굳이 할 필요가 없다.
   3. 현재는 누구나 사용할 수 있는 state-of-the-art PDF parser가 복잡한 PDF를 좋은 Markdown 표현으로 변환한다.
   4. 따라서 합성 단계에서 PDF의 시각적 껍데기를 재현하기보다, 실제 파서가 넘겨주는 텍스트 표현과 업무 논리를 평가하는 편이 효율적이다.

5. 도메인 전문가가 데이터 파이프라인의 주인이 되어야 한다

의료 기록의 품질을 판단하는 사람은 AI 엔지니어가 아니라 현장 임상의이며, 임상의가 생성 중간에 개입하고 파이프라인 로직을 바꿀 수 있어야 한다.

5.1. 품질 판정의 주체

1. AI 엔지니어만으로는 충분하지 않다

   1. LLM 기반 파이프라인을 처음부터 만들었다고 해서 좋은 의료 기록이 생성되는 것은 아니다.
   2. AI 엔지니어가 의료 기록의 현실성과 임상적 타당성을 완전히 알 수는 없다.
   3. 무엇이 좋은 기록이고 무엇이 틀린 기록인지 판단하는 역할은 도메인 전문가가 맡아야 한다.

2. 임상가의 현장 지식 활용

   1. 임상의는 프로덕션에서 실제로 발생한 흥미로운 사례를 먼저 확인한다.
   2. 그 사례에서 실패·예외·희귀 조합에 대한 아이디어를 얻는다.
   3. 생성 과정의 steering 기능으로 비슷한 상황을 의도적으로 만들고, 배포 전에 그 케이스를 평가한다.

5.2. 생성 과정의 human-in-the-loop

1. 각 단계에 개입할 수 있는 구조

   1. 임상의는 생성 파이프라인의 각 지점에서 human-in-the-loop로 개입한다.
   2. 환자 여정, 문서 계획, 문서 내용, 평가 조건을 원하는 방향으로 조종할 수 있다.
   3. 그 결과 단순히 평균적인 기록이 아니라, 임상적으로 의미 있는 실패 사례와 고객별 변형을 만들 수 있다.

2. 실패 사례를 선제적으로 모델링

   1. 프로덕션에서 실패 사례가 먼저 발견되면, 같은 종류의 사례를 합성 데이터로 다시 만든다.
   2. 아직 발생하지 않은 실패라도 임상의가 정책과 경험에서 위험한 조합을 찾아 미리 만들 수 있다.
   3. 데이터가 배포 전 평가로 돌아오므로, 실서비스에서 처음 실패할 때까지 기다릴 필요가 줄어든다.

5.3. 스킬 기반 워크플로와 임상의 소유권

1. generic agent harness 위의 스킬들

   1. 전체 파이프라인은 내부에서 만든 일반적인 agent harness 위에서 실행되는 skills-based workflow로 모델링된다.
   2. 환자 여정, 문서 생성, 문서 보강(enrichment), 평가가 각각 독립적인 스킬이다.
   3. 각 스킬은 에이전트 하네스가 호출하는 구성 요소이므로, 하나의 거대한 엔지니어링 코드베이스에 모든 도메인 규칙을 고정하지 않는다.

2. 새 문서 유형을 엔지니어링 변경 없이 추가하기

   1. 새 고객이 특정 형식의 intake form을 원한다고 가정한다.
   2. 임상의나 도메인 전문가는 원하는 문서 유형과 규칙을 담은 새 skill file을 만든다.
   3. 그 파일을 파이프라인에 연결하면 별도의 엔지니어링 변경 없이 새 문서 유형을 지원할 수 있다.

3. AI 엔지니어와 도메인 전문가 사이의 인터페이스

   1. 스킬은 AI 엔지니어의 모델·하네스와 도메인 전문가의 규칙·업무 지식을 연결하는 인터페이스가 된다.
   2. 수직형 AI(vertical AI)에서는 현장별 정책과 문서 형식이 계속 변하므로, 스킬 파일처럼 사람이 읽고 수정할 수 있는 경계가 특히 유용하다.
   3. Anterior는 같은 패턴을 내부 업무뿐 아니라 프로덕션 워크플로에서도 활용한다.

6. 결과: 고객 데이터 없이도 배포를 준비하는 평가 자산

합성 데이터는 현재 평가용으로 사용되지만, 이미 데이터셋 구성·정확도·배포 속도에서 실질적인 이점을 만든다.

6.1. 데이터 구성과 정확도

1. 합성 데이터의 높은 비중

   1. Anterior 데이터셋의 약 90%가 이미 합성 데이터로 구성된다.
   2. 원본 PHI를 보관하지 않고도 다양한 조건과 정책 경로를 가진 평가 세트를 유지할 수 있다.

2. 프로덕션 정확도 유지

   1. 합성 데이터 기반 평가가 여러 고객 배포에서 높은 프로덕션 정확도 점수를 유지하는 데 기여한다.
   2. 의료 현장에서 요구하는 높은 기준을 고객 데이터가 쌓일 때까지 기다리지 않고 점검할 수 있다.

6.2. 합성 기록의 현실성

1. 임상인의 블라인드 판별

   1. 블라인드 리뷰에서 임상의가 합성 기록과 실제 기록을 구별한 비율은 약 60%였다.
   2. 반대로 약 40%의 경우에는 실제와 합성을 구별하지 못했다.
   3. 60% 판별률은 아직 개선 여지가 있다는 뜻이지만, 평가와 투자 확대를 정당화할 만큼 실제 기록에 가까운 결과이기도 하다.

2. 현실성과 활용성의 균형

   1. 목표는 합성 기록을 무조건 실제와 똑같이 만드는 것이 아니라, 정책 결과·문서 간 연속성·희귀 조건을 평가할 수 있게 만드는 것이다.
   2. 임상의 피드백과 정제 루프가 반복되면, 판별률을 낮추면서도 업무상 중요한 오류를 더 잘 포함할 수 있다.

6.3. just-in-time 데이터 생성

1. 고객 데이터 대기 시간 제거

   1. 고객 배포가 결정되면 필요한 데이터셋을 그때그때 생성할 수 있다.
   2. 고객에게서 충분한 양의 기록이 들어오기를 기다리지 않고, 새 정책과 문서 유형을 반영한 평가 케이스를 준비할 수 있다.

2. 배포 전 엣지 케이스 시뮬레이션

   1. 고객 업무에서 가능한 실패 조건을 처음부터 모델링한다.
   2. 그 조건을 합성하고 워크플로에 넣어 프로덕션에 투입하기 전에 확인한다.
   3. 실제 배포 후 문제가 발생하면 실패 사례를 다시 파이프라인에 넣어 다음 평가 세트로 확장한다.

7. 다른 도메인에 적용하는 설계 원칙

PHI가 없어도 데이터가 일시적·민감하거나 라벨링 비용이 높다면, 같은 역방향 생성 전략을 적용할 수 있다.

7.1. 네 가지 핵심 권고

1. 추론 워크플로를 뒤집어라

   1. 정답 라벨과 정책·규칙상의 경로를 먼저 고른다.
   2. 그 결과와 경로를 만족하는 입력 데이터를 역방향으로 만든다.
   3. 생성 분포를 LLM의 막연한 창의성에만 맡기지 않는다.

2. 사용 사례에 맞는 분포에서 다양성을 샘플링하라

   1. 단순한 무작위성은 실제 업무에서 중요한 조건을 보장하지 않는다.
   2. 정책 결정 트리, 상태 표현, 인과적 구조처럼 도메인에 맞는 분포를 정한다.
   3. 생산 데이터의 빈도만 복제하지 말고, 희귀하지만 위험한 경로도 의도적으로 선택한다.

3. 데이터가 실제로 생성되는 과정을 모방하라

   1. 의료 기록이 환자와 provider의 encounter에서 생기듯, 해당 도메인의 관측·생성 지점을 분석한다.
   2. 최종 문서만 한 번에 만들지 말고, 실제 발생 순서와 계층을 따라 생성한다.
   3. 이 구조가 긴 기록의 연속성, 토큰 효율, 문서 간 일관성을 함께 개선한다.

4. 도메인 전문가에게 열쇠를 맡겨라

   1. 데이터의 의미와 실패 유형을 가장 잘 아는 사람은 AI 엔지니어가 아니라 현장 전문가다.
   2. 전문가가 스킬과 생성 단계를 수정하고, 실패 사례를 직접 추가하게 한다.
   3. 전문가 중심의 반복 루프가 AI 엔지니어 중심의 일회성 데이터 생성보다 지속적인 자기 개선을 만든다.

7.2. PHI 이외의 데이터 빈곤 문제

1. 일시적인 데이터: 시간이 지나면 사라져 장기 보관이 어려운 로그·세션·상태 데이터에 적용할 수 있다.
2. 민감한 데이터: 개인 정보나 기업 기밀처럼 원본을 저장할 수 없는 데이터의 구조를 합성할 수 있다.
3. 라벨 비용이 높은 데이터: 전문가가 직접 검토해야 하거나 라벨 하나의 비용이 큰 영역에서, 생성 과정과 검증기를 결합해 평가 세트를 확장할 수 있다.
4. 공통 조건: 실제 데이터가 부족해서가 아니라, 필요한 데이터를 마음대로 보관하거나 라벨링할 수 없다는 제약이 있는 경우에 특히 유용하다.

주요 발언 모음

“가장 필요한 데이터가 가장 보관할 수 없는 데이터라면 어떻게 해야 할까요?”

“95%는 충분히 좋은 정확도가 아닙니다.”

“의료 커뮤니케이션의 약 70%는 여전히 팩스로 이뤄집니다.”

“정책에서 라벨과 추론 경로를 샘플링하고, 그로부터 데이터를 거꾸로 생성할 수 있습니다.”

“AI 엔지니어가 무엇이 좋은 의료 기록인지 말해주는 사람이 되어서는 안 됩니다. 도메인 전문가가 알려줘야 합니다.”

“도메인 전문가에게 열쇠를 맡겨야 합니다. 데이터를 아는 사람들이 반복적인 자기 개선을 이끌기 때문입니다.”

“이 문제를 해결하기 위해 PHI가 꼭 필요한 것은 아닙니다. 필요한 데이터가 일시적이거나 민감하거나 라벨링 비용이 높아도 직접 생성할 수 있습니다.”

핵심 데이터 & 수치

• 약 70%: 여전히 팩스를 통해 이뤄지는 의료 커뮤니케이션의 비중.
• 300쪽 이상: 실제 의료 기록이 도달할 수 있는 길이로, one-shot LLM 생성이 부적합한 이유를 보여준다.
• 95%: 의료 업무에서 충분하지 않은 정확도 기준의 예시.
• 200건: 고객으로부터 받은 사례만으로 평가할 때 희귀 엣지 케이스를 놓칠 수 있음을 설명한 예시 표본 수.
• 약 90%: Anterior 데이터셋에서 합성 데이터가 차지하는 비중.
• 약 60%: 블라인드 리뷰에서 임상의가 합성 기록과 실제 기록을 구별한 비율.
• 약 40%: 임상의가 합성 기록과 실제 기록을 구별하지 못한 비율로, 합성 기록의 높은 유사성을 보여준다.

핵심 요약 (20줄)

1. Anterior는 헬스 플랜의 고위험 의료 행정을 자동화하며, 정책에 따른 의사결정과 비정형 의료 기록 해석을 결합한다.
2. 사전 승인, 지급 무결성, HEDIS 측정 업무는 환자 정보가 담긴 스캔 팩스와 복잡한 의료 기록을 입력으로 삼는다.
3. 의료 커뮤니케이션의 약 70%가 여전히 팩스로 이뤄져 비정형 문서가 핵심 데이터원으로 남아 있다.
4. 의료 기록은 환자의 전체 임상 경로와 희귀한 조건을 담지만 손글씨, 표, 체크박스, 이미지가 뒤섞여 있다.
5. 의료 업무에서 95% 정확도는 충분하지 않으며 작은 실패도 실제 환자와 보험 업무에 큰 영향을 줄 수 있다.
6. PHI와 고객 계약은 원본 기록의 보관, 재사용, 익명화, 파생 정보 생성을 모두 제한한다.
7. 가장 필요한 데이터를 보관할 수 없는 문제를 해결하려면 업무에 맞는 합성 데이터를 자체 생성해야 한다.
8. LLM은 합성 데이터 생성에 유용하지만 300쪽이 넘는 의료 기록을 한 번에 만들면 현실성과 다양성이 떨어진다.
9. 비정형 의료 기록에 대한 사전 학습 노출 부족과 도움 되는 답변을 선호하는 학습 목표가 모드 붕괴를 강화한다.
10. 정방향 업무는 비정형 데이터와 정책에서 출발해 추론 경로를 따라 승인 또는 거절 라벨에 도달한다.
11. 역방향 생성은 라벨과 정책상의 추론 경로를 먼저 샘플링한 뒤 그 조건을 만족하는 기록을 만든다.
12. CPAP 의학적 필요성 정책을 결정 트리로 표현하면 특정 결과에 도달하는 다양한 경로를 결정적으로 뽑을 수 있다.
13. 정책 경로 샘플링은 고객 데이터 200건에 없는 희귀 엣지 케이스까지 평가 분포에 포함한다.
14. 생성 파이프라인은 환자 불변값, 환자 여정, encounter별 문서 계획, 실제 문서 순서로 점진적으로 구체화된다.
15. 문서를 병렬로 fan-out하고 단계별 프롬프트를 사용하면 긴 환자 여정을 컨텍스트 윈도우 부담 없이 생성할 수 있다.
16. 문서 간 일관성 검사와 정책 라벨의 round-trip 검증은 모순을 찾고 정답을 생성 구조에서 확인한다.
17. 생성과 평가는 PDF보다 평문과 Markdown에서 수행하며 기존 PDF 파서가 시각적 변환을 대신하게 한다.
18. 임상의는 생성 각 단계에 개입해 실제 실패 사례를 재현하고 고객별 문서 형식을 스킬 파일로 직접 추가한다.
19. Anterior 데이터셋의 약 90%가 합성 데이터이고, 블라인드 리뷰에서 임상의의 합성·실제 구별률은 약 60%였다.
20. 역방향 추론, 도메인에 맞는 다양성 샘플링, 실제 생성 과정 모방, 전문가 소유권이 데이터 빈곤을 넘어서는 네 가지 원칙이다.

결론 및 시사점

1. 데이터 접근권보다 생성 구조가 중요하다: 민감한 원본을 오래 모으는 전략이 불가능한 도메인에서는 정책·상태·업무 흐름을 명시적으로 모델링하는 일이 데이터 확보의 대안이 된다.
2. 합성 데이터는 분포를 복제하는 일이 아니다: 생산 데이터의 자주 보이는 기록만 흉내 내면 평가가 평균 사례에 갇힌다. 정책에서 가능한 경로를 샘플링해 드물지만 중요한 조건을 의도적으로 넣어야 한다.
3. 과정의 현실성이 품질을 결정한다: 환자 여정과 encounter를 거쳐 문서가 생성되는 실제 순서를 모방하면, 긴 기록을 다루면서도 문서 간 시간적·임상적 일관성을 유지할 수 있다.
4. 라벨은 생성과 검증을 동시에 돕는다: 결과 라벨에서 역방향으로 데이터를 만들면 별도의 값비싼 ground truth를 일부 줄일 수 있고, 같은 라벨을 다시 업무에 넣어 round-trip 검증도 수행할 수 있다.
5. 전문가가 편집 가능한 인터페이스가 필요하다: 스킬 기반 하네스는 모델과 현장 지식을 연결하고, 고객별 문서 형식과 실패 사례를 엔지니어링 릴리스 없이 추가하게 한다.
6. 배포 전 평가가 합성 데이터의 가장 즉각적인 가치다: 고객 데이터가 쌓일 때까지 기다리지 않고 새 정책과 엣지 케이스를 생성해 go-live 전에 워크플로를 시험할 수 있다.
7. 적용 범위는 의료를 넘어선다: PHI가 아니더라도 일시적·민감하거나 라벨링 비용이 높은 데이터라면 역방향 생성과 도메인 전문가 중심의 반복 개선을 적용할 수 있다.