1. 개요
OpenAI가 GPT-4.1(Soul) 출시와 함께 선보인 "Ultra" 기능에 대한 Theo의 심층 비판 분석 영상. Ultra가 추론 레벨이 아닌 시스템 프롬프트 수정 기능임을 밝히고, Codex의 Sub-agents V2로의 강제 전환이 토큰 소모와 품질 문제를 야기한다고 설명. Claude Code의 Workflows 구현과 비교하며 OpenAI가 "잘못된 부분을 복사했다"고 결론.
2. 핵심 주장 (Core Claims)
Ultra는 추론 레벨이 아니다
- OpenAI는 Ultra를 low/medium/high/XHigh/max와 동일한 추론 레벨 슬라이더에 배치
- 실제로는 시스템 프롬프트에 "서브 에이전트를 더 많이 사용하라"는 지시를 추가하는 것
- Claude Code의
Ultra Code(/effort메뉴에서 "XHigh + workflows")에서 동일 개념 확인 가능 - Ultra Code 선택 시 모델은 변경되지 않고 추론 레벨만 XHigh로 설정됨 (max가 아님)
- OpenAI Ultra는 반대로 모든 에이전트를 max 추론으로 설정 → 2배 이상 토큰 소모
Ultra의 치명적 문제: 토큰 폭발
- Ultra 사용 시 루트 에이전트 + 모든 서브 에이전트가 max 추론 적용
- max는 XHigh/high 대비 4~10% 성능 향상, 2배 이상 비용
- 서브 에이전트의 추론 레벨 개별 설정 불가 → Ultra 설정 시 전체 체인이 max
- Theo가 Ultra + 빠른 모드 조합 사용 시 5시간 제한 20분 만에 소진 (두 번 반복)
- OpenAI가 일시적으로 5시간 제한 해제 중 → 주간 한도 전체 소진 위험
3. 세부 내용
3-1. Codex Sub-agents V1 vs V2
V1 (현재 기본값)
- 단순 도구 호출 방식: 모델이 서브에이전트 생성 → 별도 스레드에서 작업 → 결과 반환
- 루트 에이전트가 완료 대기 후 결과 집계
- 예: 3개 PR 리뷰 요청 → 3개 서브에이전트 병렬 실행 → 결과 취합
V2 (GPT-4.1/Soul에서 강제 적용)
- 경로 기반 네이밍:
research→/root/research, 하위 테스트 →/root/research/tests - 문제 1: 기본적으로 전체 대화 히스토리를 모든 서브에이전트와 공유 → 컨텍스트 오염, 캐시 파괴
- 문제 2: 도구 호출이 필터링되어 캐시 재사용 불가
- 문제 3: 심도 제한 없음 → 무한 재귀 서브에이전트 스폰 가능 (기본 4개 동시 실행)
- Mailbox 개념: 에이전트 간 메시지 전달 가능.
send_message,follow-up task등 새 개념 - 종료 조건이 에이전트 스스로 결정 → 무한 루프 가능성
V1→V2 강제 전환의 배경
models_cache.json에multi_agent_version필드 추가- Soul/Terra: V2, 그 외: V1으로 하드코딩
- V1 설정(커스텀 제한, 커스텀 지시 등)이 있으면 V2와 충돌 오류 발생
3-2. Claude Code Workflows와의 비교
Claude Code Workflows 작동 방식
- JavaScript 파일로 워크플로우 정의 (meta: 이름/설명/단계, schema: 출력 형식)
- 단계(phase)별 서브에이전트를 프로그래밍 방식으로 정의
- 병렬 에이전트에 각각 다른 모델/추론 레벨 지정 가능 (예: Soul, Terra, Fable 5 혼합)
- 이전 단계 출력에 따라 조건부 다음 단계 실행
- 핵심 장점: 고정된 단계 수 → 반드시 종료 보장
Theo가 본 5단계 워크플로우 예시
- research (조사)
- verify (검증)
- synthesize (종합)
- critique (비판 검토)
- finalize (최종화)
각 단계마다 출력 스키마, 공통 프롬프트, 토픽별 서브에이전트 정의
핵심 차이
| 항목 | Codex Ultra (V2) | Claude Code Workflows |
|---|---|---|
| 종료 조건 | 에이전트 자체 결정 | 코드로 정의된 단계 수 |
| 추론 레벨 | 전체 max (변경 불가) | 단계별 독립 설정 |
| 컨텍스트 | 전체 히스토리 공유 | 선택적 컨텍스트 전달 |
| 방식 | 도구 호출 기반 | 코드 기반 (on-the-fly JS) |
3-3. Theo의 주요 비판 요약
- UX 복사, 구현 미복사: OpenAI가 Claude Code의 Ultra 개념(추론 레벨처럼 표시)은 복사했지만 Workflows 구현은 복사하지 않음
- 잘못된 위치: Ultra를 추론 레벨 슬라이더에 배치는 사용자 오해 유발
- Claude Code는 XHigh 설정 (비용 효율적), OpenAI Ultra는 max (2배 이상 비용)
- V2 기본값 문제: 성숙하지 않은 V2를 새 모델에 강제 적용
- 피드백 반응: 비판 6시간 만에 일부 수정됨 (Ultra를 슬라이더에서 숨김)
4. 시사점 (Takeaways)
실용적 조언
- 지금 당장 Ultra 사용 금지 — 주간 토큰 한도 전체 소진 위험
- GPT-4.1(Soul)은 Ultra 없이도 충분히 강력
- Claude Code + GPT-4.1 직접 모델로 사용하는 것이 Theo의 현재 방식
- V2 문제가 해결될 때까지 대기 권장 (OpenAI 피드백 반영 속도는 빠름)
기술적 시사점
- Ultra/Ultra Code = 시스템 프롬프트 스킬 (추론 레벨 아님)
- 서브에이전트 아키텍처에서 종료 조건 명시가 핵심
- 컨텍스트 공유 전략이 비용과 품질 모두 결정
- 하드코딩 vs 도구 호출 vs 코드 기반(워크플로우) — 워크플로우가 가장 유연
AI 도구 사용 철학
- "두렵기 때문에"가 아닌 "궁금해서" 사용하는 자세 권장
- 초기 구현의 rough edge는 기다리면 개선됨
- 기본 설정 신뢰 + 점진적 실험 접근
5. 다음 예고
- Theo의 다음 영상: GPT-4.1을 Claude Code에서 직접 모델로 사용하는 방법 + Codex 시스템 프롬프트 비판
- Claude Code Workflows 심층 분석 예정
처리일: 2026-07-14 | 자막 자동 추출 + AI 번역