URL: https://youtu.be/ViJxFYuVcfs 날짜: 2026-07-18 채널: 실밸개발자
📌 핵심 질문 / 이 영상이 다루는 핵심 논점
메타 시니어 엔지니어인 저자는 5,300명이 참가한 "AX 인재전쟁" 해커톤 예선에서 코드를 한 줄도 쓰지 않고 본선(60명) 진출에 성공했으며, ==그 비결은 컨텍스트·검증·스캐폴딩이라는 세 가지 질문을 던지며 AI 에이전트를 오케스트레이션하는 방식==에 있다는 것이 이 영상의 핵심이다.
- 오픈AI·조코딩·AX파트너스가 공동 주최한 이 해커톤은 참가 기업(무신사, 카카오페이증권, PWC, 마이리얼트립, 채널톡, 메디테라피)의 실제 문제를 코덱스 플러그인으로 해결하는 과제였고, AI와의 대화 로그 자체도 제출·심사 대상이었다
- 저자는 실질 작업 시간 2~3시간, 에이전트 작업 시간 약 11시간으로 문제를 풀었으며, 코드는 한 줄도 직접 보거나 쓰지 않았다
- "재료가 요리를 결정한다"는 비유로, 에이전트에게 어떤 컨텍스트를 주느냐가 결과물의 질을 좌우하며, 결과물보다 문제 정의 자체를 검증하는 것이 훨씬 중요하다고 강조한다
1. 해커톤 개요와 결과
1.1. AX 인재전쟁이란
- 주최와 과제 구조
- 공동 주최: 오픈AI, 조코딩, AX파트너스가 공동 주최했으며 무신사·카카오페이증권·PWC·마이리얼트립·채널톡·메디테라피 등 6개 기업 중 원하는 기업을 골라 그 기업의 실제 문제를 해결하는 코덱스 플러그인을 만드는 것이 과제였다
- 선발 규모: 예선 참가자 5,300명 중 본선 진출자는 60명이었고, 저자는 그 60명 중 한 명으로 선발됐다
- 제출물과 채점 방식의 특이점
- AI와의 대화 로그도 제출 대상: 플러그인 코드뿐 아니라 제작 과정에서 AI와 주고받은 대화 로그 자체를 제출해야 했으며, 로그를 가공하면 실격 처리된다는 규정이 있었다
- 로그가 곧 평가 지표: 저자는 이 로그 제출 요구가 "지원자가 에이전트를 어떻게 활용하는지"를 보는 가장 객관적인 지표이며, 앞으로 채용 프로세스에도 이런 방식이 쓰일 것이라고 해석했다
- 이중 채점 체계: 예선 과제는 AI 심사자와 사람(실무자) 심사자가 함께 평가하는 구조였다
1.2. 실제 작업 시간과 결과
- 압도적으로 적은 직접 작업 시간
- 2~3시간의 사람 개입: 저자가 실제로 일한 시간은 이틀에 걸쳐 총 2~3시간에 불과했고, 에이전트가 실질적으로 작업한 시간은 약 11시간이었다
- 작업 리듬: 첫날 밤 11시부터 새벽 1시까지 에이전트에게 일을 맡기고 잠들었고, 다음 날 저녁 다시 산출물을 검증하고 수정한 뒤 바로 패키징해 제출했다
- 코드를 전혀 보지 않은 결과물
- 완전 위임: 저자는 "코드 한 줄도 보지 않았고, 한 줄도 쓰지 않았다"고 밝히며, 이 문제 정의와 솔루션 설계 과정이야말로 진짜 중요한 작업이라고 강조한다
2. 첫 번째 축 — 컨텍스트 (재료가 요리를 결정한다)
2.1. 해커톤 룰 파악과 인터뷰 프롬프트
- 첫 프롬프트 — "네가 인터뷰를 진행해라"
- 과제 원문 그대로 복붙: 저자가 던진 첫 프롬프트는 해커톤 과제 공고문 전체를 그대로 복사해 붙여넣고 "이 글을 읽고 필요한 정보를 수집하고 내가 해야 할 일을 알려 줘, 필요한 정보는 네가 인터뷰를 진행해라"는 것이었다
- 컨텍스트를 에이전트가 스스로 구성하게 함: 에이전트가 직접 질문하며 필요한 컨텍스트를 채우게 하는 방식으로, 심사 기준(사람+AI 이중 심사)과 실격 조건(로그 가공 금지)까지 룰을 명확히 인지시켰다
- 의도적으로 리서치를 막은 이유
- 성급한 리서치 방지: 에이전트가 6개 기업에 대한 리서치를 병렬로 바로 돌리려 하자, 저자는 일부러 "리서치 돌리지 마라"고 제지했는데 이는 뒤에 나올 유튜브 리서치 컨텍스트를 먼저 주기 위함이었다
2.2. 심사위원의 목소리를 직접 컨텍스트로 만들기
- 공식 유튜브 채널 활용
- 6개 기업 담당자의 인터뷰 영상: 조코딩 채널에 올라온 6개 참가 기업 담당자들의 인터뷰 영상(1화~6화)을 제미나이(Gemini)의 요약 기능으로 요약해, 인재상·평가 기준·미래 비전이 담긴 정보를 그대로 복붙해 컨텍스트로 제공했다
- 평가 핵심 정보의 발견: 예를 들어 카카오페이증권 편에서는 "단순한 정답을 찾는 것보다 사용자를 설득하고 안심시키는 과정을 얼마나 논리적으로 설계했는가가 평가의 핵심"이라는 심사 기준이 그대로 드러났으며, 이는 반드시 에이전트에게 줘야 할 컨텍스트였다
- 6개 기업 전체를 리서치한 이유
- 에이전트의 병렬 처리 활용: 원래 3개 기업만 고르면 되지만, 저자는 6개 기업을 모두 딥 리서치시키고 각 기업의 문제를 정의한 뒤 가장 좋은 문제 3개를 고르는 방식을 택했다 — 사람이 직접 했다면 시간이 부족해 3개만 골랐겠지만, 에이전트가 병렬로 처리하므로 6개 전체를 리서치하는 것이 더 효율적이라고 판단했다
- 딥 리서치의 재료: 공식 기사, IR 자료, 기술 블로그, 채용 공고, 고객 리뷰, 실제 숫자 등 뾰족한 니즈와 클러치한 피처를 찾을 수 있는 자료 위주로 각 기업별 맞춤 리서치 프롬프트를 만들어 서브에이전트로 병렬 실행했다
2.3. 문제 정의를 반복적으로 깎아내는 과정
- 후보 문제 도출과 스코핑 점검
- 18개 후보에서 압축: 6개 기업 × 3개씩 총 18개의 문제 후보를 뽑은 뒤, 저자는 "문제가 너무 쉽다", "스코핑이 잘못됐다"는 피드백을 반복적으로 주며 다듬게 했다
- AI 시대의 스코핑 기준 변화: 예전에는 사람이 한두 달 걸릴 일을 스코핑했다면, 지금은 에이전트가 있어 3~4주 걸릴 일을 1~2일 만에 끝낼 수 있는 수준으로 스코핑을 다시 잡아야 한다고 강조한다
- 솔루션 강화와 최종 3개 선정
- 약한 솔루션 보완: 문제 정의는 잘 됐지만 솔루션이 약하다고 판단해, 하나의 부서가 될 수 있을 만한 잠재력 있는 솔루션으로 계속 다듬는 "티키타카"를 반복했다
- 최종 선택: 이 과정을 거쳐 PWC, 마이리얼트립, 카카오페이증권 세 기업이 최종 선정됐다
3. 두 번째 축 — 검증 (문제 자체를 먼저 채점하라)
3.1. AI 저지·휴먼 저지 스킬을 직접 설계
- 심사 구조를 그대로 재현
- 이중 심사 시뮬레이션: 해커톤이 AI와 사람 두 심사자로 채점한다고 명시했기 때문에, 저자는 실제 심사와 동일한 구조의 AI 저지·휴먼 저지 스킬을 만들어 검증에 활용했다
- 역설계된 심사 페르소나: AI 저지는 "맥락을 모르는 순수한 눈으로 기계적으로 검증 가능한 사실을 판단하며 시각적 아름다움은 판단하지 못한다"는 행동 모델로, 휴먼 저지는 "바쁜 실무자가 현업에서 통하는지를 30초 훅과 첫인상, 문제의 뾰족함으로 판단한다"는 행동 모델로 각각 역설계했다
- 바(bar)를 실제보다 높게 설정
- 높은 기준의 이점: 높은 기준에서 높은 점수를 받는 솔루션이 낮은 기준에서 높은 점수를 받는 솔루션보다 확실히 낫기 때문에, 저자는 실제 심사보다 더 엄격한 바를 의도적으로 설정했다
3.2. 결과물이 아니라 "문제 자체"를 먼저 검증
- 18개 문제 후보 전수 채점
- 가장 중요한 검증은 산출물이 아닌 문제: 저자는 결과물을 만들기 전에, 6개 기업 × 3개 후보 = 18개의 문제 후보 전체에 AI 저지와 휴먼 저지 스킬을 돌려 총 36개의 서브에이전트로 문제 자체를 채점했다
- 문제 정의 품질 순으로 기업 선정: 문제 정의 수미상관, 근거 검증 가능성, 실현 가능성, 로그 진정성 등의 루브릭으로 점수가 높은 문제를 가진 기업 3곳을 최종 선정했다
3.3. 산출물 검증 — 일곱 라운드의 자체 반복
- 코덱스 CLI로 구현하고 반복 검증
- 투웨이(two-way) 검증: 사람(스테이크홀더)과 에이전트(코덱스 플러그인 사용자) 두 관점에서 리뷰하도록 설계했으며, 만점이 나올 때까지 계속 돌리라고 지시했다
- 실제 데이터 기반 테스트: 데모 데이터가 아니라 실제 API·MCP 등 실데이터로 테스트하게 했다
- 점수 추이 — 반복될수록 상승
- 7라운드 결과: 1라운드에서는 실격 리스크가 발견돼 AI 80점·실무자 75점이었으나, 반복을 거듭하며 90점대까지 오르고, 마지막 7라운드에서 AI 저지 95점, 휴먼 저지 90점으로 마무리됐다
3.4. 마지막 검증은 사람의 몫 — 취향
- 점수가 아니라 감정을 대신 느껴보기
- 휴먼 터치의 필요성: 마지막 검증은 점수가 아니라 취향의 영역이며, 심사위원이 산출물을 열어봤을 때 느낄 감정과 생각을 저자가 직접 대신 느껴보고 마음에 들 때까지 고쳤다
- 첫인상과 직관은 사람이 잡는다: 에이전트가 루프의 정합성은 잘 잡아도, 결과물의 첫인상과 직관적 매력은 결국 사람이 직접 눈으로 검증해야 한다는 것이 저자의 결론이다
4. 세 번째 축 — 스캐폴딩 (구조가 병렬을 만들고 병렬이 속도를 만든다)
4.1. 공통 파이프라인으로 병렬화
- 6개 기업, 동일한 파이프라인
- 리서치→문제정의→솔루션플래닝→구현→검증: 6개 기업 모두 같은 파이프라인을 탈 수 있게 설계해, 리서치와 문제 정의는 6개 기업 전부에 대해 동시에 병렬 실행하고, 솔루션 플래닝부터는 선정된 3개 기업만 진행했다
- 공통 자산의 재사용성: 공통 프롬프트 템플릿, 공통 스펙, 공통 심사 스킬은 이 해커톤이 끝난 뒤에도 다음 프로젝트에서 그대로 재사용 가능한 자산으로 남는다는 점을 강조한다
- 핸드오프(Handoff) 파일을 통한 세션 연결
- 설계 세션과 구현 세션의 분리: 설계 세션에서 내린 모든 결정을 파일 하나(핸드오프 MD)로 압축해, 컨텍스트가 깨끗한 새 세션에서 구현을 이어가게 했다
- 컨텍스트 위생이 품질: 컨텍스트가 길어져 오염되면 구현 품질이 떨어지므로, 컴팩트(compact)와 핸드오프를 통해 상태를 파일에 저장하고 손실 없이 이어가는 방식을 취했다
4.2. 오케스트레이션 아키텍처
- 역할 분리 — Claude Code(메인) + Codex CLI(실행)
- 클로드가 지휘, 코덱스가 실행: 저자는 클로드 코드 메인 세션(Fable 페르소나)에서 통합 전략과 통합 검증을 담당하고, 실제 실행(리서치·구현·심사)은 전부 코덱스 CLI(당시 GPT-5.5 기반)의 서브에이전트로 위임했다
- 로그가 곧 증거가 되는 구조: 심사 대상이 코덱스 플러그인이고 로그도 심사 대상이기 때문에, 코덱스 CLI 사용 이력 자체가 도구를 실제로 부린 증거가 되도록 구조를 짰다
- 드리프트 방지를 위한 세션 격리
- 심사자를 별도 세션으로 격리: 제작 맥락을 아는 에이전트는 후하게 채점하는 경향이 있어, 심사는 맥락을 모르는 블라인드 팀메이트처럼 별도 세션에서 채점하게 만들었다
- 사람의 개입 — 거절과 상향 조정: 저자가 개입한 것은 대부분 "아직 돌리지 마", "솔루션이 약하다", "만장일치 수준으로 해라", "데모 데이터 말고 실데이터로 해라" 같은 거절과 기준 상향이었다
5. 여섯 가지 교훈
- 심사자를 먼저 만들어라: 산출물을 만들기 전에 채점 기준(AI 저지·휴먼 저지)부터 설계해야 한다.
- 구현보다 문제 정의에 시간을 써라: 문제가 잘못되면 아무리 좋은 답도 틀린 답이 되므로, 문제 정의와 솔루션의 일치 여부에 가장 많은 시간을 투입해야 한다.
- 심사 기준에서 역산하라: 최종 평가 기준이 무엇인지부터 파악하고 그로부터 거꾸로 작업을 설계해야 한다.
- 검증 가능한 실데이터를 써라: 데모용 가짜 데이터가 아니라 실제 API·실제 숫자 기반으로 검증해야 신뢰할 수 있는 결과가 나온다.
- 컨텍스트 위생이 곧 품질이다: 핸드오프 파일로 세션을 분리해 컨텍스트 오염을 막는 것이 결과물 품질을 좌우한다.
- 사람은 기준을 올리는 역할을 한다: AI 시대에 사람이 하는 일은 코드를 쓰는 것이 아니라 기준을 세우고, 거절하고, 문제를 정의하는 것이다.
주요 발언 모음
"코드 한 줄도 보지 않았습니다. 한 줄도 쓰지도 않았어요. 이게 정말 저는 중요한 프로젝트라고 생각하거든요. 그래서 이 문제 정의랑 솔루션이 정말 중요해요. 문제가 잘못된 문제를 풀어 버리면 아무리 좋은 답이 나와도 틀린 답이 됩니다." "재료가 요리를 결정한다. 즉 재료가 좋아야지 아무리 셰프가 능력이 좋아도 재료가 안 좋으면 좋은 요리를 낼 수 없다고 생각합니다. 에이전트는 이미 충분히 똑똑하다. 재료만 잘 주면 엄청난 요리를 만들어 낼 수 있다." "가장 중요한 검증은 산출물이 아니다. 문제 그 자체다." "구조가 병렬을 만들고 병렬이 속도를 만든다." "사람이 하는 역할은 기준을 올리고 그 기준을 세팅하고 문제를 정의하는 역할이라고 생각합니다. 사람의 개입은 대부분 거절과 상향이었다." "이 AX 인재 전쟁은 이런 방식을 보는 심사 해커톤이 아니었나라고 생각합니다."
핵심 데이터 & 수치
- 참가 규모: 예선 5,300명 → 본선 60명 진출
- 작업 시간 비교: 사람의 실질 개입 시간 약 2~3시간 vs 에이전트 작업 시간 약 11시간
- 문제 후보 검증: 6개 기업 × 3개 후보 = 18개 문제 후보, AI저지+휴먼저지로 총 36개 서브에이전트 채점
- 산출물 검증 라운드: 총 7라운드 반복, 1라운드(AI 80점·실무자 75점) → 최종 7라운드(AI 95점·실무자 90점)
- 최종 선정 기업: PWC, 마이리얼트립, 카카오페이증권
결론 및 시사점
- AI 에이전트 시대의 문제 해결은 컨텍스트(재료)·검증(채점 기준)·스캐폴딩(공통 구조)이라는 세 가지 축으로 설계해야 하며, 이는 해커톤뿐 아니라 일반적인 업무 방식이 되어야 한다.
- 좋은 컨텍스트란 단순히 과제 설명을 주는 것이 아니라, 심사위원의 실제 발언(유튜브 인터뷰)처럼 평가 기준이 드러나는 1차 자료를 직접 찾아 제공하는 것이다.
- 에이전트가 병렬로 일할 수 있다는 것을 전제하면, 사람이라면 시간 제약으로 선택과 집중을 했을 범위(6개 중 3개)를 전부 탐색한 뒤 최선을 고르는 전략이 가능해진다.
- 결과물을 검증하기 전에 "문제 정의 자체"를 먼저 채점하는 것이 훨씬 중요하며, 이를 위해 AI 저지·휴먼 저지 스킬을 직접 설계해 심사 기준에서 역산해야 한다.
- 아무리 반복 검증을 자동화해도, 최종 단계에서 심사위원의 감정과 직관을 대신 느껴보는 사람의 취향 판단은 대체할 수 없다.
- AI 시대에 사람의 역할은 코드를 짜는 것이 아니라 기준을 세우고, 결과를 거절하고, 문제를 정의하는 의사결정자로 이동하고 있다.
