URL: https://youtu.be/le-jtop9tLk 날짜: 2026-07-21 채널: 조코딩 JoCoding 출연: 조코딩, Gabriel Chua(OpenAI)
📌 핵심 질문 / 이 영상이 다루는 핵심 논점
조코딩이 OpenAI의 Gabriel Chua를 다시 초청해 ==GPT 라이브(실시간 음성/통역) 신기능과 Codex의 서브에이전트·목표(goal)·사이드챗·스크린샷 컨텍스트·클라우드 원격 인스턴스·자동화 기능==을 실시간 라이브 데모로 시연하며, 언어 장벽 없이 실시간 통역부터 크롬 익스텐션 제작, 논문 데이터셋 분석, PPT 자동 생성까지 즉석에서 만들어내는 과정을 보여준다.
- 오프닝부터 GPT 라이브(음성 모델)를 이용해 한국어→영어, 영어→한국어 동시통역을 실시간으로 시연하며 통역사 없이 방송을 진행한다
- 이어서 Codex에게 "채팅 실시간 번역 크롬 익스텐션을 만들어줘"라고 자연어로 요청하는 것만으로 코드 작성부터 서브에이전트 생성, 자동 리뷰까지 라이브로 진행한다
- 영상 전체가 사전 준비 없는 즉석 데모(라이브)이며, 진행 중간중간 "5.5로도 이 정도인데 5.6은 더 좋아질 것"이라는 기대가 반복적으로 언급된다
1. GPT 라이브 음성 — 실시간 동시통역 데모
1.1. 기존 방식과의 차이
- 기존 단계별(파이프라인) 방식의 한계: 예전에는 음성을 텍스트로 변환 → 처리 → 다시 음성으로 변환하는 단계별 시스템이었고, 그 다음 나온 실시간 방식도 턴(turn) 기반이라 부자연스러웠다고 설명한다
- 지금의 방식 — 진짜 실시간: Gabriel이 말하는 동안 동시에 응답이 진행되는 끊김 없는 상호작용이 가능해졌다고 강조한다
1.2. 실시간 통역 시연
- 설정 방법: "한국어가 들리면 영어로 번역해주고, 영어가 들리면 그냥 가만히 있어줘"라는 자연어 지시만으로 통역기를 설정
- 양방향 세팅: 조코딩 쪽에서도 "영어가 들리면 한국어로 번역해서 실시간 번역으로 나가고, 한국어가 들리면 무시해"라고 반대 방향을 세팅해, 서로 다른 언어로 대화해도 실시간 자막처럼 통역이 진행된다
- 필요 장비: 에어팟과 챗GPT 보이스 모드 계정만 있으면 되는 매우 단순한 구성이라는 점을 강조한다
- 위임(delegation) 구조: GPT 라이브가 응답하다가 검색 등 더 높은 지능이나 더 많은 정보가 필요한 순간에는 GPT-5.5 같은 상위 모델에 작업을 위임하는 구조로 되어 있다고 설명한다
- 공개 범위: 무료 버전을 포함해 GPT Plus·Pro 요금제에서 사용 가능하며, GPT 라이브 미니 버전과 API도 함께 제공된다
1.3. 세레브라스(Cerebras)와의 협업 — 초당 750토큰
- 속도 혁신: GPT-5.6 Soul 모델이 추론 전용 칩 제조사 세레브라스에서 서비스되면 초당 750토큰까지 처리 가능해, 프런티어급 지능을 전례 없는 속도로 제공한다고 소개한다
- 연구 프리뷰에서 정식 모델로: 이전의 5.3 스파크는 연구 프리뷰(최종 모델이 아님)였고, 이번엔 최신 모델인 5.6을 세레브라스에 가져온 것이라며, 초기엔 접근이 제한되지만 점차 용량을 늘려 더 많은 사용자에게 제공할 계획이라고 밝힌다
2. Codex 실시간 데모 — 자연어 대화만으로 크롬 익스텐션 제작
2.1. "플랜 모드" 없이 그냥 대화하듯 요청
- 핵심 철학: 플랜 모드를 굳이 쓸 필요 없이 사람이 대화하듯 자연스럽게 요청하면 된다는 점을 강조 — "사람도 플랜 모드나 확장 모드가 따로 없듯이" 코덱스도 자연스러운 대화로 충분하다는 비유
- 실제 요청 예시: "유튜브 스튜디오에서 라이브 방송 중인데, 실시간으로 올라오는 한국어 채팅을 영어로 번역해서 보여주는 크롬 익스텐션을 만들고 싶어"라는 자연어 요청만으로 작업이 시작된다
- 이중언어 처리: Codex는 한국어와 영어 요청을 모두 이해하며 처리한다는 점도 시연한다
2.2. 서브에이전트, 자동 리뷰, 속도 모드
- 자동 리뷰(Auto Review) 기능: 모든 명령을 승인해야 하는 방식과 완전 자동(오토 모드) 방식의 중간 지점으로, 서브에이전트를 하나 생성해 리뷰를 자동으로 진행하는 기능을 소개한다
- 속도 옵션: 미디엄·패스트 등 속도 모드를 선택할 수 있으며, 항상 빠른 속도가 필요한 것은 아니므로 "코덱스에게 맡겨두고 저녁 먹고 돌아와도 된다"는 식으로 장시간 작업을 맡길 수 있다고 설명한다
2.3. 목표(Goal) 기능
- 자율 목표 설정: 코덱스에게 스스로 목표를 정하도록 시킬 수 있는 "골(goal)" 기능이 있으며, 슬래시 명령어를 입력하지 않아도 알아서 목표를 잡아준다고 시연한다
- 영어·한국어 동시 정리: "영어랑 한국어 둘 다로 정리해줄 수 있어? 목표 기능도 하나 정해줘"라는 요청에 즉시 반응하는 모습을 보여준다
2.4. 사이드 채팅(Side Chat) — 작업을 방해하지 않는 소통
- 핵심 가치: 에이전트가 오래 작업 중일 때(10분~2시간) 무슨 일이 벌어지는지 확인하고 싶을 때, 작업 중인 에이전트를 직접 방해하지 않고 "사이드 채팅"으로 따로 말을 걸 수 있다
- 실시간 반영: "크롬 익스텐션을 좀 더 재밌게 만들어줄 수 있어? 이모지도 넣어서 메인 쓰레드에 전달해줘"라고 사이드에서 말하면, 코덱스가 이를 알아서 정리해 메인 작업에 반영해준다
- 쓰레드 관리: 진행 중인 코덱스 쓰레드의 이름을 영어·한국어로 바꾸고 이모지를 붙이고 고정(핀)까지 할 수 있다는 세부 기능도 시연한다
2.5. 스크린샷 컨텍스트 — 이미지가 아니라 텍스트 데이터로 전달
- 핵심 차별점: 스크린샷을 찍어 코덱스에 전달하면 단순 이미지가 아니라, 클릭했을 때 안에 담긴 데이터와 원본 텍스트까지 그대로 열람 가능한 형태로 전달된다는 점을 강조한다
- 활용 사례: 이메일을 스크린샷으로 찍어 "이 이메일에 답장해줘"라고 요청하거나, 이미지를 "만화책 스케치 스타일로 바꿔줘"라고 요청하는 등 실용적 활용을 시연한다
2.6. 논문 데이터셋 분석 → 발표자료(PPT) 자동 생성
- 입력 데이터: 한국에서 열린 세계적 AI 학회 ICML의 논문 데이터셋(CSV 파일, 약 18MB)을 다운로드해 코덱스에 전달한다
- 요청 내용: "이 논문들의 트렌드를 보는 프레젠테이션을 만들어줘. 초록을 기준으로 분류도 해줘"라고 요청하자, 코덱스가 이미지 생성 기능까지 활용해 그래프가 포함된 파워포인트를 직접 만들어낸다
- 결과물의 완성도: 만들어진 PPT는 파워포인트로 열어 직접 편집 가능한 형태이며, 그래프 스타일도 상당히 준수하다는 평가를 받는다
- 완료 후 바로 전송: 브라우저를 열어 첨부할 필요 없이, "이 PPT를 조코딩에게(가브리엘에게) 보내줘"라고 말하면 코덱스가 파일 전송까지 그 안에서 완결한다
2.7. 이미지 생성과 오픈소스 레포 활용 — 이케아 스타일 설명서
- 레포 기반 이미지 생성: 오픈소스 레포지토리를 코덱스에 전달하고 "이 프로젝트의 이케아 스타일 설명서를 이미지 생성 기능으로 만들어줘"라고 요청하면, 레포를 이해한 뒤 이미지 생성 기능을 활용해 시각적 설명서를 만든다
- 동시 다중 작업: 이 작업이 논문 슬라이드 생성, 번역, 다른 작업들과 동시에 여러 개 병렬로 진행되고 있어 진행 상황을 따라가기 벅찰 정도라고 언급한다
2.8. 팩(Pack)이라는 기능 — 게임하며 바이브 코딩
- 팩 소개: "팩"이라는 요소를 시연하며, 카드를 고르면 다른 페이지로 넘어가도 상태가 유지되고 화면이 움직이거나 바뀌기도 하며 드래그로 옮길 수도 있다고 설명한다
- 활용 아이디어: 게임을 하면서 동시에 바이브 코딩을 시켜볼 수도 있다는 아이디어로 제시된다
2.9. 사용량과 한도 확인
- 여유로운 사용량: 패스트 모드를 사용했음에도 진행 중인 여러 작업(번역, 템플릿, 볼드 등)을 다 돌리고도 아직 4%도 채 사용하지 않았으며, 7일 한도가 99% 남아있다고 확인해 사용량이 넉넉하다는 점을 보여준다
3. 어디서든 만들 수 있는 코덱스 — 모바일·클라우드 연동
3.1. 모바일에서의 실시간 확인과 새 작업 지시
- 모바일 연동: 코덱스가 휴대폰과 미리 연동되어 있어, 진행 중인 프로젝트를 스마트폰에서 실시간으로 확인할 수 있다
- 새 대화 생성: 휴대폰에서 새 대화를 만들어 "코딩을 찬양하는 시를 써줘"라고 요청하는 등, 화면을 공유하며 새 작업을 지시하는 것도 가능하다고 시연한다
3.2. 클라우드 원격 인스턴스 — 노트북을 닫아도 계속 작동
- 기존 방식의 번거로움: 예전엔 맥 미니를 별도로 구매해 클라우드 서버처럼 세팅하는 경우가 많았지만, 이제는 플러그인으로 연결돼 그럴 필요가 없어졌다고 설명한다
- 디지털오션 연동 데모: 디지털오션 같은 클라우드 서비스에 원격 인스턴스를 만들어달라고 요청하면, SSH 발급부터 콘솔 접속까지 번거로운 과정 없이 자동으로 처리된다
- 인스턴스 준비 시간: 인스턴스가 뜨는 데는 다소 시간이 걸리며, 이번 데모의 인스턴스는 임시로 만든 것이라 나중에 종료할 예정이라고 언급한다
3.3. 자동화(Automation) — 하트비트
- 하트비트 기능: 서버가 완전히 켜지기까지 오래 걸리는 문제를 해결하기 위해, 5분마다 서버가 준비됐는지 자동으로 체크하는 "하트비트" 자동화를 생성해 보여준다
- 다른 자동화 예시: 이메일이나 슬랙 피드백을 자동으로 요약하게 만들거나, 자동으로 PR을 생성하는 등 다양한 자동화가 플러그인만으로 가능하다고 소개한다
- 완료 후 클라우드 연결 유지: 작업을 클라우드 서버에 SSH로 연결해 돌려놓고 노트북을 닫아도, 처리가 계속 클라우드에서 진행되기 때문에 문제가 없다고 설명하며, 스마트폰과도 그대로 서버에 연결해 확인할 수 있다고 강조한다
4. 마무리 — 즉석 라이브 데모라는 점 강조
- 사전 준비 없는 즉흥 시연: 진행자들은 이 크롬 익스텐션과 여러 기능들을 사전에 리허설한 것이 아니라 방송 중 즉석에서 바로 만들어봤다는 점을 강조하며, 그럼에도 실제로 작동했다는 사실에 놀라움을 표한다
- 더 좋아질 다음 버전에 대한 기대: 이번 데모에 쓰인 모델은 GPT-5.5이며, "5.6은 훨씬 더 좋아질 것"이라는 기대를 여러 차례 언급하며 방송을 마무리한다
주요 발언 모음
"제가 말하는 동안 여기 보시면 응답하고 있어요. 이게 바로 끊김없는 상호작용을 가능하게 해주는 거예요." (Gabriel Chua, GPT 라이브 설명) "사람도 플랜 모드나 확장 모드 같은 건 따로 없잖아요. 사실 그냥 코덱스에게 아주 자연스럽게 말하면 돼요." "코덱스한테 맡겨두고 저녁 드시고 돌아오셔도 돼요. 항상 그 추가 속도가 필요한 건 아니니까요." "혹시 스크린샷을 찍어서 코덱스한테 준 적 있으세요? ... 이게 스크린샷처럼 보이지만 사실은 아니에요. 클릭하면 안에 데이터와 텍스트도 다 볼 수 있어요." "저희는 이걸로 모든 걸 다 할 수 있게 하고 싶었어요. 소프트웨어처럼 정말 많은 게 가능하도록요. 그리고 어디서든 만들 수 있게 하고 싶었어요." "놀랍게도 저희가 리허설을 막 미리 엄청 하거나 한 게 아니에요. 즉석에서 바로바로 그냥 만들어 봤는데 진짜로 됩니다."
핵심 데이터 & 수치
- GPT-5.6 Soul × 세레브라스(Cerebras): 초당 750토큰 처리, 프런티어급 지능을 전례 없는 속도로 제공
- GPT 라이브 공개 범위: 무료 버전 포함 Plus·Pro 요금제에서 사용 가능, 미니 버전과 API도 별도 제공
- ICML 논문 데이터셋: CSV 파일 약 18MB, 한국에서 개최된 AI 학회
- Codex 사용량: 패스트 모드로 다수 작업 병렬 실행 후에도 사용량 4% 미만, 7일 한도 99% 잔여
- 하트비트 자동화 주기: 5분마다 서버 준비 상태 체크
결론 및 시사점
- GPT 라이브는 기존의 단계별(음성→텍스트→처리→음성) 파이프라인이나 턴 기반 실시간 방식과 달리, 말하는 동시에 응답하는 진짜 실시간 상호작용을 구현했으며 필요시 GPT-5.5급 상위 모델로 작업을 위임하는 하이브리드 구조다.
- Codex는 "플랜 모드"라는 별도 절차 없이 자연어 대화만으로 크롬 익스텐션 제작부터 서브에이전트 생성, 자동 리뷰까지 처리할 수 있을 만큼 상호작용 방식이 단순화됐다.
- 사이드 채팅 기능은 장시간 실행 중인 에이전트를 방해하지 않고 요구사항을 실시간으로 반영할 수 있게 해, 에이전트와의 협업 방식을 "지시-대기"에서 "병행 소통"으로 바꾼다.
- 스크린샷이 단순 이미지가 아니라 클릭 가능한 텍스트·데이터로 전달된다는 점은, 이메일 답장이나 이미지 스타일 변환 같은 일상적 작업의 진입장벽을 크게 낮춘다.
- 논문 데이터셋을 편집 가능한 파워포인트로, 오픈소스 레포를 이케아 스타일 이미지 설명서로 변환하는 시연은 Codex가 코드 작성을 넘어 문서·시각자료 생성까지 통합적으로 처리하는 범용 작업 도구로 확장되고 있음을 보여준다.
- 클라우드 원격 인스턴스(디지털오션 연동)와 하트비트 자동화는 로컬 하드웨어(맥 미니 등)를 별도로 마련할 필요 없이, 노트북을 닫아도 작업이 계속되는 상시 실행 에이전트 환경을 대중화한다.
- 모바일에서 진행 상황을 실시간으로 확인하고 새 작업을 지시할 수 있는 연동은, 데스크톱에 묶여 있던 에이전트 작업을 완전히 위치 독립적으로 만든다.
- 전체 데모가 사전 리허설 없는 즉석 시연이었다는 점, 그리고 시연에 쓰인 모델이 이미 이전 세대인 5.5였다는 점은 발표자들이 다음 버전(5.6)에 대한 기대를 자연스럽게 강조하는 장치로 작동한다.