8월 19일 수요일 Tech Daily

01오늘의 깊이 읽기

모델 바깥의 설계가 에이전트의 실력을 결정한다

Codex 하네스, 컨텍스트 관리, 도구 권한, 외부 방화벽을 한 장에 겹치면 운영 가능한 에이전트의 네 계층이 보입니다.

ai-llm3분

하네스는 모델 호출을 실제 작업으로 바꾸는 운영 계층이다

Codex의 구조에서 UI와 하네스는 App Server로, 하네스와 모델은 Responses API로 연결됩니다. 중요한 것은 프로토콜 이름보다 책임의 분리입니다. 하네스는 어떤 컨텍스트와 도구를 보여줄지 결정하고, 파일과 네트워크 행동을 통제하며, 긴 작업이 중단되지 않도록 상태를 이어 갑니다. 도구 정의가 많아질 때는 처음부터 전부 넣지 않고 Tool Search로 필요한 순간에 불러와 컨텍스트와 비용을 줄입니다.

고속 추론에서는 모델 자체보다 네트워크 왕복과 상태 전송이 병목이 되므로 지속 연결과 변경분 전송이 중요해집니다. 긴 작업에는 구체적이고 확인 가능한 목표, 자동 검증 루프, 서버 측 압축이 필요합니다. 결국 모델의 답을 화면에 보여 주는 것과 에이전트가 며칠짜리 일을 끝내는 것은 다른 제품 문제이며, 그 사이를 하네스가 메웁니다.

컨텍스트는 많이 넣거나 무조건 줄이는 문제가 아니다

모델은 기본적으로 상태가 없고 지시문, 문서, 도구 결과, 대화가 하나의 유한한 창을 경쟁합니다. 오래된 결과를 계속 쌓으면 관련 없는 정보가 질문을 묻지만, 자동 압축도 공짜가 아닙니다. 압축 과정에서 이미 알고 있던 사실과 프롬프트 캐시를 잃어 다시 검색하고 다시 비용을 낼 수 있습니다. 실제 AI 튜터 실험에서는 짧은 대화에서 컨텍스트를 그대로 유지하는 편이 기억 회수와 비용, 속도에 더 좋았습니다.

따라서 컨텍스트 엔지니어링은 작은 창에서는 검색과 압축을 적극적으로 쓰고, 큰 클라우드 컨텍스트에서는 캐시 적중과 실제 측정값을 보며 조건부로 줄이는 운영 문제입니다. 세션 안의 정보 관리와 세션 사이의 장기 기억도 나눠야 합니다. 무엇을 삭제할지가 아니라 지금의 제약이 크기인지 비용인지 모순인지 먼저 이름 붙여야 올바른 방법을 고를 수 있습니다.

권한은 사용자와 에이전트를 모두 식별해야 한다

도구 연결은 API 키 하나로 시작할 수 있지만, 그 방식에서는 도구가 실제 사용자가 누구인지 알기 어렵습니다. OAuth는 사용자를 식별해도 에이전트가 사용자의 자격으로 행동하는 사칭 문제가 남습니다. MCP는 도구별 지식을 분리하지만 그 자체가 위임 관계를 완성하지는 않습니다. 더 성숙한 구조는 토큰 교환으로 사용자와 에이전트를 함께 식별하고, 금고에 장기 자격 증명을 보관한 채 짧은 수명의 권한만 실행 계층에 내어 줍니다.

그래도 에이전트 내부 가드레일만으로는 충분하지 않습니다. 운영 시스템에 넓은 권한을 준 에이전트는 프롬프트 인젝션이나 서브프로세스를 통해 파괴적 행동을 할 수 있습니다. Deno의 접근처럼 네트워크 바이트와 여러 프로토콜을 에이전트 바깥에서 검사하고 정책과 승인 절차를 적용해야 합니다. 에이전트를 선의의 동료가 아니라 유용하지만 신뢰할 수 없는 소프트웨어로 보는 시선이 자율성의 전제입니다.

02구조로 이해하기

코드를 모두 읽지 않고도 신뢰를 쌓는 네 단계

병렬 작업이 늘어난 개발 환경에서는 화면과 리뷰가 구현 줄보다 상태·의도·증거를 보여줘야 합니다.

dev-engineering1분

AI가 만든 변경을 사람이 모든 줄을 읽지 않고 어떻게 검토할 수 있을까요?

1
작업 상태를 보이게 한다
프로젝트·워크트리·에이전트 스레드를 한 화면에 두어 여러 세션의 위치와 진행 상태를 기억하는 비용을 줄입니다.
2
대화에서 의도를 추출한다
티켓만 보지 않고 에이전트와 주고받은 질문과 결정을 수용 기준으로 바꿔 무엇을 만들기로 했는지 고정합니다.
3
반복 지적을 검사로 만든다
되풀이되는 리뷰 피드백을 불변 조건과 자동 검사로 승격해 의미적 오류를 구현 직후에 잡습니다.
4
사람은 증거와 정렬을 본다
프리뷰의 실제 행동, 테스트 결과, 아키텍처 결정을 함께 보고 팀의 의도와 구현이 맞는지 최종 판단합니다.

GUI로 옮기는 변화와 diff 중심 리뷰를 줄이는 변화는 같은 방향입니다. 사람의 주의를 구현의 모든 줄에서 작업의 상태, 결정, 실제 행동 증거로 옮깁니다.

03다음에 볼 신호

모델 다음의 가치가 어디로 이동하는지 볼 신호

인퍼런스 인프라, 피지컬 데이터, 대형 플랫폼 운영에서 모델 바깥의 희소성이 가격을 만드는지 확인합니다.

ai-llmstartupbusiness-invest1분

1
토큰 생산성이 업무 가치로 연결되는가
프리필과 디코드 분리, 추측 디코딩으로 높인 처리량이 단순히 빠른 답변을 넘어 산업별 실시간 업무와 비용 개선으로 이어지는지 봅니다. 처리 속도가 올라도 고객의 종료 조건과 품질 기준을 만족하지 못한다면 인프라 효율만으로 제품 가치를 설명할 수 없습니다.
2
촉각 데이터가 로봇의 실제 병목을 푸는가
카메라·글러브·현장 운영을 수직 통합해 모은 촉각 데이터가 시각 데이터만으로 어려웠던 조작 성능을 실제 배포에서 높이는지 확인합니다. 수집량뿐 아니라 노동자의 행동을 얼마나 정확하게 재현하고 새로운 물체에 일반화하는지가 기준입니다.
3
플랫폼은 단기 효율과 장기 습관을 함께 재는가
우버처럼 가격과 공급의 단기 지표뿐 아니라 멤버십의 이용 빈도·장기 가치와 자율주행 전환을 함께 측정하는 운영 체계가 확장되는지 봅니다. 단기 매출이 약해 보여도 장기 소비자 행동을 바꾸는 투자를 별도 지표로 설명할 수 있어야 합니다.

04숫자가 말하는 것

인퍼런스 경쟁을 숫자로 읽는 법

빠른 토큰은 기술 데모가 아니라 전력·GPU·처리량을 실제 업무 가치로 바꾸는 공장 운영의 결과입니다.

ai-llm1분

약 1MW

사이오닉 시설의 인프라 규모

산업 특화 모델의 토큰을 자체 데이터센터와 냉각 설비에서 생산하며, 추론 최적화를 독립된 운영 산업으로 다룹니다.

B300 약 100장

촬영 시점의 GPU 구성

같은 장비에서도 프리필과 디코드 분리, 캐시 이동과 추측 디코딩 구조에 따라 실제 처리량이 크게 달라집니다.

1,000 TPS 이상

일부 모델의 목표 처리량

응답을 조금 빠르게 만드는 수준을 넘어 회사 업무를 실시간으로 복제하고 판단하는 시나리오를 겨냥한 수치입니다.

처리량은 모델과 워크로드, 병렬 세션과 품질 조건에 따라 달라집니다. 높은 TPS만으로 고객 업무의 정확도와 비용 효율이 자동으로 증명되는 것은 아니므로 종료 조건과 실제 결과를 함께 측정해야 합니다.

하네스는 모델 호출을 실제 작업으로 바꾸는 운영 계층이다

컨텍스트는 많이 넣거나 무조건 줄이는 문제가 아니다

권한은 사용자와 에이전트를 모두 식별해야 한다

작업 상태를 보이게 한다

대화에서 의도를 추출한다

반복 지적을 검사로 만든다

사람은 증거와 정렬을 본다

토큰 생산성이 업무 가치로 연결되는가

촉각 데이터가 로봇의 실제 병목을 푸는가

플랫폼은 단기 효율과 장기 습관을 함께 재는가

사이오닉 시설의 인프라 규모

촬영 시점의 GPU 구성

일부 모델의 목표 처리량

아직 못 읽은 북마크