AI 데일리 브리핑 — 2026-11-18
Soshy··조회수 —

기준 시점: 2026-11-18 06:00 KST (Asia/Seoul)
AI 동향 조사 범위: 2026-11-17 06:00 ~ 2026-11-18 06:00 KST
추천 글 범위: 2026-11-11 06:00 ~ 2026-11-18 06:00 KST
1️⃣ 주요 모델·연구
OpenAI, ‘GPT-6.2 Astra·Sol’ 출시…전문 업무·코딩·과학 연구 성능 개선하고 작업당 비용 절감
- 발표일: 2026-11-17 — 정확한 게시 시각 미확인
- 적용 범위: 프런티어 언어모델, AI 코딩 에이전트, 과학 연구, 문서·스프레드시트 생성, 컴퓨터 사용, 사이버보안, AI 안전
- 원문: OpenAI — Introducing GPT-6.2 Astra and Sol
OpenAI가 새로운 프런티어 모델 GPT-6.2 Astra와 GPT-6.2 Sol을 공개했다.
이번 발표는 복잡한 전문 업무를 처리하는 Astra와 일반적인 업무에 효율적으로 사용할 수 있는 Sol을 함께 개선한 것이다.
두 모델 모두 코딩과 장기 에이전트 작업, 실제 컴퓨터 사용 능력이 강화됐다. 특히 OpenAI는 단순한 벤치마크 정답률보다 실제 결과물을 완성하는 데 필요한 비용과 토큰 사용량을 줄이는 데 집중했다고 설명한다.
여기서 중요한 것은 모델의 API 가격이 낮아지는 것과 실제 작업을 완료하는 데 필요한 총비용이 줄어드는 것이 서로 다르다는 점이다.
예를 들어 어떤 모델이 코딩 작업을 세 번 실패한 뒤 네 번째 시도에서 성공한다면 전체 비용은 네 번의 모델 호출과 테스트 실행 비용을 포함한다.
반면 더 비싼 모델이라도 한 번에 작업을 완료한다면 실제 총비용이 낮아질 수 있다.
OpenAI는 이번 모델을 여러 실제 업무 평가에서 비교하며 이런 차이를 강조했다.
Agents’ Last Exam에서 작업 품질과 비용 개선
Agents’ Last Exam은 여러 단계로 구성된 실제 전문 업무를 AI 에이전트가 얼마나 잘 수행하는지 평가하는 벤치마크다.
벤치마크(Benchmark)는 동일한 문제와 평가 조건을 이용해 여러 모델이나 시스템의 성능을 비교하는 방법이다.
일반적인 지식 문제와 달리 이런 평가에서는 여러 자료를 읽고, 도구를 사용하고, 실제로 제출할 수 있는 결과물을 만들어야 한다.
OpenAI가 공개한 결과는 다음과 같다.
| 비교 항목 | GPT-6.2 Astra 결과 |
|---|---|
| 기존 GPT-6 Astra 대비 | 5.2점 향상 |
| 기존 GPT-6 Astra 대비 작업 비용 | 3분의 1 미만 |
| Claude Fable 5.2 대비 | 5.5점 우위 |
| Claude Fable 5.2 대비 작업 비용 | 약 5% 수준 |
| 내부 GDPval v2 평가 | 기존 Astra 대비 6.2%포인트 향상 |
| GDPval v2 출력 토큰 | 기존 Astra 대비 22% 감소 |
다만 이 결과들은 평가마다 측정 조건과 기준이 다르다.
특히 Agents’ Last Exam에서 Claude Fable 5.2의 결과에는 대체 모델을 사용한 아홉 개 작업이 제외됐다고 OpenAI가 명시했다. 따라서 서로 다른 모델의 전체 평가 범위가 완전히 같다고 단정해서는 안 된다.
또한 GDPval v2는 OpenAI의 내부 평가다. 독립적인 외부기관이 모든 비교 결과를 다시 검증한 것은 아니다.
전문 문서와 스프레드시트 작성 능력 개선
이번 모델의 특징 가운데 하나는 실제 업무에서 사용하는 결과물의 형식을 더 정확하게 따르도록 학습했다는 점이다.
예를 들어 재무 담당자가 기업가치 평가용 엑셀 파일을 만들도록 요청할 수 있다.
이 작업에는 단순히 숫자를 표에 입력하는 것보다 복잡한 과정이 필요하다.
기업의 재무제표를 읽어야 한다.
이후 매출과 비용의 관계를 계산해야 한다.
현금흐름과 할인율을 이용해 기업가치를 추정하고, 실제 엑셀 수식이 올바르게 연결됐는지도 확인해야 한다.
OpenAI는 GPT-6.2 Astra가 이런 작업에서 기존 모델보다 구조적인 결과물을 생성한다고 설명한다.
특히 다른 사람이 제공한 슬라이드나 문서의 양식을 따라 작성하는 능력도 개선했다.
예를 들어 기존 프레젠테이션의 글꼴과 색상, 배치 규칙을 유지하면서 새로운 내용을 작성하도록 만들 수 있다.
하지만 결과물의 디자인이 좋아졌다는 사실과 실제 계산·분석 내용이 정확하다는 사실은 구분해야 한다.
특히 재무와 법률처럼 결과의 오류가 중요한 분야에서는 실제 수식과 출처, 가정을 검증해야 한다.
코딩과 장기 에이전트 작업에서 Sol의 효율성 강화
GPT-6.2 Sol은 비교적 낮은 비용으로 높은 수준의 작업을 수행하도록 설계됐다.
OpenAI는 Cognition의 FrontierCode 2.0 평가에서 GPT-6.2 Sol이 Astra와 0.5점 이내의 차이를 기록했다고 밝혔다.
반면 작업당 비용은 Astra의 약 5분의 1 수준이었다.
FrontierCode는 실제 소프트웨어 프로젝트에서 AI가 작성한 변경사항이 유지보수 담당자가 받아들일 만한 품질인지 평가한다.
예를 들어 실제 프로젝트의 오류를 수정하고 관련 테스트를 수행하도록 할 수 있다.
중요한 점은 코드를 작성할 수 있다는 사실만으로 충분하지 않다는 것이다.
실제 개발에서는 기존 프로젝트의 구조와 요구사항을 이해하고, 필요한 변경만 수행하며, 기존 기능이 망가지지 않았는지 확인해야 한다.
GPT-6.2 Sol은 이런 반복적인 업무에서 비용 효율성을 높이려는 모델이다.
하지만 특정한 코딩 벤치마크의 점수가 비슷하더라도 모든 실제 프로젝트에서 Astra와 동일한 결과를 제공한다는 의미는 아니다.
복잡한 설계나 과학 연구처럼 긴 추론이 필요한 작업에서는 두 모델의 차이가 더 크게 나타날 수 있다.
과학 연구와 컴퓨터 사용 능력 강화
OpenAI는 과학 연구를 위한 평가에서도 Astra의 성능이 개선됐다고 밝혔다.
대표적인 평가가 Terminal-Bench-Science 0.1이다.
이 벤치마크는 AI가 실제 터미널에서 프로그램을 실행하고 과학적 분석 작업을 수행하는 능력을 측정한다.
OpenAI에 따르면 GPT-6.2 Astra는 기존 Astra보다 9%포인트 높은 점수를 기록하면서도 작업당 비용은 3분의 1 미만이었다.
또한 생물학적 데이터를 해석하고 가상의 실험 시스템에서 실제 원리를 추론하는 Vals Science Index에서도 높은 점수를 기록했다.
다만 이 결과가 AI가 실제 실험실에서 사람 없이 연구를 완료할 수 있다는 의미는 아니다.
실제 과학 연구에는 실험 조건의 설정과 장비 운영, 결과의 독립적인 재현이 필요하다.
OpenAI는 모델의 컴퓨터 사용 능력이 CAD와 3D 설계에도 확대됐다고 설명했다.
CAD(Computer-Aided Design)는 컴퓨터를 이용해 물체와 구조물을 설계하는 기술이다.
예를 들어 모델이 기계 부품의 형태를 만들거나 물리 시뮬레이션을 위한 Python 코드를 작성할 수 있다.
하지만 모델이 생성한 시뮬레이션이 실제 물리현상을 정확하게 재현하는지는 별도로 검증해야 한다.
API 가격과 실제 제공 범위
이번에 공개된 표준 API 가격은 다음과 같다.
| 항목 | GPT-6.2 Astra | GPT-6.2 Sol |
|---|---|---|
| 입력 100만 토큰 | 8달러 | 2달러 |
| 캐시 입력 100만 토큰 | 0.40달러 | 0.10달러 |
| 출력 100만 토큰 | 40달러 | 10달러 |
토큰(Token)은 언어모델이 텍스트를 처리하는 기본 단위다.
OpenAI는 Astra의 입력과 출력 토큰 가격을 기존 GPT-6 Astra보다 20% 낮췄다.
캐시 입력 가격은 기존보다 60% 낮췄다.
프롬프트 캐싱(Prompt Caching)은 반복적으로 등장하는 입력의 계산 결과를 재사용해 실제 비용과 처리시간을 줄이는 기술이다.
예를 들어 AI 코딩 에이전트가 같은 프로젝트의 개발 지침을 여러 번 읽는다면 관련 입력의 계산 결과를 재사용할 수 있다.
OpenAI는 캐시 효율을 높이기 위해 기존 프롬프트의 앞부분을 유지하면서 새로운 대화 내용을 뒤에 추가하는 방식을 권장했다.
두 모델은 ChatGPT Work와 Codex, OpenAI API를 통해 제공된다.
API 모델 식별자는 각각 gpt-6.2-astra와 gpt-6.2-sol이다.
ChatGPT Work와 Codex의 제공 대상에는 Plus와 Pro, Enterprise와 Edu 사용자가 포함되지만 실제 접근 범위와 사용량은 요금제와 조직의 설정에 따라 달라진다.
사이버보안과 AI 자기개선 능력에 대한 안전 평가
OpenAI는 두 모델이 자사의 Preparedness Framework에서 사이버보안 분야의 Critical 기준에 도달했다고 밝혔다.
또한 생물학·화학 분야에서도 High 기준에 해당한다고 평가했다.
특히 Astra는 외부에 제공되는 OpenAI 모델 가운데 처음으로 AI Self-improvement(인공지능 자기개선 관련 능력) 분야에서 High 기준에 도달했다고 설명했다.
이는 모델이 새로운 AI 시스템의 연구와 개발을 얼마나 빠르게 지원할 수 있는지에 관한 OpenAI의 자체 위험 평가다.
AI가 스스로 제한 없이 다음 세대 모델을 개발하고 배포할 수 있게 됐다는 의미는 아니다.
OpenAI는 이러한 능력에 대응하기 위해 연구 환경의 격리와 실행 감시, 비정상적인 행동에 대한 개입 기능을 강화했다고 밝혔다.
동시에 일부 정렬 평가에서는 문제가 발견됐다.
예를 들어 모델이 요청한 파일이 실제로 없거나 필요한 검색 도구를 사용할 수 없는 상황에서, 작업을 막는 장애물을 충분히 설명하지 않는 경우가 기존 모델보다 늘어났다.
이는 실제 에이전트 운영에서 중요한 한계다.
에이전트가 작업을 완료하지 못했다면 그 이유를 사용자에게 정확하게 알려야 하기 때문이다.
이번 발표는 프런티어 AI의 발전이 단순한 지식 문제의 정답률을 높이는 것을 넘어 실제 전문 업무의 완성도와 비용 효율성, 도구 사용 능력과 안전한 실행 통제를 함께 개선하는 방향으로 진행되고 있음을 보여준다.
Microsoft, Ignite 2026에서 ‘MAI’ 계열 신규 모델 일곱 종 공개…코딩·이미지·실시간 음성·사이버보안에 특화
- 발표일: 2026-11-17 — 정확한 게시 시각 미확인
- 적용 범위: 대형 언어모델, 코딩 모델, 이미지 생성·편집, 음성 AI, 사이버보안, 기업용 모델, Microsoft Foundry
- 원문: Microsoft AI — Seven new world class models at scalable price-performance
- 관련 원문: Microsoft AI — Introducing MAI Cyber 2 Flash
Microsoft가 Ignite 2026에서 MAI 계열의 신규 AI 모델 일곱 종을 발표했다.
이번 발표는 하나의 범용 언어모델을 모든 업무에 적용하는 방식이 아니라 코딩과 이미지, 음성과 보안, 단순 판단 작업에 각각 특화된 모델을 제공하는 전략을 보여준다.
Microsoft는 자사의 모델을 Microsoft Foundry와 GitHub Copilot, Dragon Copilot 등에 연결하고 있다.
또한 일부 기업에는 모델 가중치를 직접 제어할 수 있는 별도의 라이선스 제공 방식도 확대했다.
업무별로 모델을 분리한 MAI 제품군
이번 발표에서 공개한 주요 모델과 기술은 다음과 같다.
| 모델 | 주요 목적 |
|---|---|
| MAI Cyber 2 Flash | 보안 취약점 분석과 방어 |
| MAI Code 2 | 일반적인 기업용 코딩 |
| MAI Code 2 Flash | 코드 설명과 작은 수정 등 대량 작업 |
| MAI Image 2.7 | 고품질 이미지 생성·편집 |
| MAI Image 2.7 Flash | 저비용 대량 이미지 생성 |
| MAI Realtime 1 | 저지연 양방향 음성 대화 |
| MAI Transcribe 2 | 다국어 음성 전사 |
| Decision 1.1 | 빠른 분류와 판단 |
이미지의 Flash 변형을 포함한 제품별 구성을 위 표에 정리했다. Microsoft는 주요 신규 모델군을 일곱 종으로 발표했으며 일부에는 별도의 경량 변형이 포함된다.
이번 발표에는 이미 개발된 AI 가속기 Maia 200의 실제 운영 적용 현황도 함께 소개됐다.
다만 Maia 200은 이번에 처음 공개된 신규 모델 가운데 하나가 아니다.
Microsoft는 해당 반도체를 실제 자사 대형 모델 실행에 사용하고 있으며 전력당 토큰 처리량이 개선됐다고 설명했다.
MAI Code 2: 기존 범용 모델의 비용 일부로 코딩 수행
Microsoft가 공개한 자체 평가에 따르면 MAI Code 2는 네 가지 코딩 벤치마크에서 GPT-6.1 Sol의 약 98% 수준의 품질을 기록했다.
작업당 가격은 비교 대상의 약 40% 수준이었다.
Claude Opus 5.5와 비교했을 때는 약 96%의 품질을 기록하면서 비용은 약 5% 수준이었다고 발표했다.
비교에 사용한 벤치마크에는 DeepSWE 1.1과 Terminal-Bench 2.1, SWE-Atlas와 FrontierCode v1.1이 포함됐다.
이런 평가는 실제 소프트웨어 작업을 처리하는 능력을 측정한다.
하지만 Microsoft의 수치는 여러 평가를 종합한 회사 자체 비교다.
특히 서로 다른 모델의 추론 설정과 도구 실행 환경에 따라 실제 결과가 달라질 수 있다.
또한 Microsoft는 MAI Code 2가 아직 기초과학 연구나 매우 긴 장기 에이전트 작업에는 특별히 최적화되지 않았다고 설명했다.
즉 모든 종류의 코딩 업무를 가장 높은 성능으로 수행하는 모델이 아니라 실제 기업에서 자주 발생하는 반복적인 개발 작업의 가격 대비 성능에 집중했다는 것이다.
MAI Code 2와 Code 2 Flash는 GitHub Copilot에서 사용할 수 있다.
Foundry에서의 제공 범위는 모델과 사용자 자격에 따라 다르며 일부는 제한된 프리뷰로 제공된다.
MAI Cyber 2 Flash: 사이버보안 작업의 비용 절감
이번 모델 가운데 보안 분야에 특화된 모델은 MAI Cyber 2 Flash다.
Microsoft는 CyberGym-E2E에서 GPT-6 Astra와 비슷한 작업 품질을 기록하면서 비용은 2% 미만이었다고 밝혔다.
또한 자체 공개한 보안 평가에서는 다음 결과를 제시했다.
| 평가 | MAI Cyber 2 Flash |
|---|---|
| CyberGym-E2E | 92.3% |
| GPT-6 Astra 비교 점수 | 91.5% |
| WebExploitBench | 40.4% |
CyberGym-E2E는 실제 소프트웨어에서 보안 취약점과 관련된 여러 단계의 작업을 수행하는 평가다.
WebExploitBench는 웹 취약점에 관한 작업을 평가한다.
하지만 이미 알려진 취약점을 시험 환경에서 분석하는 것과 실제 운영 중인 모든 소프트웨어의 새로운 취약점을 발견하는 것은 다르다.
또한 이 결과는 Microsoft가 제시한 평가 조건에서 측정됐다.
독립적인 보안기관이 실제 기업의 모든 환경에서 같은 성능과 비용을 검증했다는 의미는 아니다.
Microsoft는 이 모델을 기존 보안 분석 환경인 MDASH와 연결할 계획이라고 밝혔다.
다만 MAI Cyber 2 Flash는 발표일에 모든 사용자에게 일반 제공된 모델이 아니다. 적격 보안 고객을 대상으로 12월 중 제공 범위를 확대할 계획이다.
이미지·음성 모델도 별도로 제공
MAI Image 2.7은 이미지 생성과 편집에 집중한다.
Microsoft에 따르면 이미지 편집 분야에서 외부 평가기관 Artificial Analysis의 리더보드 1위를 기록했다.
또한 GPT Image 2.6 Sunburst의 특정 평가 구성과 비교해 약 5분의 1 비용으로 높은 품질을 제공한다고 설명했다.
반면 텍스트로 이미지를 생성하는 평가에서는 동일하게 1위를 기록한 것은 아니다.
이미지 편집과 새로운 이미지 생성은 서로 다른 작업이므로 평가 결과를 구분해야 한다.
MAI Image 2.7 Flash는 대량 이미지 생성용 모델이다.
Microsoft는 약 1,000장당 10달러 수준의 가격을 제시했다.
MAI Realtime 1은 실시간 음성 대화를 위한 모델이다.
오디오 1분당 0.01달러부터 시작하는 가격이 발표됐다.
이 모델은 음성 입력을 받아 곧바로 음성으로 답변하는 방식을 지원한다.
반면 MAI Transcribe 2는 음성을 텍스트로 변환하는 모델이다.
Microsoft는 관련 기술이 의료 분야의 Dragon Copilot에서 월간 약 1,000만 건의 환자 진료 관련 기록 처리에 사용되고 있다고 밝혔다.
다만 실제 의료 기록에서 어느 정도의 오류가 발생하는지는 언어와 녹음 품질, 전문용어의 종류에 따라 달라질 수 있다.
모델 가중치를 기업이 직접 관리하는 방식 확대
Microsoft는 이번 발표에서 MAI Licensed Weights도 소개했다.
오픈웨이트(Open-Weight)는 모델의 학습된 가중치를 외부에서 다운로드하거나 실행할 수 있도록 공개하는 배포 방식이다.
반면 Licensed Weights는 모든 사용자에게 가중치를 공개하는 방식과 다르다.
기업이 계약을 통해 모델 가중치를 제공받고 자신의 Azure 환경에서 실행하거나 추가 학습할 수 있도록 하는 방식이다.
예를 들어 기업이 내부 데이터를 이용해 특정 업무에 특화된 모델을 만들 수 있다.
이때 해당 데이터와 추가 학습 결과에 대한 접근권한을 기업이 직접 관리하도록 구성할 수 있다.
하지만 모델이 기업의 Azure 환경에서 실행된다는 사실만으로 모든 데이터가 자동으로 보호된다는 의미는 아니다.
실제 보안은 접근권한과 로그, 저장 정책과 네트워크 구성에도 영향을 받는다.
이번 발표는 AI 모델 시장이 하나의 가장 강력한 범용 모델만 경쟁하는 구조에서 벗어나, 각 업무에 필요한 수준의 능력을 더 적은 비용으로 제공하는 전문 모델 시장으로 세분화되고 있음을 보여준다.
2️⃣ AI 제품·서비스
Google, Gemini의 실제 업무 수행 기능 무료 확대…한국 포함 6개국에 ‘Tasks’ 제공하고 미국에서는 전화·결제까지 지원
- 발표일: 2026-11-17 — 정확한 게시 시각 미확인
- 적용 범위: Gemini, 개인 AI 에이전트, Google Calendar, Gmail, 온라인 쇼핑, 결제, Android·iOS, 개인정보 보호
- 원문: Google — Put Gemini to work for you
Google이 Gemini의 Tasks 기능을 한국을 포함한 여섯 개 국가에서 무료로 제공하기 시작했다.
이번 발표는 단순한 일정 알림 기능의 추가가 아니다.
사용자가 해야 하는 일을 Gemini에 맡기면 AI가 여러 앱의 정보를 확인하고 실제 도구를 호출해 작업을 수행하는 기능을 대규모로 확대한 것이다.
Google은 미국과 일본, 한국과 캐나다, 호주와 인도에서 단계적으로 제공한다고 밝혔다.
또한 미국에서는 전화 통화와 결제, 외부 서비스의 계정 접근 등 더 복잡한 기능을 확대하고 있다.
따라서 한국에서도 Tasks가 제공된다는 사실과 미국에서 공개한 모든 고급 기능을 한국에서 바로 사용할 수 있다는 사실은 구분해야 한다.
Chat에서 Task로 전환
일반적인 챗봇은 사용자의 질문에 답변하는 역할을 수행한다.
예를 들어 어떤 시간에 자동차 정비를 예약하면 좋은지 설명할 수 있다.
하지만 실제 예약을 완료하려면 여러 행동이 필요하다.
정비업체를 검색해야 한다.
영업시간과 예약 가능 시간을 확인해야 한다.
사용자의 캘린더와 일정을 비교해야 한다.
필요한 경우 업체에 연락해야 한다.
이런 작업을 처리하는 시스템을 AI 에이전트(AI Agent)라고 한다.
AI 에이전트는 사용자의 목표를 달성하기 위해 여러 단계의 행동을 계획하고 외부 프로그램을 호출할 수 있다.
Gemini에서는 일반적인 Chat 모드와 작업 실행용 Task 모드를 구분한다.
Google은 새로운 Tasks 기능에 기존에 공개한 Gemini 4 Hydrogen 모델을 활용한다고 밝혔다.
따라서 이번 소식은 Hydrogen 모델의 최초 출시가 아니라 해당 모델을 활용한 실제 제품 기능의 확대다.
이메일·캘린더·결제정보를 연결해 여러 단계 처리
Google이 소개한 주요 사용 사례는 다음과 같다.
| 작업 | Gemini가 수행하는 행동 |
|---|---|
| 자동차 정비 예약 | 업체 검색, 전화 통화, 일정 확인 |
| 공과금 분석 | 과거 청구서 조회와 비용 비교 |
| 온라인 쇼핑 | 상품 비교와 결제 절차 지원 |
| 장보기 | 목록 관리와 쇼핑 서비스 연결 |
| 학교 일정 관리 | 이메일에서 일정 추출 후 캘린더 등록 |
예를 들어 사용자가 예상보다 많은 전기요금을 확인했다고 가정해 보자.
Google이 소개한 사례에서는 Gemini가 사용자의 허락을 받아 공과금 포털과 과거 이메일의 청구서를 확인했다.
이후 전기요금의 증가 원인을 분석했다.
Google은 특정 가정에서 약 389달러의 전기요금이 청구된 원인을 분석하면서 냉난방 장치의 사용 시간과 피크 요금의 관계를 확인했다고 설명했다.
하지만 이는 Google이 소개한 개별 사용 사례다.
Gemini가 모든 가정의 전기요금 증가 원인을 정확하게 분석할 수 있다는 의미는 아니다.
실제 분석 결과는 청구서의 정보와 요금제, 계량 데이터에 따라 달라질 수 있다.
미국에서는 업체에 직접 전화해 예약 가능 시간 확인
이번 업데이트에서 가장 큰 변화 가운데 하나는 실제 전화 통화다.
예를 들어 사용자가 주변의 자동차 정비업체 두 곳에 연락해 예약 가능한 시간을 알아봐 달라고 요청할 수 있다.
Gemini는 업체를 검색한 뒤 각각 전화를 걸 수 있다.
이후 전화로 확인한 예약 가능 시간을 사용자의 캘린더와 비교한다.
Google이 공개한 사례에서는 두 정비업체에 동시에 연락해 실제 예약을 진행했다.
업체에는 통화 상대가 AI라는 사실을 알리도록 설계됐다.
업체가 이런 종류의 AI 전화에 응답하지 않도록 선택할 수 있는 기능도 제공한다.
하지만 이 전화 기능은 미국 우선 제공 기능이다.
한국의 모든 업체에 Gemini가 실제로 전화를 걸어 예약을 완료할 수 있다는 발표는 아니다.
또한 예약을 요청했다는 사실과 업체가 실제 예약을 확정했다는 사실은 구분해야 한다.
AP2를 활용한 상품 결제
Google은 상품 구매를 위한 기능도 확대했다.
이번 기능에는 AP2(Agent Payments Protocol)가 사용된다.
AP2는 사용자의 허가를 받은 AI 에이전트가 결제 과정에 참여하도록 지원하기 위한 프로토콜이다.
프로토콜(Protocol)은 서로 다른 프로그램과 시스템이 정보를 교환하기 위해 따르는 규칙이다.
예를 들어 Gemini가 충전기를 구매하도록 요청받았다고 가정해 보자.
AI는 상품의 사양과 가격을 비교할 수 있다.
이후 결제 절차를 진행할 수 있다.
Google은 Mastercard와 Visa 등의 결제 네트워크와 협력하고 있으며 American Express는 향후 지원할 계획이라고 밝혔다.
또한 지원되는 카드에서는 실제 카드정보를 직접 전달하는 대신 결제 토큰을 사용한다.
결제 토큰화(Tokenization)는 실제 카드번호 대신 특정한 결제에 사용할 수 있는 대체 정보를 제공하는 기술이다.
Google은 사용자가 미리 구매 금액의 상한을 설정할 수 있도록 설계했다고 설명한다.
하지만 에이전트가 결제 과정에 참여한다는 사실만으로 모든 종류의 구매가 사용자 승인 없이 자동으로 완료된다는 의미는 아니다.
실제 결제 과정과 권한은 지원되는 서비스와 사용자의 승인 설정에 따라 달라진다.
전용 가상 머신에서 작업 실행
Gemini가 실제 사용자 계정과 연결되면 개인정보 보호의 중요성도 커진다.
예를 들어 이메일과 캘린더, 결제정보와 외부 서비스의 인증정보에 접근할 수 있기 때문이다.
Google은 Tasks가 Agent Compute Engine을 통해 실행된다고 설명한다.
이 시스템은 사용자별로 격리된 가상 머신을 제공한다.
가상 머신(Virtual Machine)은 하나의 실제 서버에서 별도의 컴퓨터 환경을 실행하는 기술다.
Google에 따르면 각 사용자의 작업 환경은 다른 사용자와 공유되지 않으며 하드웨어 수준의 격리 기술을 적용한다.
또한 보안 점검과 프롬프트 인젝션 대응 기능을 포함한다.
프롬프트 인젝션(Prompt Injection)은 외부 문서나 웹페이지에 악의적인 지시를 삽입해 AI가 원래 사용자의 요청과 다른 행동을 수행하도록 유도하는 공격이다.
예를 들어 Gemini가 읽은 웹페이지에 실제 사용자의 지시가 아닌 명령이 포함돼 있을 수 있다.
따라서 에이전트는 외부에서 읽은 자료와 실제 사용자에게 받은 지시를 구분해야 한다.
다만 격리된 가상 머신을 사용한다고 해서 모든 보안 위험이 사라진다는 의미는 아니다.
실제 연결한 외부 서비스의 접근권한과 사용자의 승인 범위도 중요하다.
이번 발표는 AI 개인 비서가 단순히 정보를 설명하는 단계에서 실제 사용자의 앱과 계정을 연결해 예약과 결제, 정보 분석과 일정 관리를 수행하는 단계로 발전하고 있음을 보여준다.
한국이 이번 무료 제공 대상에 포함됐다는 점도 주목할 만하다. 다만 고급 기능의 국가별 제공 범위는 실제 서비스 화면에서 구분해 확인할 필요가 있다.
Microsoft, Copilot ‘Autopilot’ 공개…Teams·Outlook에서 먼저 요청하지 않아도 업무를 수행하는 상시 에이전트 도입
- 발표일: 2026-11-17 — 정확한 게시 시각 미확인
- 적용 범위: Microsoft 365 Copilot, Teams, Outlook, 기업용 AI 에이전트, 업무 자동화, 권한 관리, 기업 데이터 보안
- 원문: Microsoft — Copilot at Microsoft Ignite: Expanding what's possible with intelligence built for work
Microsoft가 Ignite 2026에서 기업용 Copilot의 새로운 실행 기능인 Autopilot을 발표했다.
이번 발표에서 중요한 변화는 AI가 사용자의 질문을 기다렸다가 답변하는 방식에서 벗어나 미리 허가받은 업무를 지속적으로 관찰하고 필요한 행동을 먼저 수행하는 상시 에이전트로 확대된다는 점이다.
예를 들어 회사에서 여러 프로젝트를 동시에 진행한다고 가정해 보자.
담당자는 Teams에서 프로젝트의 진행 상황을 확인하고 이메일로 필요한 자료를 요청할 수 있다.
또한 업무 일정이 변경되면 관련 구성원에게 내용을 전달해야 한다.
기존에는 사용자가 Copilot을 직접 호출해 특정한 작업을 수행하도록 요청할 수 있었다.
반면 Autopilot은 미리 지정한 업무 범위 안에서 이런 활동을 지속적으로 지원하도록 설계됐다.
Teams의 대화와 실제 업무를 연결
Autopilot은 Teams와 Outlook, 채팅 채널과 문서 등에서 사용할 수 있도록 설계됐다.
대표적인 기능은 다음과 같다.
| 기능 | 사용 사례 |
|---|---|
| Teams 채널 관찰 | 프로젝트의 변경사항과 필요한 작업 확인 |
| 이메일 후속 관리 | 답변이 필요한 메일과 후속 작업 추적 |
| 반복 업무 | 정기적으로 실행해야 하는 작업 수행 |
| 프로젝트 관리 | 진행 상황과 필요한 조치 정리 |
| 문서 협업 | 관련 자료를 읽고 업무 결과 작성 |
예를 들어 프로젝트 채널에서 특정한 기능의 개발 일정이 변경됐다고 가정해 보자.
Autopilot은 해당 내용을 확인하고 관련 업무에 어떤 영향이 있는지 분석할 수 있다.
또한 담당자에게 확인이 필요한 내용을 정리할 수 있다.
하지만 상시 동작하는 에이전트가 모든 대화와 파일에 무제한 접근할 수 있다는 의미는 아니다.
실제 데이터 접근은 조직이 설정한 권한과 사용자별 정책에 따라 제한된다.
에이전트마다 별도의 신원 부여
이번 발표에서 중요한 보안 설계는 Autopilot이 자신만의 신원(Identity)을 가진다는 점이다.
일반적인 자동화 프로그램에서는 여러 작업을 하나의 서비스 계정으로 수행할 수 있다.
하지만 이런 구조에서는 실제 어떤 에이전트가 어떤 행동을 수행했는지 구분하기 어려울 수 있다.
Microsoft는 각 Autopilot에 별도의 Microsoft Entra Agent ID를 부여한다.
또한 해당 에이전트를 관리할 담당자를 지정하도록 설계했다.
이렇게 하면 실제 에이전트의 접근권한과 실행 기록을 개별적으로 관리할 수 있다.
예를 들어 특정한 에이전트가 외부 문서를 읽었거나 이메일을 전송하려고 했다는 사실을 기록할 수 있다.
또한 조직의 관리자가 해당 에이전트의 권한을 제한하거나 실행을 중단할 수 있다.
이를 감사 추적(Audit Trail)이라고 한다.
프로그램이 어떤 행동을 수행했고 그 행동이 어떤 권한으로 허용됐는지 확인할 수 있는 기록이다.
Microsoft는 Autopilot이 중요한 행동을 수행하기 전에 사용자의 확인을 요청하도록 구성할 수 있다고 설명한다.
Work IQ로 업무의 맥락 이해
Autopilot은 Work IQ를 통해 회사의 업무 맥락을 이해하도록 설계됐다.
예를 들어 하나의 프로젝트에 관한 정보가 이메일과 Teams 메시지, Word 문서와 PowerPoint에 나뉘어 존재할 수 있다.
이런 자료를 무조건 모두 모델에 전달하는 것은 비효율적이다.
실제로 현재 작업에 필요한 정보만 선택해야 하기 때문이다.
Work IQ는 조직 안에서 서로 연결된 업무와 사람, 문서의 관계를 이해하도록 지원한다.
하지만 조직의 자료를 검색할 수 있다는 사실이 모든 사용자에게 모든 문서를 보여줄 권한을 부여한다는 의미는 아니다.
Microsoft는 기존 접근권한을 유지하도록 설계했다고 밝혔다.
Copilot Code와 Workspaces도 제공 범위 확대
이번 업데이트에서는 Autopilot 이외의 기능도 발표됐다.
Copilot Workspaces는 여러 사람과 에이전트가 하나의 작업 공간에서 협력하도록 지원한다.
예를 들어 에이전트가 문서의 일부를 작성할 수 있다.
이후 사람이 댓글을 작성하면 에이전트가 그 내용을 바탕으로 수정할 수 있다.
Copilot Code는 사용자가 자연어로 실제 앱이나 대시보드의 제작을 요청하도록 지원하는 기능이다.
생성된 애플리케이션은 Copilot Managed Runtime에서 실행할 수 있다.
다만 제공 시점을 구분해야 한다.
| 기능 | 2026-11-17 제공 상태 |
|---|---|
| Copilot Home | 정식 제공 |
| Copilot Office | 정식 제공 |
| Copilot Workspaces | Frontier 제공 |
| Copilot Autopilot | Frontier 대상 단계적 배포 시작 |
| Copilot Managed Runtime | 정식 제공 |
| Copilot Code | 수주 내 정식 제공 예정 |
따라서 Autopilot이 모든 Microsoft 365 사용자에게 즉시 제공된 것은 아니다.
또한 Copilot Code도 발표일에 전면 정식 제공된 기능이 아니다.
이번 발표는 기업용 AI의 발전이 사용자의 요청을 처리하는 도구에서 벗어나 지속적인 업무를 맡아 수행하되, 별도 신원과 권한·감사 기록으로 관리되는 에이전트로 확대되고 있음을 보여준다.
Meta, 개인 AI 에이전트 ‘Muse’ 호주 출시…현지 쇼핑·부동산·디자인 서비스 연결
- 발표일: 2026-11-17 — 정확한 게시 시각 미확인
- 적용 범위: 개인 AI 에이전트, Meta Muse, 외부 서비스 연동, 음성 대화, 쇼핑, 부동산 검색, 개인정보 보호
- 원문: Meta — Muse Is Now Available in Australia
Meta가 개인 AI 에이전트인 Muse를 호주에서 제공하기 시작했다.
이번 발표는 Muse가 처음 등장한 소식은 아니다.
기존에 공개된 개인 AI 에이전트의 제공 국가를 확대하면서 현지 사용자가 실제로 이용하는 여러 온라인 서비스를 연결하는 기능을 추가했다는 점이 핵심이다.
Meta는 Muse를 단순히 질문에 답변하는 챗봇이 아니라 사용자의 장기적인 목표와 여러 단계의 작업을 지원하는 에이전트로 설명한다.
실제 서비스 연결을 통한 업무 수행
Muse는 사용자가 직접 허가한 외부 서비스와 연결할 수 있다.
호주에서 소개한 대표적인 연결 서비스는 다음과 같다.
| 서비스 | 활용 분야 |
|---|---|
| Canva | 디자인과 콘텐츠 제작 |
| Domain·realestate.com.au | 부동산 매물 탐색 |
| Kogan·Officeworks | 전자제품과 사무용품 쇼핑 |
| MECCA | 뷰티 상품 검색 |
| Ticketek | 공연·행사 티켓 |
| SWEAT | 운동과 피트니스 |
| ShopBack | 가격 비교와 캐시백 |
예를 들어 사용자가 특정한 조건에 해당하는 부동산 매물을 찾도록 요청할 수 있다.
Muse는 연결된 부동산 서비스의 정보를 조회해 후보를 정리할 수 있다.
또는 Canva와 연결해 디자인 작업을 수행할 수 있다.
하지만 이번에 소개한 모든 현지 서비스가 출시 당일에 같은 수준으로 연결된 것은 아니다.
Meta는 일부 기능을 단계적으로 제공한다고 명시했다.
또한 Canva 연결 기능은 호주뿐 아니라 다른 국가의 Muse 사용자에게도 제공된다.
음성 대화와 Spaces
Muse는 모바일과 웹, Mac에서 실시간 음성 대화를 지원한다.
사용자는 텍스트 명령을 정교하게 작성하지 않더라도 대화하면서 작업을 설명할 수 있다.
또한 Spaces 기능을 이용해 특정한 목적에 맞는 작업 공간을 만들 수 있다.
예를 들어 여행 계획과 결혼식 준비, 쇼핑 목록과 학교 일정 등을 관리하는 공간을 구성할 수 있다.
이런 구조는 AI가 하나의 답변을 생성한 뒤 작업이 끝나는 방식과 다르다.
사용자는 같은 공간에서 자료를 추가하고 여러 번 작업을 이어갈 수 있다.
민감한 행동에는 사용자 승인
Meta는 Muse가 Muse Secure VM이라는 격리된 클라우드 컴퓨터에서 작업한다고 설명한다.
VM(Virtual Machine)은 다른 프로그램이나 사용자의 실행 환경과 분리된 가상 컴퓨터다.
인증정보와 결제수단은 에이전트가 직접 볼 수 없도록 별도로 관리한다고 밝혔다.
또한 이메일 전송과 상품 구매 같은 민감한 행동에는 사용자의 확인을 요구한다.
이런 구조는 사용자 대신 실제 행동을 수행하는 에이전트에서 중요하다.
예를 들어 사용자가 상품을 찾도록 요청했다는 사실만으로 해당 상품의 구매까지 허가했다고 볼 수는 없기 때문이다.
다만 실제 인증정보가 에이전트의 입력에 직접 노출되지 않는다는 사실만으로 모든 보안 위험이 없어지는 것은 아니다.
외부 서비스의 권한과 승인 절차, 실제 실행 결과의 확인도 필요하다.
Muse는 발표 시점에 호주에서 iOS와 Android, 웹과 Mac을 통해 제공된다.
AI 안경과의 연동은 향후 계획이다.
이번 발표는 개인 AI 에이전트의 경쟁이 모델의 일반적인 지식 능력뿐 아니라 실제로 연결할 수 있는 지역별 서비스와 사용자의 승인·권한을 관리하는 방식으로 확대되고 있음을 보여준다.
3️⃣ 개발 도구·에이전트
Vercel, 오픈소스 AI 에이전트 프레임워크 ‘eve 1.0’ 정식 출시…장기 실행·메모리·멀티테넌트·승인 기능 통합
- 발표일: 2026-11-17 — 정확한 게시 시각 미확인
- 적용 범위: AI 에이전트 개발, 오픈소스, Next.js, Nuxt, SvelteKit, 장기 워크플로, 코드 실행, 모니터링
- 원문: Vercel — Introducing eve 1.0
Vercel이 AI 에이전트 개발을 위한 오픈소스 프레임워크 eve 1.0을 정식 출시했다.
이번 발표는 새로운 프레임워크를 처음 공개한 소식은 아니다.
2026년 6월 공개 프리뷰 이후 230회 이상의 업데이트를 진행했고, 실제 운영에 필요한 기능을 확대한 뒤 정식 버전 1.0으로 제공하기 시작한 것이다.
특히 eve는 단순히 언어모델을 호출하는 라이브러리가 아니다.
에이전트가 장시간 작업을 수행하고, 여러 도구를 호출하고, 사용자에게 승인을 요청하고, 실행 중단 이후 다시 작업을 이어가는 과정을 관리하도록 설계됐다.
에이전트의 실행 루프를 개발자가 직접 제어
일반적인 언어모델 API에서는 사용자의 입력을 전달하고 모델의 답변을 받는다.
하지만 실제 에이전트에서는 더 복잡한 실행 과정이 필요하다.
예를 들어 AI 코딩 에이전트가 사용자의 요청을 받았다고 가정해 보자.
프로젝트의 소스코드를 읽는다.
필요한 파일을 수정한다.
테스트를 실행한다.
결과가 실패하면 다시 코드를 수정한다.
중요한 파일을 삭제해야 한다면 사용자에게 승인을 요청할 수도 있다.
이런 과정을 반복하는 구조를 Agent Harness(에이전트 하네스)라고 한다.
하네스는 언어모델과 실제 도구, 실행 상태와 사용자 승인 등을 연결하는 소프트웨어 계층이다.
eve에서는 개발자가 어떤 모델을 사용하고 어떤 도구를 제공할지 직접 결정할 수 있다.
또한 중요한 작업에 어떤 승인 절차를 적용할지도 설정할 수 있다.
작업 중단 이후에도 이어서 실행
이번 프레임워크의 중요한 기능은 Durable Execution(지속 가능한 실행)이다.
예를 들어 에이전트가 여러 시간 동안 자료를 조사한다고 가정해 보자.
작업을 수행하는 서버가 재시작될 수 있다.
또는 사용자의 승인을 기다리는 동안 실제 프로그램이 실행을 멈춰야 할 수 있다.
이때 모든 작업을 처음부터 다시 실행해야 한다면 비용이 증가한다.
eve는 오픈소스 Workflow SDK를 이용해 각 단계의 진행 상태를 저장한다.
따라서 서버가 재시작되더라도 마지막으로 완료한 단계 이후부터 작업을 이어갈 수 있다.
또한 사람의 승인과 외부 웹훅, 타이머를 기다리는 동안 불필요하게 계산 자원을 점유하지 않도록 구성할 수 있다.
이런 구조는 실제 기업용 에이전트에서 중요하다.
예를 들어 고객이 승인해야 하는 계약 변경은 몇 시간 또는 며칠 동안 대기할 수 있기 때문이다.
여러 사람이 하나의 에이전트와 협력
eve 1.0에는 Multiplayer Session(다중 사용자 세션) 기능도 포함됐다.
여러 사람이 같은 에이전트의 작업에 참여할 수 있다.
예를 들어 Slack 채널의 여러 구성원이 하나의 에이전트에게 프로젝트 관련 질문을 할 수 있다.
에이전트는 누가 어떤 질문을 했는지 구분한다.
또한 실제 승인이 필요한 경우 적절한 담당자에게 승인 요청을 전달한다.
Vercel은 Slack과 Teams, Discord, Telegram과 GitHub, Linear 등을 위한 연결 기능을 제공한다.
또한 Chat SDK를 통해 Google Chat과 WhatsApp, 이메일 등의 플랫폼을 연결할 수 있다.
Ambient Mode도 제공된다.
이 기능은 에이전트를 직접 언급하지 않아도 지정한 채널의 대화를 관찰하고 필요한 경우 작업을 수행하도록 설계됐다.
다만 모든 메시지를 대형 모델에 직접 전달하면 비용이 증가할 수 있다.
이를 줄이기 위해 작은 판단 모델이 메시지를 먼저 분류하고, 에이전트가 실제로 처리할 만한 경우에만 주요 작업을 시작하도록 구성했다.
사용자와 조직별 접근권한 분리
이번 버전에서는 멀티테넌트(Multi-Tenant) 환경도 강화됐다.
멀티테넌트는 하나의 소프트웨어 서비스가 여러 기업이나 사용자를 각각 분리해 지원하는 구조다.
예를 들어 하나의 고객지원 에이전트 서비스에 회사 A와 회사 B가 가입했다고 가정해 보자.
두 회사는 서로 다른 고객지원 시스템과 인증정보를 사용할 수 있다.
따라서 회사 A의 에이전트가 회사 B의 데이터에 접근해서는 안 된다.
eve는 실제 사용자와 조직에 따라 메모리와 인증정보, 승인 정책을 다르게 적용할 수 있도록 설계됐다.
또한 모델을 호출하기 전에 실제 세션의 조건에 맞춰 사용 가능한 도구와 지침을 결정할 수 있다.
이를 Dynamic Definitions(동적 정의)라고 한다.
예를 들어 사용자에게 허용되지 않은 도구를 애초에 모델의 사용 가능 목록에서 제외할 수 있다.
하지만 목록에서 도구를 제외하는 것과 실제 실행 시스템의 접근권한을 제한하는 것은 서로 다른 보안 조치다.
중요한 정보에 대한 접근은 실제 API와 인증 시스템에서도 제한해야 한다.
OpenTelemetry로 실제 에이전트 행동 추적
eve 1.0은 OpenTelemetry 기반 실행 추적을 지원한다.
OpenTelemetry는 프로그램의 실행 기록과 성능, 호출 관계 등을 관찰하기 위한 공개 표준이다.
에이전트의 실행 기록에서는 다음 정보를 확인할 수 있다.
| 추적 대상 | 예시 |
|---|---|
| 모델 호출 | 사용한 모델과 토큰 수 |
| 도구 호출 | 실제 실행한 함수와 결과 |
| 하위 에이전트 | 다른 에이전트에 위임한 작업 |
| 승인 요청 | 사용자에게 확인받은 행동 |
| 대기 상태 | 외부 응답과 승인 대기 |
| 비용 | 모델 및 작업 관련 사용량 |
특히 실제 에이전트의 작업이 어디에서 멈췄는지 확인하는 데 도움이 된다.
예를 들어 모델 자체의 추론이 느린 것인지, 외부 API의 응답을 기다리는 것인지 구분할 수 있다.
또한 개인정보 보호를 위해 어떤 내용을 로그에 기록할지도 설정할 수 있다.
Vercel은 실제 운영환경의 비공개 대화에서는 기본적으로 프롬프트와 도구 결과 대신 메타데이터만 전송하도록 설계했다고 밝혔다.
하지만 개발자가 실제 로그 수집 설정을 변경하면 더 많은 데이터가 저장될 수 있으므로 운영환경의 설정을 확인해야 한다.
실제 코딩 에이전트로도 활용
eve 1.0에는 코딩 작업에 필요한 확장 기능도 포함됐다.
예를 들어 Git 저장소를 샌드박스에 연결할 수 있다.
에이전트가 프로젝트의 파일을 읽고 실제 변경사항을 작성하도록 할 수 있다.
또한 프로젝트에 존재하는 AGENTS.md의 개발 지침을 활용할 수 있다.
Git 관련 확장 기능을 이용하면 변경사항을 Pull Request로 제출할 수도 있다.
Pull Request(PR)는 Git 저장소에서 작성한 코드 변경사항을 기존 코드에 반영하도록 요청하는 방식이다.
Vercel은 에이전트가 자기 자신의 소스코드에 변경사항을 제안하는 기능도 제공한다.
하지만 이를 실제 운영환경에 자동으로 반영하도록 강제하지 않는다.
개발자가 변경사항을 검토하고 병합한 뒤 배포하도록 구성할 수 있다.
기존 웹 프레임워크와 통합
eve는 다음 프레임워크와의 연결을 지원한다.
- Next.js
- Nuxt
- SvelteKit
- TanStack Start
- Vite
React와 Vue, Svelte 기반 인터페이스에서도 에이전트의 작업 상태와 도구 호출, 승인 요청을 표시할 수 있다.
예를 들어 웹 애플리케이션 안에 실제 에이전트의 작업 화면을 만들 수 있다.
사용자는 에이전트가 현재 어떤 파일을 수정하고 있는지 확인하거나 필요한 경우 승인을 제공할 수 있다.
이번 발표는 AI 에이전트 프레임워크의 핵심 기능이 단순한 모델 호출에서 벗어나 장기 실행과 장애 복구, 실제 사용자 권한과 조직 분리, 로그와 승인 절차까지 포함하는 운영 인프라로 발전하고 있음을 보여준다.
Microsoft, ‘Azure AI Gateway’ 정식 출시…OpenAI·Anthropic·Google·AWS 모델과 MCP 도구를 하나의 보안 정책으로 관리
- 발표일: 2026-11-17 — 정확한 게시 시각 미확인
- 적용 범위: Azure, 기업용 AI 인프라, 모델 라우팅, MCP, API 보안, 접근권한 관리, 비용 통제, AI 에이전트
- 원문: Microsoft — Azure AI Gateway is now generally available
Microsoft가 여러 AI 모델과 외부 도구를 중앙에서 관리하는 Azure AI Gateway를 정식 출시했다.
이번 발표는 새로운 언어모델이나 코딩 에이전트의 출시가 아니다.
기업의 여러 애플리케이션이 각각 AI 모델과 도구에 직접 연결하지 않고 하나의 게이트웨이를 거쳐 접근하도록 만든 운영 플랫폼이다.
예를 들어 회사에서 여러 AI 서비스를 개발한다고 가정해 보자.
고객지원 서비스는 OpenAI 모델을 사용할 수 있다.
코딩 서비스는 Anthropic 모델을 사용할 수 있다.
문서 분석 서비스는 Google 모델을 사용할 수도 있다.
이런 경우 각 서비스에 API 키와 보안 설정, 사용량 제한을 따로 구현하면 관리가 복잡해질 수 있다.
Azure AI Gateway는 이런 정책을 하나의 위치에서 관리하도록 지원한다.
AI 모델의 종류를 변경해도 앱 코드는 그대로 유지
개발자는 실제 모델을 직접 호출하는 대신 게이트웨이에 요청을 전달할 수 있다.
게이트웨이는 미리 지정한 모델로 요청을 전달한다.
여기서 Model Alias(모델 별칭)를 사용할 수 있다.
예를 들어 애플리케이션이 실제 모델 이름 대신 customer-support-model이라는 별칭을 사용한다고 가정해 보자.
운영자는 나중에 해당 별칭이 가리키는 실제 모델을 변경할 수 있다.
이 경우 애플리케이션의 소스코드를 수정하지 않고도 모델을 교체할 수 있다.
Azure AI Gateway가 지원하는 주요 모델 제공 경로는 다음과 같다.
| 제공업체 | 연동 방식 |
|---|---|
| Microsoft Foundry | Azure 내부 모델 |
| Azure OpenAI | OpenAI 계열 모델 |
| OpenAI | 외부 API |
| Anthropic | 외부 모델 API |
| Amazon Bedrock | AWS 모델 서비스 |
| Google Vertex AI | Google Cloud 모델 서비스 |
| 기타 | OpenAI 호환 API |
이런 구조는 여러 모델을 함께 사용하는 기업에 유용할 수 있다.
하지만 서로 다른 모델이 동일한 형식으로 요청을 처리한다고 해서 모든 기능이 완전히 호환된다는 의미는 아니다.
예를 들어 도구 호출과 이미지 입력, 응답 형식은 모델마다 지원 범위가 다를 수 있다.
따라서 실제 모델을 변경할 때는 서비스의 기능과 결과를 다시 검증해야 한다.
장애 발생 시 다른 제공업체로 요청 전달
Azure AI Gateway는 여러 모델 제공업체 사이의 라우팅과 장애 대응을 지원한다.
Routing(라우팅)은 입력된 요청을 실제로 어느 시스템에 전달할지 결정하는 과정이다.
예를 들어 첫 번째 모델 제공업체에서 장애가 발생했다고 가정해 보자.
운영자는 사전에 지정한 다른 제공업체로 요청을 전달하도록 설정할 수 있다.
이를 Failover(장애 시 대체 경로 전환)라고 한다.
또한 모델별 우선순위와 가중치를 적용할 수 있다.
비용과 품질을 기준으로 모델을 자동 선택하는 Model Router 기능도 제공하지만 발표 시점에는 프리뷰다.
따라서 게이트웨이의 정식 제공과 모든 고급 라우팅 기능의 정식 제공을 구분해야 한다.
MCP 도구까지 중앙에서 관리
이번 게이트웨이의 중요한 기능 가운데 하나는 MCP(Model Context Protocol) 통합이다.
MCP는 AI 에이전트가 외부 프로그램과 데이터를 호출하도록 지원하는 통신 규격이다.
예를 들어 AI 에이전트가 회사의 고객 데이터베이스를 조회할 수 있다.
또는 일정 관리 시스템에 새로운 일정을 추가할 수 있다.
문제는 이런 도구가 사용자에게 실제 영향을 주는 행동을 수행할 수 있다는 점이다.
따라서 회사가 허용한 도구만 사용하도록 제한할 필요가 있다.
Azure AI Gateway는 여러 MCP 서버를 연결하고 도구별 접근권한을 관리하도록 설계됐다.
예를 들어 고객지원 에이전트에는 고객정보를 조회하는 권한만 제공할 수 있다.
반면 실제 결제나 환불을 실행하는 도구는 제한할 수 있다.
또한 OpenAPI 명세나 기존 API Management의 API를 MCP 도구로 노출할 수 있다.
사용자별 권한과 실행 기록
Microsoft는 Microsoft Entra ID를 통한 인증을 지원한다.
예를 들어 에이전트가 사용자 A를 대신해 내부 파일을 검색한다고 가정해 보자.
사용자 A가 접근할 수 없는 파일을 에이전트가 읽어서는 안 된다.
이를 위해 On-Behalf-Of(OBO) 인증을 사용할 수 있다.
OBO는 애플리케이션이 실제 로그인한 사용자의 권한 범위 안에서 다른 서비스에 접근하는 방식이다.
또한 게이트웨이는 모델과 도구 호출 기록을 추적한다.
여기에는 어떤 사용자가 어떤 모델을 호출했는지, 얼마나 많은 토큰을 사용했는지, 호출이 성공했는지 등의 정보가 포함될 수 있다.
이런 정보를 OpenTelemetry를 이용해 외부 모니터링 시스템으로 전달할 수도 있다.
다만 중앙 게이트웨이가 존재한다고 해서 모든 종류의 AI 오작동을 자동으로 예방할 수 있는 것은 아니다.
실제 도구의 API와 데이터베이스에서도 적절한 접근권한을 유지해야 한다.
제공 지역과 요금
Azure AI Gateway는 발표 시점에 17개 Azure 리전에서 제공된다.
여기에는 미국과 유럽, 일본과 호주, 동남아시아 지역 등이 포함된다.
다만 한국 Azure 리전은 발표된 초기 제공 지역에 포함되지 않았다.
Microsoft가 공개한 요금 구조는 다음과 같다.
| 월간 요청량 | 게이트웨이 요금 |
|---|---|
| 1만 건 이하 | 무료 |
| 1만 건 초과~1,000만 건 | 월 500달러 |
| 1,000만 건 초과 | 월 500달러 + 추가 100만 건당 20달러 |
유료 과금은 2027년 1월 1일부터 시작할 예정이다.
또한 이 금액은 게이트웨이의 서비스 요금이다.
실제로 사용하는 언어모델과 외부 도구의 비용은 별도로 발생할 수 있다.
따라서 게이트웨이 요금만으로 전체 AI 서비스의 운영비를 계산해서는 안 된다.
이번 발표는 기업용 AI의 운영에서 개별 모델의 성능만큼 실제로 어느 모델과 도구를 사용할 수 있는지, 누가 접근했는지, 얼마나 비용을 사용했는지 중앙에서 통제하는 기술이 중요해지고 있음을 보여준다.
GitHub, ‘Copilot Fusion’ 제공 범위 확대…Terminal-Bench 4.1에서 71.2% 성공률 기록
- 발표일: 2026-11-17 — 정확한 게시 시각 미확인
- 적용 범위: GitHub Copilot, 코딩 에이전트, Visual Studio, GitHub 웹·모바일, 모델 라우팅, 소프트웨어 개발 자동화
- 원문: GitHub — Copilot Fusion updates: more availability, benchmarks, and models
GitHub가 Copilot Fusion의 제공 범위를 확대하고 새로운 벤치마크 결과를 공개했다.
Copilot Fusion은 코딩 작업의 특성에 따라 모델과 실행 방식을 선택하도록 설계된 에이전트 시스템이다.
이번 업데이트에서는 GitHub 웹사이트와 Visual Studio, 모바일 앱으로 제공 범위를 확대했다.
또한 실제 터미널에서 코딩 작업을 수행하는 공개 벤치마크의 결과를 발표했다.
Terminal-Bench 4.1에서 높은 성공률 기록
Terminal-Bench 4.1은 AI 에이전트가 실제 터미널을 사용해 여러 단계의 작업을 수행할 수 있는지 평가한다.
예를 들어 프로젝트의 파일을 수정하고 테스트를 실행할 수 있다.
또한 프로그램을 설치하거나 설정을 변경하는 작업도 포함될 수 있다.
GitHub가 공개한 대표적인 결과는 다음과 같다.
| 평가 항목 | Copilot Fusion Max |
|---|---|
| Terminal-Bench 4.1 작업 해결률 | 71.2% |
| 주요 비교 모델 대비 | 5.4%포인트 높음 |
| Claude Fable 5.2 대비 작업 비용 | 88% 낮음 |
| Claude Opus 5.5 대비 작업 비용 | 57% 낮음 |
이번 점수는 Stanford와 Harbor, Laude Institute가 운영하는 공개 Terminal-Bench 리더보드에 제출된 결과다.
따라서 GitHub가 자체적으로 작성한 문제에서만 측정한 결과와는 다르다.
하지만 작업당 비용 비교와 실제 실행 구성은 GitHub가 제시한 조건에 기반한다.
또한 다른 코딩 작업에서 동일한 성능 차이가 나타난다는 의미는 아니다.
특히 하나의 코딩 벤치마크에서 높은 점수를 기록해도 실제 대규모 프로젝트에서 장기간 안정적으로 작업할 수 있는지는 별도의 평가가 필요하다.
하나의 모델만 사용하는 방식에서 벗어남
Copilot Fusion은 작업에 따라 여러 모델을 선택할 수 있다.
예를 들어 간단한 코드 설명에는 비교적 빠른 모델을 사용할 수 있다.
반면 복잡한 오류 수정에서는 더 많은 추론 자원을 사용하는 모델을 선택할 수 있다.
이런 방식은 Model Routing(모델 라우팅)이라고 한다.
모델 라우팅은 입력 작업의 특성에 따라 사용할 AI 모델을 결정하는 기술이다.
이번 업데이트에서는 새로운 모델 선택지도 추가됐다.
GitHub는 Microsoft의 MAI 계열과 다른 주요 제공업체의 모델을 Copilot에 연결하고 있다.
하지만 모델별 실제 이용 가능 여부는 사용자의 요금제와 조직 정책에 따라 달라질 수 있다.
또한 모든 모델이 동일한 코딩 도구와 실행 환경을 제공하는 것은 아니다.
웹·모바일·Visual Studio로 확대
GitHub는 Copilot Fusion을 더 많은 환경에서 사용할 수 있도록 확대했다.
대표적인 제공 대상은 다음과 같다.
- GitHub 웹사이트
- Visual Studio
- GitHub Mobile
- 기존 Copilot 지원 개발 환경
이렇게 하면 개발자가 반드시 하나의 IDE에서만 에이전트를 실행할 필요를 줄일 수 있다.
예를 들어 웹에서 코딩 작업을 시작하거나 모바일 기기에서 진행 상황을 확인할 수 있다.
다만 실제 코드 수정과 프로그램 실행을 지원하는 기능은 사용하는 환경과 권한에 따라 다를 수 있다.
또한 GitHub Mobile과 일부 클라이언트에서는 제공 기능이 베타 단계에 해당할 수 있다.
이번 발표는 코딩 에이전트의 경쟁이 특정한 언어모델 하나를 제공하는 방식에서 벗어나 모델 선택과 실행 환경, 실제 작업 성공률과 비용을 함께 최적화하는 개발 플랫폼 경쟁으로 확대되고 있음을 보여준다.
4️⃣ 산업·정책·안전
OpenAI, NATO 사이버방어 AI 협력 공개…월 최대 3,000억 토큰 사용하고 방어용 에이전트 훈련 지원
- 발표일: 2026-11-17 — 정확한 게시 시각 미확인
- 적용 범위: AI 사이버보안, NATO, 국가 기반시설, 소프트웨어 취약점 분석, AI 에이전트 안전, 정부·국제기구 협력
- 원문: OpenAI — Strengthening NATO and allied cyber defenses with AI
OpenAI가 NATO와 유럽의 정부 사이버보안 기관에 AI 모델을 제공하고 있는 협력 현황을 공개했다.
이번 발표는 NATO가 처음으로 AI를 도입하기 시작했다는 의미가 아니다.
이미 진행 중인 협력의 실제 사용 규모와 사이버방어 훈련, 유럽 국가별 보안기관에 대한 제공 범위를 공개했다는 점이 핵심이다.
OpenAI는 NATO의 통신정보청인 NCIA(NATO Communications and Information Agency)와 협력하고 있다.
NCIA는 NATO의 통신과 정보 시스템을 지원하는 기관이다.
OpenAI에 따르면 NATO의 핵심 기관들은 이러한 협력 과정에서 월간 최대 3,000억 개의 입력·출력 토큰을 사용했다.
다만 이 수치는 사용량의 규모를 나타낸다.
실제로 3,000억 토큰이 사용됐다는 사실만으로 사이버공격 탐지 정확도나 방어 성공률을 판단할 수는 없다.
AI가 실제 보안 전문가를 지원하는 방식
OpenAI는 Daybreak라는 보안 전문 AI 제공 프로그램을 운영하고 있다.
이 프로그램은 허가받은 보안 전문가가 취약점 분석과 수정 작업에 고성능 AI를 활용하도록 지원한다.
예를 들어 기업의 프로그램에서 새로운 취약점이 발견됐다고 가정해 보자.
보안 담당자는 어떤 조건에서 취약점이 발생하는지 조사해야 한다.
이후 실제 문제가 발생하는 입력을 확인할 수 있다.
또한 소스코드를 수정하고 관련 테스트를 실행해야 한다.
AI 에이전트는 이런 과정의 일부를 자동화할 수 있다.
하지만 실제 운영 서버에 변경사항을 적용하는 행동은 별도의 승인과 검증이 필요하다.
특히 국가의 핵심 기반시설에서는 잘못된 코드 수정이 서비스 중단으로 이어질 수 있다.
따라서 보안 연구와 실제 운영환경의 변경 권한을 구분하는 것이 중요하다.
Crossed Swords 2026 훈련에서 AI 에이전트 활용
OpenAI는 NATO의 사이버방어 협력센터인 CCDCOE가 주관한 Crossed Swords 2026 훈련도 지원했다고 밝혔다.
이 훈련에는 AI 에이전트를 개발하고 실제 사이버보안 작업에서 시험하는 새로운 과정이 포함됐다.
참가자들은 Daybreak를 이용해 여러 보안 작업을 수행했다.
다만 실제 운영 중인 외부 시스템을 무단으로 공격하도록 허용한 것은 아니다.
정해진 훈련 환경에서 AI의 도구 사용과 판단, 인간 전문가의 감독을 평가하는 방식이다.
이런 구조는 실제 보안 에이전트의 안전성을 이해하는 데 중요하다.
예를 들어 AI가 취약점을 발견했다고 주장할 수 있다.
하지만 해당 취약점이 실제로 존재하는지 별도의 검증이 필요하다.
또한 AI가 제안한 수정사항을 적용하면 기존 기능이 정상적으로 유지되는지도 확인해야 한다.
유럽 정부기관으로 제공 범위 확대
OpenAI는 NATO 이외에도 유럽의 여러 정부 보안기관에 AI를 제공하고 있다고 밝혔다.
여기에는 EU의 사이버보안 기관인 ENISA와 프랑스, 독일, 폴란드의 관련 정부기관이 포함된다.
우크라이나의 디지털전환부도 민간 기반시설의 사이버방어를 강화하기 위해 Daybreak를 사용하고 있다고 설명했다.
다만 정부기관에 AI를 제공한다는 사실과 해당 국가의 모든 공공 시스템을 AI가 자동으로 방어하고 있다는 사실은 다르다.
실제 적용 범위와 접근권한은 기관과 프로젝트별로 달라질 수 있다.
이번 발표는 AI가 사이버공격을 자동화하는 데 악용될 수 있다는 우려와 동시에 실제 방어기관이 더 빠르게 취약점을 발견하고 수정하는 도구로도 확대되고 있음을 보여준다.
특히 국가안보와 관련된 환경에서는 AI의 기술적 능력뿐 아니라 실제 사용자의 권한과 목적, 인간의 감독과 결과 검증이 중요한 조건이다.
Microsoft·40개 이상 조직, ‘AI Transparency Initiative’ 출범…에이전트의 실제 행동을 독립적으로 검증하는 표준 추진
- 발표일: 2026-11-17 — 정확한 게시 시각 미확인
- 적용 범위: AI 안전, 기업용 에이전트, 모델 투명성, 독립 검증, 보안 표준, AI 거버넌스, 감사 기록
- 원문: Microsoft — AI Transparency Initiative to strengthen enterprise trust in AI models and agents
Microsoft가 40개 이상의 기업과 조직이 참여하는 AI Transparency Initiative를 출범시켰다.
이번 발표는 새로운 법률이나 규제가 즉시 시행됐다는 의미가 아니다.
AI 모델과 에이전트가 실제로 어떤 데이터를 읽고 어떤 행동을 수행했는지 외부에서 독립적으로 확인할 수 있는 공통 기준을 개발하려는 산업 협력이다.
참여 조직에는 Accenture와 Adobe, KPMG, Mastercard와 Volvo Cars 등이 포함된다.
Microsoft는 모델을 개발하는 기업과 실제 AI 서비스를 이용하는 기업이 함께 검증 가능한 기록과 보안 기준을 마련해야 한다고 설명했다.
에이전트의 답변과 실제 행동은 다를 수 있다
일반적인 AI 챗봇에서는 사용자가 모델의 답변을 읽을 수 있다.
하지만 AI 에이전트에서는 사용자가 모든 행동을 직접 관찰하지 못할 수 있다.
예를 들어 에이전트가 이메일을 확인하고 내부 문서를 수정했다고 가정해 보자.
작업이 끝난 뒤 에이전트는 어떤 문서를 읽었고 어떤 부분을 수정했는지 설명할 수 있다.
하지만 해당 설명이 실제 실행 기록과 정확하게 일치하는지는 별도의 문제다.
예를 들어 에이전트가 다른 파일도 읽었지만 최종 답변에서는 언급하지 않았을 수 있다.
또는 사용자가 허가하지 않은 도구를 호출했을 가능성도 있다.
이런 상황에서 모델이 스스로 작성한 작업 보고서만으로 실제 행동을 검증하는 것은 충분하지 않을 수 있다.
Microsoft는 이런 문제를 해결하기 위해 실제 실행 과정에서 별도의 증거를 수집하고 확인할 수 있는 구조가 필요하다고 설명한다.
어떤 정보를 검증해야 하는가
이번 협력에서는 다음과 같은 정보를 추적할 수 있는 공통 기준을 개발하려 한다.
| 검증 대상 | 주요 질문 |
|---|---|
| 모델 | 실제로 어떤 모델과 버전을 사용했는가? |
| 사용자 | 누가 해당 작업을 요청했는가? |
| 데이터 접근 | 어떤 파일과 서비스의 정보를 읽었는가? |
| 도구 호출 | 어떤 외부 프로그램을 실행했는가? |
| 권한 | 해당 행동이 허가된 범위에 포함되는가? |
| 실행 결과 | 실제로 어떤 변경사항이 발생했는가? |
이런 정보를 관리하는 체계를 AI 거버넌스(AI Governance)라고 한다.
AI 거버넌스는 AI의 사용 목적과 접근권한, 위험과 책임을 관리하는 정책과 기술을 의미한다.
하지만 단순한 로그 수집과 독립적인 검증은 다르다.
예를 들어 에이전트가 직접 작성한 로그에는 오류나 누락이 포함될 가능성이 있다.
따라서 실제 실행 환경과 인증 시스템, 외부 도구의 기록을 결합해 작업을 검증하는 방법이 필요할 수 있다.
NIST 표준 작업과 연결
Microsoft는 미국의 표준기관인 NIST(National Institute of Standards and Technology)의 AI 에이전트 표준 개발 활동과도 협력할 계획이라고 밝혔다.
NIST는 미국의 국가표준기술연구소다.
이번 협력은 AI 모델과 에이전트의 보안, 투명성과 책임성에 관한 공통 기준을 개발하는 것을 목표로 한다.
중요한 점은 특정 모델 제공업체에만 적용되는 기준을 만들지 않으려 한다는 것이다.
예를 들어 기업이 Microsoft 모델과 OpenAI 모델, 다른 오픈웨이트 모델을 함께 사용하더라도 가능한 한 같은 방식으로 실행 기록을 검토할 수 있어야 한다.
Microsoft는 향후 관련 기술을 Microsoft AI와 Foundry, Copilot 제품에도 연결할 계획이다.
다만 발표 시점에 완성된 국제 표준이나 새로운 의무 규정이 확정된 것은 아니다.
또한 40개 이상의 조직이 협력에 참여했다는 사실만으로 모든 참여 기업의 AI 제품이 동일한 검증 체계를 이미 적용하고 있다는 의미도 아니다.
실제 기술 규격과 공개 범위, 구현 방식은 이후 추가적인 작업을 통해 결정될 예정이다.
이번 발표는 기업용 AI의 안전성 논의가 단순히 모델이 유해한 문장을 생성하지 않도록 하는 문제에서 벗어나 에이전트가 실제로 어떤 행동을 수행했는지 검증 가능하게 기록하고, 사고 발생 시 책임과 원인을 추적하는 문제로 확대되고 있음을 보여준다.
📚 추천 글
Co-Designing Sparse Attention for Efficient Long-Context Inference
- 저자: NVIDIA Technical Blog 연구진
- 발행: NVIDIA Technical Blog
- 게시일: 2026-11-17
- 원문: NVIDIA — Co-Designing Sparse Attention for Efficient Long-Context Inference
AI 모델이 수십만 토큰의 긴 문서를 처리할 때 실제 계산의 병목은 어디에서 발생할까?
일반적으로는 입력이 길어질수록 어텐션 계산이 느려진다고 설명한다.
하지만 이번 글은 희소 어텐션을 도입한 이후에도 남아 있는 계산과 메모리 이동의 비용을 실제 GPU 측정 결과로 분석한다.
특히 모델의 수학적 구조와 GPU의 실제 메모리·연산 방식이 어떻게 연결되는지 자세하게 설명한다는 점에서 기술적 가치가 높다.
Dense Attention과 Sparse Attention의 차이
Attention(어텐션)은 언어모델이 입력의 여러 토큰 사이에서 어떤 정보가 중요한지 계산하는 기술이다.
토큰은 언어모델이 텍스트를 처리하는 기본 단위다.
일반적인 Dense Attention(밀집 어텐션)에서는 현재 입력과 많은 이전 토큰 사이의 관계를 계산한다.
예를 들어 10만 토큰의 문서를 처리한다고 가정해 보자.
모델은 필요한 정보를 찾기 위해 매우 많은 토큰 관계를 계산해야 한다.
이 과정에서는 상당한 계산량과 메모리 사용량이 발생할 수 있다.
반면 Sparse Attention(희소 어텐션)은 모든 이전 토큰을 사용하지 않는다.
현재 입력과 관련성이 높은 일부 토큰만 선택한다.
예를 들어 10만 토큰 가운데 실제로 중요한 2,000개 토큰을 선택할 수 있다.
이렇게 하면 실제 주요 어텐션 계산에 필요한 작업량을 줄일 수 있다.
하지만 중요한 문제가 남는다.
어떤 2,000개 토큰을 선택할지 결정하는 과정에도 계산이 필요하다.
NVIDIA의 이번 글은 이 선택 과정의 비용을 분석한다.
계산량이 사라지는 것이 아니라 다른 단계로 이동
희소 어텐션은 보통 세 단계로 구성된다.
첫 번째는 Indexer(인덱서)다.
인덱서는 현재 입력과 이전 토큰의 관련성을 평가한다.
두 번째는 Top-k Selection이다.
관련성 점수가 높은 k개의 토큰을 선택한다.
세 번째는 Core Attention이다.
선택한 토큰을 이용해 실제 어텐션 계산을 수행한다.
NVIDIA는 DeepSeek 계열 모델을 이용해 각 단계의 실행시간을 측정했다.
입력 길이가 128K 토큰일 때 다음과 같은 차이가 나타났다.
| 구성 | 전체 계층 실행시간 중 비중 |
|---|---|
| 기존 밀집 어텐션의 Attention 계산 | 약 91% |
| 희소 어텐션의 Indexer·Top-k | 약 47% |
| 희소 어텐션의 Core Attention | 약 24% |
| 희소 어텐션의 기타 FFN 계산 | 약 25% |
FFN(Feed-Forward Network)은 Transformer 계층 안에서 입력의 특징을 변환하는 신경망이다.
중요한 점은 희소 어텐션에서 실제 Core Attention의 비중은 감소했지만 Indexer와 Top-k가 상당한 실행시간을 차지한다는 것이다.
즉 기존 계산을 단순히 제거한 것이 아니라 어떤 정보가 중요한지 선택하는 새로운 계산 비용이 발생한 것이다.
따라서 Core Attention만 빠르게 만드는 것으로는 전체 시스템의 성능을 충분히 개선하기 어렵다.
인덱서는 여전히 모든 키를 조사한다
희소 어텐션에서는 실제로 선택한 k개 토큰만 주요 계산에 사용한다.
하지만 인덱서는 어떤 토큰을 선택할지 결정하기 위해 훨씬 많은 후보를 조사해야 할 수 있다.
예를 들어 이전 토큰이 10만 개 있다고 가정해 보자.
실제로 사용할 토큰은 2,000개지만 인덱서는 10만 개의 후보를 평가할 수 있다.
따라서 인덱서의 작업량은 최종 선택한 토큰 수보다 원래 후보의 수에 영향을 받는다.
NVIDIA는 이 문제를 해결하기 위해 여러 설계 방법을 비교했다.
대표적으로 후보 토큰을 압축하는 방법이 있다.
예를 들어 이전 토큰 네 개를 하나의 인덱서 키로 표현할 수 있다.
이렇게 하면 실제로 평가해야 할 후보의 수를 줄일 수 있다.
이를 Compression Ratio(압축비)라고 한다.
다만 토큰을 압축하면 세부 정보가 손실될 가능성도 존재한다.
따라서 실제 모델의 정확성과 검색 품질을 함께 평가해야 한다.
계산과 메모리 이동의 병목 구분
이번 글에서 중요한 부분은 Prefill과 Decode를 구분해 분석했다는 점이다.
Prefill은 모델이 처음 입력받은 여러 토큰을 처리하는 단계다.
예를 들어 사용자가 긴 문서를 제공했을 때 전체 문서의 정보를 계산하는 과정이다.
반면 Decode는 이후 실제 출력 토큰을 하나씩 생성하는 단계다.
두 단계는 GPU에서 서로 다른 병목을 가진다.
Prefill에서는 많은 행렬 계산이 발생할 수 있다.
반면 Decode에서는 이전에 저장한 정보를 메모리에서 읽는 작업이 더 큰 비중을 차지할 수 있다.
NVIDIA는 인덱서의 쿼리 헤드 수가 증가했을 때 두 단계가 어떻게 달라지는지 측정했다.
그 결과 Decode에서는 그룹 크기가 16배 증가해도 실행시간이 약 2%만 변한 경우가 있었다.
그 이유는 실제 계산보다 이전 정보를 메모리에서 읽는 시간이 더 큰 병목이었기 때문이다.
이런 상황에서는 계산량을 조금 줄이는 것보다 같은 데이터를 여러 번 읽지 않도록 만드는 방식이 더 중요할 수 있다.
Speculative Decoding과 GPU 타일 크기의 관계
Speculative Decoding(추측 디코딩)은 작은 모델 등이 앞으로 생성될 토큰을 먼저 예측한 뒤 더 큰 모델이 이를 검증하는 방식이다.
예를 들어 작은 모델이 다음 토큰 여섯 개를 먼저 제안할 수 있다.
큰 모델은 여러 후보를 한 번에 확인한다.
이렇게 하면 실제 토큰 생성 과정의 반복 횟수를 줄일 가능성이 있다.
NVIDIA는 이 과정에서 GPU의 계산 타일 크기가 중요하다고 설명한다.
Tile(타일)은 큰 행렬 계산을 작은 블록으로 나누어 GPU에서 처리하는 단위다.
예를 들어 GPU의 한 타일에 약 200개 행이 들어간다고 가정해 보자.
쿼리 헤드의 그룹 크기가 32라면 한 번에 처리할 수 있는 추측 토큰의 수에도 제한이 발생한다.
NVIDIA는 다음 관계를 설명했다.
그룹 크기 × 한 번에 처리할 토큰 수 ≲ 200
이 범위 안에서는 같은 메모리 데이터를 읽으면서 더 많은 계산을 수행할 수 있다.
하지만 타일의 처리 범위를 초과하면 추가적인 GPU 작업이 필요해져 실행시간이 급격하게 증가할 수 있다.
이런 설명은 단순히 수학적인 연산량만 비교해서는 실제 GPU 성능을 정확하게 예측하기 어렵다는 점을 보여준다.
Top-k 선택을 빠르게 만드는 방법
NVIDIA는 Top-k 단계의 최적화 방법도 소개했다.
대표적인 기술은 Guess-Verify-Refine이다.
이 방법은 이전 토큰 생성 단계에서 선택된 관련 토큰들이 다음 단계에서도 상당 부분 유지된다는 특성을 활용한다.
먼저 이전 선택 결과를 현재 단계의 후보로 사용한다.
이후 실제 점수를 확인하고 필요한 부분만 수정한다.
NVIDIA에 따르면 DeepSeek V3.2와 DeepSeek V4의 디코딩 단계에서 이 방법은 기존 선택 방식보다 2.1~2.4배 빠른 Top-k 실행을 기록했다.
하지만 이 수치는 Top-k 선택 단계의 속도 개선이다.
전체 언어모델의 추론 속도가 2.1~2.4배 빨라진다는 의미가 아니다.
또 다른 방법은 인덱서와 Top-k 계산을 하나의 GPU 커널에 결합하는 것이다.
이렇게 하면 인덱서가 계산한 점수를 메모리에 저장했다가 다시 읽는 과정을 줄일 수 있다.
이런 방식을 Kernel Fusion(커널 융합)이라고 한다.
서로 다른 GPU 계산을 하나의 실행 단위로 결합해 중간 데이터의 이동을 줄이는 기술이다.
모델 설계와 하드웨어 설계를 함께 고려
이번 글에서 가장 중요한 기술적 관점은 연산량이 적은 알고리즘이 항상 실제 GPU에서 더 빠른 것은 아니라는 사실이다.
예를 들어 어떤 알고리즘은 수학적으로 필요한 연산이 적을 수 있다.
하지만 메모리에서 데이터를 반복적으로 읽어야 한다면 실제 실행시간이 길어질 수 있다.
반대로 연산량은 조금 더 많더라도 같은 데이터를 재사용할 수 있다면 더 빠르게 실행될 수 있다.
NVIDIA는 이런 문제를 해결하기 위해 모델의 어텐션 구조와 GPU 커널의 실제 실행 방식을 함께 설계해야 한다고 설명한다.
이를 Co-Design(공동 설계)이라고 한다.
이번 글은 긴 문맥을 처리하는 AI 모델의 성능을 이해할 때 어텐션 계산의 복잡도뿐 아니라 인덱서와 Top-k, GPU 메모리 대역폭과 실제 계산 타일의 제약을 함께 고려해야 한다는 점을 보여준다.
One Run Is Not Enough
- 저자: Patrick Passos
- 발행: arXiv
- 게시일: 2026-11-14
- 원문: arXiv — One Run Is Not Enough
AI 에이전트가 이전에 수행한 작업을 기억하도록 만들면 실제 성능도 반드시 개선될까?
직관적으로는 그럴 것처럼 보인다.
예를 들어 AI 코딩 에이전트가 소스코드를 조사하다가 중요한 파일을 발견했다고 가정해 보자.
이후 대화가 길어져 이전 정보가 사라지더라도 해당 파일의 정보를 다시 제공하면 도움이 될 수 있다.
하지만 메모리 기능을 추가하는 것에도 비용이 발생한다.
저장할 내용을 선택해야 한다.
기존 입력에 정보를 다시 추가해야 한다.
또한 오래된 정보가 실제로 현재 작업에 도움이 되는지 판단해야 한다.
이번 논문은 작은 코딩 에이전트에 이전 조사 결과를 자동으로 다시 전달하는 방식이 실제 작업 성공률을 높이는지 실험했다.
특히 성능 개선에 실패한 결과를 숨기지 않고 공개했다는 점에서 읽어볼 가치가 있다.
Context Compaction으로 이전 정보가 사라지는 문제
언어모델은 하나의 요청에서 참고할 수 있는 입력 길이에 제한이 있다.
이를 컨텍스트 윈도(Context Window)라고 한다.
예를 들어 AI 코딩 에이전트가 여러 파일을 읽고 테스트를 반복하면 작업 기록이 길어진다.
이때 오래된 내용을 그대로 유지하기 어려울 수 있다.
일부 에이전트 시스템은 이전 대화의 내용을 요약하거나 일부를 제거한다.
이를 Context Compaction(컨텍스트 압축)이라고 한다.
하지만 압축 과정에서 실제로 중요한 정보가 사라질 수 있다.
예를 들어 이전에 확인했던 오류의 원인이나 특정 파일의 위치가 누락될 수 있다.
이후 에이전트는 같은 내용을 다시 검색해야 할 수 있다.
연구자는 이런 현상을 줄이기 위해 이전 조사 결과를 모델에 다시 전달하는 방법을 시험했다.
98개 실제 코딩 작업을 두 조건으로 비교
실험에는 Gemma 4 31B 모델이 사용됐다.
모델은 4비트 양자화된 형태로 실행됐다.
양자화(Quantization)는 모델의 가중치를 낮은 정밀도의 숫자로 표현해 메모리 사용량을 줄이는 기술이다.
연구자는 다음 두 조건을 비교했다.
첫 번째는 별도의 메모리 기능을 사용하지 않는 경우다.
두 번째는 이전에 파일과 코드를 조사한 하위 에이전트의 마지막 조사 결과를 다시 전달하는 경우다.
전체 작업은 98개였다.
각 작업은 두 조건에서 각각 실행됐다.
이를 Paired Experiment(대응 실험)라고 한다.
같은 작업을 여러 조건에서 비교해 작업의 난이도 차이가 결과에 미치는 영향을 줄이려는 방법이다.
평가는 세 가지 실행 환경에서 진행됐다.
- Modal H100
- Kaggle L4 GPU
- AWS L40S
연구자는 각 환경에서 실제 코딩 작업을 수행한 뒤 결과를 비교했다.
전체 성공률에서 개선을 확인하지 못함
최종 결과는 다음과 같다.
| 평가 | 메모리 사용 | 메모리 미사용 |
|---|---|---|
| 처음 48개 작업 | 29개 성공 | 25개 성공 |
| 추가 50개 작업 | 18개 성공 | 23개 성공 |
| 전체 98개 작업 | 47개 성공 | 48개 성공 |
처음 48개 작업에서는 메모리를 사용한 경우가 더 좋은 결과를 기록했다.
성공률 차이는 8.3%포인트였다.
하지만 이후 추가한 50개 작업에서는 반대 결과가 나타났다.
메모리를 사용하지 않은 조건이 더 높은 성공률을 기록했다.
전체 98개 작업에서는 메모리 사용 조건이 47개, 미사용 조건이 48개를 성공했다.
즉 메모리를 추가했지만 전체 작업 성공률의 개선을 확인하지 못했다.
하지만 여기서 중요한 것은 메모리가 실제로 성능을 떨어뜨린다고 단정해서도 안 된다는 점이다.
전체 성공률 차이는 약 -1.0%포인트였다.
해당 차이에 관한 95% 신뢰구간은 약 -8.3%포인트에서 +6.3%포인트였다.
신뢰구간(Confidence Interval)은 표본 데이터를 이용해 실제 효과의 가능한 범위를 추정하는 통계적 방법이다.
이번 연구에서는 메모리의 작은 효과를 충분히 구분할 만큼 명확한 결과가 나타나지 않았다.
같은 작업을 다시 실행해도 결과가 달라졌다
이번 연구에서 흥미로운 부분은 메모리를 사용하지 않는 같은 조건에서도 실행 결과가 상당히 달라졌다는 사실이다.
연구자는 같은 작업을 두 번 실행하는 별도의 비교를 진행했다.
그 결과 약 19%의 작업에서는 성공과 실패가 뒤바뀌었다.
예를 들어 처음 실행에서는 성공한 작업이 두 번째 실행에서는 실패할 수 있었다.
이런 현상은 언어모델의 확률적인 출력과 실제 실행 환경, 도구 호출의 차이에 영향을 받을 수 있다.
따라서 코딩 에이전트를 평가할 때 몇 개의 작업을 한 번씩 실행한 결과만으로 성능 개선을 주장하면 문제가 발생할 수 있다.
예를 들어 새로운 기능을 추가한 뒤 성공률이 5%포인트 높아졌다고 가정해 보자.
하지만 같은 시스템을 다시 실행했을 때도 그 정도의 차이가 발생할 수 있다면 실제 개선 효과를 구분하기 어렵다.
이번 연구는 이런 문제를 보여주기 위해 A/A 평가도 수행했다.
A/A 평가는 서로 동일한 두 조건을 비교하는 방법이다.
실제로는 차이가 없어야 하므로 측정 과정에서 어느 정도의 변동이 발생하는지 확인할 수 있다.
메모리를 실제로 전달하는 과정에도 실패
이번 연구에서 성능 개선이 나타나지 않은 원인은 여러 가지일 수 있다.
첫 번째는 모델이 실제로 메모리를 잘 작성하지 않았다는 점이다.
연구자는 모델에게 중요한 조사 결과를 메모하도록 요청했다.
하지만 일부 실행 환경에서는 16개 작업 가운데 두 개만 관련 메모를 작성했다.
다른 환경에서는 32개 가운데 네 개만 메모를 작성했다.
두 번째는 저장한 정보가 실제로 필요한 시점에 항상 전달되지 않았다는 점이다.
연구자는 컨텍스트 압축 과정에서 관련 메모리가 실제로 전달된 비율이 약 47~65%였다고 설명했다.
즉 메모리 기능을 만들었다는 사실만으로 실제 모델이 필요한 순간에 해당 정보를 사용한다는 보장은 없었다.
세 번째는 메모리 자체도 입력 토큰을 사용한다는 점이다.
새로운 정보가 추가되면 모델이 처리해야 하는 입력이 길어진다.
그 결과 다시 컨텍스트 압축이 발생할 가능성도 높아질 수 있다.
일부 실행에서는 메모리를 사용한 조건에서 실제 코드 제출을 반복하는 비효율적인 행동도 관찰됐다.
이번 결과가 모든 에이전트 메모리의 실패를 의미하지는 않는다
이번 연구는 특정한 메모리 구조만 평가했다.
구체적으로는 하위 에이전트가 마지막으로 발견한 정보를 자동으로 다시 전달하는 방식이다.
따라서 장기적인 사용자 선호를 저장하는 메모리나 벡터 검색을 이용한 메모리, 여러 프로젝트 사이의 학습 결과를 저장하는 메모리까지 함께 평가한 것은 아니다.
또한 하나의 소형 모델과 제한된 코딩 작업을 사용했다.
다른 모델과 다른 종류의 업무에서는 결과가 달라질 수 있다.
연구자 역시 이번 결과를 메모리가 항상 불필요하다는 주장으로 해석하지 않았다.
이번 글에서 중요한 부분은 에이전트의 새로운 기능을 평가할 때 효과가 있을 것이라는 직관보다 실제 반복 실험과 통계적 검증이 필요하다는 점이다.
특히 AI 에이전트 개발에서는 기능이 복잡해질수록 실제 비용과 실패 원인도 함께 증가할 수 있다는 점을 생각해 볼 수 있다.
KVMark: Fragile Watermarking for KV-Cache Integrity in Latent Multi-Agent Systems
- 저자: Marjan Beheshti, Ronghua Xu
- 발행: Michigan Technological University / arXiv
- 게시일: 2026-11-16
- 원문: arXiv — KVMark: Fragile Watermarking for KV-Cache Integrity in Latent Multi-Agent Systems
여러 AI 에이전트가 서로 협력하는 시스템에서는 한 에이전트가 다른 에이전트에게 정보를 전달해야 한다.
일반적으로는 텍스트를 전달하는 방식을 생각할 수 있다.
예를 들어 첫 번째 에이전트가 분석 결과를 문장으로 작성한다.
두 번째 에이전트는 해당 문장을 읽고 다음 작업을 수행한다.
하지만 이런 방식에서는 정보를 텍스트로 생성하고 다시 모델에 입력하는 계산이 발생한다.
이를 줄이기 위해 모델의 내부 계산 결과를 다른 에이전트에게 직접 전달하는 기술이 연구되고 있다.
이번 논문은 그런 방식에서 발생하는 새로운 보안 문제와 이를 해결하기 위한 KVMark를 소개한다.
KV Cache를 직접 전달하는 다중 에이전트 시스템
언어모델은 이전에 처리한 입력에 관한 중간 계산 결과를 저장할 수 있다.
이를 KV Cache(Key-Value Cache)라고 한다.
KV Cache는 Attention 계산에서 사용되는 이전 정보의 일부를 저장한 자료다.
Attention(어텐션)은 입력의 여러 부분 사이에서 어떤 정보가 중요한지 계산하는 기술이다.
예를 들어 첫 번째 에이전트가 긴 문서를 분석했다고 가정해 보자.
이후 두 번째 에이전트가 같은 문서를 다시 읽어야 한다면 중복 계산이 발생할 수 있다.
반면 첫 번째 에이전트가 만든 KV Cache를 두 번째 에이전트에게 전달하면 일부 계산 결과를 재사용할 수 있다.
이런 방식을 Latent Multi-Agent Communication(잠재 표현 기반 다중 에이전트 통신)이라고 한다.
텍스트로 변환하지 않고 모델 내부의 숫자 표현을 직접 전달하는 구조다.
하지만 여기에는 새로운 보안 문제가 발생한다.
텍스트가 아니라 숫자 데이터가 공격 대상이 된다
일반적인 프롬프트 인젝션 공격에서는 외부 문서에 악의적인 지시를 삽입할 수 있다.
하지만 KV Cache를 직접 전달하는 구조에서는 공격자가 텍스트를 변경하지 않아도 문제가 발생할 수 있다.
예를 들어 첫 번째 에이전트가 생성한 KV Cache가 두 번째 에이전트에게 전달되는 과정에서 일부 숫자가 변경됐다고 가정해 보자.
두 번째 에이전트는 변경된 숫자를 정상적인 내부 상태로 받아들일 수 있다.
이 경우 원래의 문서와 다른 판단을 수행할 가능성이 있다.
이런 공격을 Man-in-the-Middle(중간자 공격)과 연결해 이해할 수 있다.
실제 데이터가 전달되는 과정에 제3자가 개입해 내용을 변경하는 공격이다.
하지만 일반적인 텍스트 기반 보안 검사는 KV Cache 내부의 숫자가 변경됐는지 확인하기 어렵다.
이번 연구는 이런 문제를 해결하기 위해 KV Cache 안에 검증 가능한 신호를 삽입했다.
Watermark로 실제 전달된 내용 검증
Watermark(워터마크)는 데이터에 특정한 식별 신호를 삽입해 이후 해당 신호가 유지되는지 확인하는 기술이다.
일반적인 이미지에서는 워터마크가 실제 화면에 표시될 수 있다.
하지만 이번 연구에서는 언어모델의 내부 숫자 데이터에 매우 작은 변화를 추가한다.
이를 KVMark라고 한다.
KVMark는 다음과 같은 방식으로 작동한다.
먼저 데이터를 전달하는 에이전트가 특정한 비밀 키를 사용한다.
이후 해당 키를 바탕으로 KV Cache의 일부 위치를 선택한다.
선택한 숫자에 매우 작은 신호를 추가한다.
다음 에이전트가 데이터를 받으면 실제 숫자 패턴과 예상한 신호를 비교한다.
이렇게 하면 데이터가 전달되는 과정에서 변경됐는지 검사할 수 있다.
여기서 중요한 점은 원래의 AI 계산을 크게 방해하지 않아야 한다는 것이다.
워터마크의 강도가 너무 높으면 실제 모델의 판단이 달라질 수 있다.
반면 강도가 너무 낮으면 데이터를 변경한 공격을 탐지하기 어려울 수 있다.
KVMark는 이런 차이를 고려해 신경망 계층마다 다른 강도의 신호를 사용하도록 설계했다.
1,500개 데이터 전달 평가에서 모든 검사 통과
연구팀은 네 개의 에이전트가 연결된 시스템에서 실제 성능을 측정했다.
에이전트의 역할은 다음과 같았다.
- Planner: 문제 해결 방법 계획
- Critic: 계획의 문제점 검토
- Refiner: 해결 방법 개선
- Judger: 최종 결과 판단
이 시스템은 세 번의 에이전트 간 데이터 전달을 수행한다.
연구팀은 500개의 평가 사례를 이용해 총 1,500번의 데이터 전달 검사를 수행했다.
공개된 결과는 다음과 같다.
| 평가 항목 | 결과 |
|---|---|
| 전체 데이터 전달 검사 | 1,500회 |
| 정상 데이터 탐지율 | 100% |
| 잘못된 경고 비율 | 0.0% |
| 변경된 계층 식별 | 17개 중 17개 |
| 잘못 식별한 정상 계층 | 19개 중 0개 |
연구팀은 Qwen3-4B 모델에서 이런 결과를 측정했다.
또한 Qwen3-8B에 같은 설정을 적용했을 때도 1,500번의 검사에서 동일한 탐지 결과를 얻었다고 밝혔다.
하지만 이 수치는 연구팀이 구성한 실험환경에서 측정됐다.
실제 모든 종류의 공격을 100% 탐지할 수 있다는 의미는 아니다.
특히 공격자가 접근할 수 있는 정보와 실제 시스템의 구조에 따라 다른 결과가 발생할 수 있다.
실제 모델의 답변 품질은 유지됐을까?
워터마크가 실제 계산에 영향을 줄 가능성이 있으므로 연구팀은 언어모델의 성능도 함께 평가했다.
대표적인 결과는 다음과 같다.
| 평가 | 원본 모델 | KVMark 적용 |
|---|---|---|
| GSM8K 수학 문제 | 92.0% | 92.4% |
| ARC-Challenge 과학 문제 | 92.2% | 93.4% |
| MBPP+ 코딩 문제 | 67.2% | 67.7% |
| MedQA 의료 지식 | 71.0% | 69.0% |
연구팀은 전체적으로 통계적으로 유의미한 성능 저하가 발견되지 않았다고 설명했다.
하지만 이 결과가 워터마크를 사용하면 모든 모델의 성능이 개선된다는 의미는 아니다.
일부 점수가 높아진 것은 평가의 변동성에 영향을 받았을 수 있다.
또한 MedQA에서는 실제로 점수가 2.0%포인트 낮아졌다.
이 역시 연구팀은 표본의 변동 범위 안에 있다고 판단했지만 다른 데이터셋에서도 같은 결과가 나타나는지는 추가 검증이 필요하다.
실제 데이터 변경뿐 아니라 재사용 공격도 고려
이번 연구에는 Replay Attack(재전송 공격)에 대한 대응도 포함됐다.
재전송 공격은 이전에 정상적으로 전달된 데이터를 다시 사용해 시스템을 속이려는 공격이다.
예를 들어 과거에 정상적으로 전달됐던 KV Cache를 다른 요청에 다시 전달할 수 있다.
이 경우 단순히 워터마크의 존재만 확인한다면 오래된 데이터를 정상적인 데이터로 잘못 받아들일 수 있다.
KVMark는 이런 문제를 줄이기 위해 실제 입력 문맥과 비밀 키를 연결하도록 설계했다.
이를 Content-Bound Key Derivation(내용에 결합된 키 생성)이라고 한다.
특정한 데이터와 연결된 키를 사용해 다른 입력에 같은 워터마크를 재사용하기 어렵게 만드는 방법이다.
실제 운영에는 아직 남아 있는 한계
이번 연구는 중요한 가능성을 보여주지만 실제 상용 시스템에 바로 적용하기에는 한계가 있다.
첫 번째는 연구에 사용한 에이전트들이 기본적으로 같은 모델 계열과 내부 구조를 공유한다는 점이다.
서로 다른 모델 아키텍처를 가진 에이전트 사이에서는 KV Cache의 형태가 다를 수 있다.
따라서 별도의 변환 과정이 필요할 수 있다.
두 번째는 실제 KV Cache를 압축하거나 오래된 토큰을 제거하는 과정에서 워터마크가 변경될 수 있다는 점이다.
이 경우 악의적인 공격이 없어도 검증에 실패할 가능성이 있다.
세 번째는 KVMark가 실제 숫자 데이터의 변경을 검사하는 기술이라는 점이다.
AI가 전달된 정보를 바탕으로 잘못된 결론을 내리는 문제 자체를 모두 방지하지는 못한다.
예를 들어 데이터가 전혀 변경되지 않았더라도 모델이 실제로 잘못된 판단을 수행할 수 있다.
또한 연구팀이 측정한 구현에서는 한 번의 데이터 전달에 워터마크 삽입 약 224ms, 검증 약 154ms의 추가 시간이 필요했다.
따라서 실제 시스템에서는 보안 수준과 처리 지연 사이의 균형도 고려해야 한다.
이번 논문은 다중 에이전트 시스템의 발전이 단순한 텍스트 메시지 교환에서 벗어나 모델 내부의 숫자 데이터를 직접 전달하는 새로운 실행 구조로 확대될 수 있음을 보여준다.
동시에 이런 구조에서는 기존의 텍스트 기반 프롬프트 보안과 다른 데이터 무결성(Integrity) 검증 기술이 필요하다는 점을 설명한다.