AI 데일리 브리핑 — 2026-11-20
Soshy··조회수 —

기준 시점: 2026-11-20 06:00 KST (Asia/Seoul)
AI 동향 조사 범위: 2026-11-19 06:00 ~ 2026-11-20 06:00 KST
추천 글 범위: 2026-11-13 06:00 ~ 2026-11-20 06:00 KST
1️⃣ 주요 모델·연구
Cloudflare, 문서 정보 추출 AI ‘Clairic’ 전면 개편…27B·9B 모델 가중치 공개하고 이미지·PDF 지원 확대
- 발표일: 2026-11-18 — 정확한 게시 시각 미확인
- 적용 범위: 오픈웨이트 AI, 문서 정보 추출, 이미지·PDF 분석, 구조화된 데이터, Cloudflare Workers AI, AI 에이전트
- 원문: Cloudflare — An updated Clairic and Clairic-flash are now open-weight
Cloudflare가 구조화되지 않은 자료에서 필요한 정보를 추출하는 AI 모델 Clairic과 Clairic-flash의 새로운 버전을 공개했다.
이번 발표는 기존 Clairic 프리뷰를 단순히 정식 서비스로 전환한 소식이 아니다. 모델의 내부 구조를 다시 설계하고, 복잡한 문서와 이미지의 정보를 추출하는 능력을 개선했으며, 두 모델의 가중치를 Hugging Face에 공개했다는 점이 핵심이다.
특히 Cloudflare는 하나의 범용 언어모델이 모든 종류의 문서 작업을 수행하도록 만드는 대신 특정한 데이터 추출 작업에 집중하는 빠르고 저렴한 모델을 개발했다.
정보를 설명하는 것과 정확하게 추출하는 것은 다르다
일반적인 언어모델은 사용자가 제공한 영수증의 내용을 설명할 수 있다.
하지만 실제 기업 업무에서는 설명보다 정확한 필드 추출이 필요할 수 있다.
예를 들어 영수증에서 다음 정보를 가져오려 한다고 가정해 보자.
- 상점 이름
- 구매 날짜
- 상품별 수량
- 개별 상품 가격
- 최종 결제금액
이 경우 모델이 전체 내용을 자연스럽게 요약하더라도 숫자 하나를 잘못 읽으면 문제가 발생할 수 있다.
또한 상품 이름과 가격을 서로 잘못 연결하면 실제 회계 시스템에 부정확한 정보가 입력될 수 있다.
Clairic은 이런 문제를 해결하기 위해 정보 추출(Information Extraction)에 특화됐다.
정보 추출은 원본 문서에서 필요한 항목을 찾아 프로그램이 사용할 수 있는 구조화된 데이터로 변환하는 기술이다.
예를 들어 하나의 영수증을 JSON 데이터로 변환할 수 있다.
JSON(JavaScript Object Notation)은 데이터를 키와 값의 형태로 표현하는 구조화된 형식이다.
개발자는 이렇게 추출된 데이터를 별도의 복잡한 텍스트 처리 과정 없이 기존 프로그램에 연결할 수 있다.
27B 모델과 9B Flash 모델로 구분
이번에 공개된 모델은 두 종류다.
| 모델 | 파라미터 규모 | 주요 목적 |
|---|---|---|
| Clairic | 270억 개 | 복잡한 문서에서 높은 정확도의 정보 추출 |
| Clairic-flash | 90억 개 | 대량 요청을 빠르고 저렴하게 처리 |
파라미터(Parameter)는 신경망이 학습 과정에서 조정하는 숫자 데이터다.
파라미터 수가 많으면 복잡한 패턴을 표현하는 데 도움이 될 수 있지만 실제 계산과 메모리 요구량도 증가할 수 있다.
Cloudflare는 정확도를 우선하는 작업에는 Clairic을, 대량 처리와 낮은 지연시간이 중요한 작업에는 Clairic-flash를 사용하도록 설계했다.
다만 27B 모델이 모든 종류의 입력에서 9B 모델보다 우수하다는 의미는 아니다.
실제 업무에서는 문서의 복잡성과 입력 크기, 필요한 정확도와 처리량을 함께 고려해야 한다.
여러 필드를 병렬로 생성하도록 모델 구조 변경
이번 모델에서는 Parallel Slot Autoregressive Generation이라는 방식을 사용한다.
일반적인 자기회귀 생성(Autoregressive Generation)은 앞서 생성한 토큰을 참고해 다음 토큰을 순서대로 생성하는 방식이다.
토큰(Token)은 언어모델이 텍스트를 처리하는 기본 단위다.
Clairic은 추출해야 하는 여러 필드를 개별적인 출력 영역으로 다룬다.
예를 들어 영수증의 상점 이름과 날짜, 결제금액을 각각 다른 필드로 표현할 수 있다.
각 필드는 이전에 생성한 내용을 참고해 값을 완성하지만, 여러 필드의 생성 작업은 같은 처리 묶음 안에서 함께 진행된다.
이렇게 하면 하나의 긴 답변으로 모든 정보를 순서대로 작성하는 부담을 줄일 수 있다.
또한 Cloudflare는 계산과 예측, 날짜 처리에 필요한 별도의 출력 계층도 학습시켰다고 밝혔다.
예를 들어 계약서에 적힌 시작일과 기간을 바탕으로 종료일을 계산하는 작업을 생각할 수 있다.
다만 모델에 계산 전용 기능이 포함됐다는 사실만으로 모든 날짜와 산술 계산이 정확하다는 의미는 아니다.
실제 금융이나 계약 업무에서는 추출한 날짜와 금액을 별도의 프로그램으로 검증하는 편이 안전하다.
이미지와 PDF에서 정확도 개선
Cloudflare는 기존의 텍스트 추출 능력을 넘어 이미지와 PDF도 처리하도록 기능을 확대했다.
예를 들어 여러 페이지에 걸친 거래 문서에서 공급업체와 상품 목록, 최종 금액을 함께 추출할 수 있다.
현재 지원하는 입력은 하나의 요청에서 이미지 또는 PDF 페이지를 합쳐 최대 네 개다.
따라서 수백 페이지짜리 PDF 전체를 한 번에 분석할 수 있다는 의미는 아니다.
Cloudflare가 공개한 내부 평가 결과는 다음과 같다.
| 평가 항목 | 기존 Clairic 프리뷰 | 새로운 Clairic | Clairic-flash |
|---|---|---|---|
| 새로운 텍스트 필드 | 295/336 | 335/336 | 328/336 |
| 혼합 입력 정보 추출 | 207/226 | 221/226 | 213/226 |
| 고객별 검증 조건 | 1,033/1,263 | 1,263/1,263 | 1,263/1,263 |
| 합성 영수증 필드 | 369/576 | 576/576 | 576/576 |
위 수치는 정해진 평가 항목 가운데 올바르게 처리한 항목의 수다.
예를 들어 합성 영수증 필드 평가에서 Clairic은 576개 가운데 576개를 올바르게 처리했다.
하지만 이는 Cloudflare가 수행한 내부 평가다.
실제 모든 영수증과 계약서에서 오류 없이 데이터를 추출할 수 있다는 의미는 아니다.
Cloudflare도 아직 이 분야에 널리 합의된 공개 추출 벤치마크가 부족하며, 자사의 비교 수치를 참고용으로 해석해야 한다고 설명했다.
특히 실제 문서는 스캔 품질과 글꼴, 표의 형태와 누락된 정보에 따라 난이도가 크게 달라질 수 있다.
Flash 모델의 응답 지연
Cloudflare는 자체 호스팅 환경에서 전체 HTTP 응답시간도 측정했다.
| 평가 작업 | Clairic 중앙값 | Clairic-flash 중앙값 |
|---|---|---|
| 텍스트 필드 추출 | 358ms | 155ms |
| 이미지 필드 추출 | 453ms | 305ms |
| 상업용 임대차 계약서 | 691ms | 379ms |
| 대출 가격 계산 | 395ms | 188ms |
지연시간(Latency)은 요청을 보낸 뒤 결과를 받기까지 걸리는 시간이다.
중앙값은 측정 결과를 작은 순서대로 정렬했을 때 가운데에 해당하는 값이다.
Flash 모델은 비교한 작업에서 더 짧은 응답시간을 기록했다.
하지만 같은 데이터에 대해 더 빠르게 응답한다는 사실과 결과가 항상 동일하다는 사실은 다르다.
실제 배포에서는 처리 속도와 추출 정확도를 함께 평가해야 한다.
가격과 오픈웨이트 제공
두 모델은 Cloudflare Workers AI에서 사용할 수 있다.
| 모델 | 입력 100만 토큰당 가격 |
|---|---|
| Clairic | 0.24달러 |
| Clairic-flash | 0.10달러 |
Cloudflare는 출력 토큰에 별도 요금을 부과하지 않는 정책을 적용했다.
또한 2026년 12월 1일까지 Clairic 27B에도 입력 100만 토큰당 0.10달러의 프로모션 가격을 제공한다.
기존 프리뷰의 @cf/cloudflare/clairic 엔드포인트에는 개선된 27B 모델이 적용된다.
9B 모델은 @cf/cloudflare/clairic-flash에서 제공된다.
두 모델의 가중치는 Hugging Face에서도 공개됐다.
오픈웨이트(Open-Weight)는 학습된 모델의 가중치를 공개해 외부 개발자가 자체 환경에서 실행하거나 연구할 수 있도록 하는 배포 방식이다.
다만 가중치를 공개한다는 사실과 학습 데이터, 모든 학습 과정까지 공개한다는 사실은 다르다.
실제 재배포나 상업적 사용에서는 해당 모델의 라이선스를 확인해야 한다.
이번 발표는 생성형 AI 시장이 범용 챗봇 중심에서 벗어나 정확한 문서 처리와 구조화된 판단을 빠르고 저렴하게 수행하는 전문 모델로도 세분화되고 있음을 보여준다.
OpenAI, AI 에이전트의 연구 기여도 분석…2~4시간짜리 연구 업무의 자율 완료율 23%에서 46%로 증가
- 발표일: 2026-11-18 — 정확한 게시 시각 미확인
- 적용 범위: AI 연구 자동화, 코딩 에이전트, 모델 학습과 평가, 연구 생산성, AI 자기개선, AI 안전 거버넌스
- 원문: OpenAI — Research acceleration: The jagged frontier
OpenAI가 자사 연구조직에서 AI 에이전트가 실제 연구 업무에 얼마나 기여하고 있는지 분석한 보고서를 공개했다.
이번 보고서는 새로운 언어모델의 성능 발표가 아니다.
AI 연구자들이 코딩 에이전트를 실제로 얼마나 사용하고 있으며, 어떤 종류의 연구 업무를 AI가 독립적으로 완료할 수 있는지, AI 사용 증가가 인간 연구자의 역할을 어떻게 바꾸고 있는지 측정한 자료다.
특히 모든 업무에서 AI의 생산성이 균일하게 증가하지 않는다는 점을 강조했다.
OpenAI는 이런 불균일한 성능 발전을 Jagged Frontier(들쭉날쭉한 능력의 경계)라고 설명한다.
실제 연구 업무는 종류마다 난이도가 다르다
AI 연구에는 여러 종류의 작업이 포함된다.
예를 들어 모델 학습을 시작하기 위한 설정을 작성할 수 있다.
학습이 정상적으로 진행되는지 확인할 수도 있다.
또한 새로운 추론 서버의 코드를 구현하거나 모델의 성능을 평가할 수 있다.
이런 작업은 모두 AI 연구와 관련돼 있지만 실제로 필요한 지식과 판단은 다르다.
OpenAI는 내부 연구 업무 가운데 사람이 처리하는 데 걸릴 것으로 예상되는 시간을 기준으로 작업을 구분했다.
이후 AI 에이전트가 해당 작업을 사람의 추가 개입 없이 완료할 수 있는지 평가했다.
공개된 결과는 다음과 같다.
| 사람의 예상 작업시간 | 2026년 3월 | 2026년 10월 |
|---|---|---|
| 2~4시간 | 23% | 46% |
| 4~8시간 | 13% | 35% |
2~4시간짜리 연구 작업의 자율 완료율은 약 7개월 동안 두 배로 증가했다.
4~8시간짜리 작업에서도 성공률이 크게 높아졌다.
다만 이 결과는 OpenAI의 내부 작업과 평가 방법을 기준으로 측정한 수치다.
실제 모든 연구기관의 업무를 AI가 같은 비율로 완료할 수 있다는 의미는 아니다.
또한 작업시간은 인간이 수행할 것으로 예상되는 시간을 기준으로 분류한 것이다.
AI가 정확히 2~4시간 동안 실행됐다는 의미는 아니다.
업무 종류에 따른 성공률 차이
OpenAI는 같은 연구조직 안에서도 작업 종류에 따라 자율 완료율이 크게 달랐다고 설명했다.
| 연구 업무 | 에이전트 자율 완료율 |
|---|---|
| 학습 실행 상태 감시 | 79% |
| 새로운 학습 실행 시작 | 35% |
| 추론·서빙 코드 작성 | 25% |
모델 학습이 정상적으로 진행되는지 감시하는 작업에서는 비교적 높은 성공률을 기록했다.
반면 새로운 학습을 시작하거나 실제 추론 시스템의 코드를 작성하는 작업에서는 성공률이 낮았다.
이런 차이는 실제 업무의 구조와 관련된다.
예를 들어 학습 상태 감시는 정해진 지표와 로그를 확인하는 과정이 많을 수 있다.
반면 새로운 추론 시스템을 구현하는 작업에는 기존 코드의 구조와 성능 제약, 여러 시스템 사이의 관계를 이해하는 과정이 필요하다.
따라서 한 가지 업무에서 높은 성공률을 기록했다고 해서 모든 연구 업무에서 비슷한 능력을 가졌다고 판단해서는 안 된다.
연구자의 AI 사용량도 크게 증가
OpenAI는 연구자들이 내부 코딩 에이전트를 사용하는 규모도 공개했다.
2026년 10월 기준 연구자 한 명의 하루 평균 AI 사용량을 외부 API 정가로 환산하면 다음과 같았다.
| 지표 | API 정가 환산액 |
|---|---|
| 연구자 사용량 중앙값 | 하루 약 2,400달러 |
| 상위 10%에 해당하는 사용량 | 하루 약 23,000달러 |
9월과 비교하면 중앙값은 62%, 상위 사용량은 105% 증가했다.
다만 이 수치는 실제로 연구자에게 청구된 비용이나 OpenAI가 외부에 지불한 현금 비용이 아니다.
내부적으로 사용한 모델 계산량을 공개 API 요금표에 적용해 환산한 값이다.
따라서 AI 연구자 한 명이 실제로 하루 2,400달러의 외부 서비스 비용을 지출한다고 해석해서는 안 된다.
또한 연구팀은 Agent Workday라는 개념도 사용했다.
에이전트가 8시간 실행되면 한 번의 에이전트 작업일로 계산하는 방식이다.
연구자 한 명당 하루 에이전트 작업일은 이전의 0.5에서 5.7로 증가했다.
이는 하나의 연구자가 여러 에이전트를 동시에 사용하고 있다는 사실을 보여준다.
하지만 여러 에이전트가 동시에 8시간 실행됐다는 사실과 사람이 8시간 작업한 것과 같은 가치를 만들었다는 사실은 다르다.
여러 에이전트를 동시에 사용하는 연구 방식
OpenAI는 10월 중순 기준 연구자의 3분의 2 이상이 하루 중 최고 동시 실행 시점에 네 개 이상의 에이전트를 사용했다고 밝혔다.
또한 10% 이상은 16개 이상의 에이전트를 동시에 실행했다.
이런 방식에서는 한 연구자가 여러 작업을 분리할 수 있다.
예를 들어 하나의 에이전트에는 기존 논문 조사를 맡길 수 있다.
다른 에이전트에는 실험 코드를 구현하도록 요청할 수 있다.
또 다른 에이전트에는 테스트와 오류 분석을 맡길 수 있다.
하지만 이런 작업을 병렬로 실행하면 결과를 실제로 검토하고 통합하는 과정이 필요하다.
또한 에이전트가 생성한 잘못된 실험 결과가 다른 연구에 반영되지 않도록 검증해야 한다.
AI 연구 자동화와 자기개선은 다르다
이번 보고서는 RSI(Recursive Self-Improvement, 재귀적 자기개선) 논의와도 연결된다.
RSI는 AI가 더 발전된 AI 시스템의 개발에 참여하고, 그 결과가 다시 후속 AI 개발에 활용되는 과정이다.
예를 들어 AI가 모델 학습에 필요한 코드를 작성할 수 있다.
이후 더 나은 AI 모델을 개발하는 연구에 그 코드가 사용될 수 있다.
하지만 이 과정에 AI가 기여한다는 사실만으로 AI가 인간의 감독 없이 스스로 후속 모델을 설계하고 배포하는 상태에 도달했다는 의미는 아니다.
OpenAI는 이번 자료가 AI 연구 가속을 측정하기 위한 지표이며, 완전한 재귀적 자기개선을 추진하겠다는 의도를 나타내는 것은 아니라고 설명했다.
또한 인간 연구자의 역할이 여전히 중요하다고 강조했다.
이번 보고서는 AI 에이전트의 발전을 이해할 때 모델이 얼마나 어려운 문제를 한 번에 해결하는가뿐 아니라 실제 연구 과정의 어떤 단계를 얼마나 안정적으로 자동화할 수 있는가를 함께 확인해야 한다는 점을 보여준다.
2️⃣ AI 제품·서비스
Google, Gemini의 Mac 컴퓨터 조작 기능 출시…사용자가 다른 작업을 하는 동안 별도 창에서 앱과 웹사이트 자동 조작
- 발표일: 2026-11-19 — 정확한 게시 시각 미확인
- 적용 범위: Gemini 앱, macOS, 컴퓨터 사용 에이전트, 파일 자동화, 브라우저 조작, 디자인 도구, 개인정보 보호
- 원문: Google — Let Gemini tackle repetitive chores on your Mac
Google이 Gemini 앱에서 실제 Mac의 프로그램과 웹사이트를 조작하는 Computer Use(컴퓨터 사용) 기능을 제공하기 시작했다.
이번 발표는 일반적인 챗봇에 명령어 실행 기능을 하나 추가한 수준의 업데이트가 아니다.
사용자가 여러 앱을 오가며 클릭하고 입력해야 하는 작업을 AI가 실제 그래픽 화면을 조작해 수행하도록 만든 기능이다.
특히 Gemini가 별도의 창에서 작업하므로 사용자는 자신의 기본 화면에서 다른 일을 계속할 수 있다는 점이 특징이다.
실제 앱의 버튼과 메뉴를 조작
일반적인 AI 에이전트는 외부 프로그램의 API를 이용해 작업할 수 있다.
API(Application Programming Interface)는 프로그램이 다른 프로그램의 기능을 호출하도록 제공하는 인터페이스다.
예를 들어 이메일 서비스가 API를 제공한다면 AI는 해당 API를 이용해 이메일을 검색할 수 있다.
하지만 모든 프로그램이 필요한 API를 제공하는 것은 아니다.
또한 실제 사용자는 메뉴와 입력창, 버튼을 조작해야 하는 경우가 많다.
컴퓨터 사용 에이전트는 이런 문제를 해결하기 위해 실제 화면을 이해하고 클릭과 키보드 입력 등을 수행한다.
예를 들어 프로그램의 설정 메뉴를 열 수 있다.
여러 입력창에 값을 입력할 수도 있다.
또는 로컬 파일을 열고 실제 내용을 확인한 뒤 다른 프로그램에 전달할 수 있다.
여러 프로그램을 연결한 실제 작업
Google이 소개한 대표적인 활용 사례는 다음과 같다.
| 작업 | Gemini가 수행하는 과정 |
|---|---|
| 사진 편집 | 여러 사진을 열고 색상 보정 반복 |
| 배송 견적 | PDF에서 무게·크기·주소를 추출해 입력 |
| 보고서 제작 | 여러 대시보드의 데이터를 확인해 슬라이드 작성 |
| 중고 판매 | 사진 분석, 가격 조사, 판매 게시글 작성 |
| 3D 작업 | 디자인 프로그램에서 필요한 장면 구성 |
예를 들어 사용자가 여러 배송업체의 견적을 비교하려 한다고 가정해 보자.
먼저 PDF에 저장된 제품의 무게와 크기를 확인해야 한다.
이후 배송업체의 웹사이트에서 필요한 항목을 입력한다.
다른 배송업체의 사이트에서도 같은 과정을 반복할 수 있다.
Gemini는 이런 반복적인 화면 조작을 수행하도록 설계됐다.
하지만 실제 PDF에 잘못된 정보가 있다면 AI가 해당 값을 그대로 사용할 수 있다.
또한 웹사이트의 입력 구조가 변경되면 작업이 실패할 가능성도 있다.
따라서 중요한 금전적 결과와 실제 주문 내용은 사용자가 확인해야 한다.
별도의 실행 창으로 사용자 작업과 분리
이번 기능의 중요한 특징은 실제 사용자의 기본 화면과 AI 작업 공간을 분리한다는 점이다.
Google은 Gemini가 격리된 백그라운드 창에서 작업하도록 설계했다.
사용자는 그동안 다른 프로그램을 사용하거나 키보드와 마우스로 별도의 작업을 계속할 수 있다.
일반적인 화면 자동화에서는 AI가 사용자의 마우스를 움직이거나 현재 활성화된 창을 변경할 수 있다.
이 경우 사용자가 같은 컴퓨터에서 다른 작업을 수행하기 어려울 수 있다.
반면 Gemini의 새로운 기능은 AI 작업을 별도의 창에서 실행하도록 설계해 이런 간섭을 줄인다.
또한 사용자는 채팅 화면에서 AI가 실제로 어떤 작업을 수행하는지 실시간으로 확인할 수 있다.
앱별 접근권한과 사용자 승인
컴퓨터 사용 에이전트에서는 실제 실행 권한이 중요하다.
예를 들어 AI가 사진을 편집하도록 허가받았다고 가정해 보자.
그렇다고 해서 이메일과 다른 개인 파일까지 자유롭게 읽도록 허가한 것은 아니다.
Google은 사용자가 Gemini가 접근할 수 있는 앱을 직접 선택하도록 설계했다.
또한 실제 작업의 진행 상황을 확인하고 필요한 순간에 실행을 일시 정지할 수 있다.
중요한 행동에는 사용자의 승인을 요구한다.
다만 이러한 통제가 존재한다는 사실만으로 모든 오작동을 예방할 수 있는 것은 아니다.
예를 들어 앱 안에서 잘못된 파일을 선택하거나 입력값을 잘못 해석할 수 있다.
또한 외부 웹페이지에 악의적인 지시가 포함된 경우도 고려해야 한다.
이를 프롬프트 인젝션(Prompt Injection)이라고 한다.
프롬프트 인젝션은 외부 문서나 웹페이지에 포함된 악의적인 지시를 이용해 AI가 원래 사용자의 의도와 다른 행동을 하도록 유도하는 공격이다.
따라서 실제 실행 권한과 중요한 행동의 승인 절차가 필요하다.
초기 제공 범위
이번 기능의 제공 조건은 다음과 같다.
| 항목 | 조건 |
|---|---|
| 국가 | 미국 |
| 언어 | 영어 |
| 계정 | 만 18세 이상의 개인 Google 계정 |
| 구독 | Google AI Plus·Pro·Ultra |
| 운영체제 | macOS Sequoia 15.0 이상 |
| 하드웨어 | Apple Silicon Mac |
따라서 한국에서 사용하는 모든 Mac의 Gemini 앱에 해당 기능이 즉시 제공되는 것은 아니다.
또한 Intel Mac을 지원한다는 발표도 아니다.
이번 발표는 개인 AI 에이전트가 단순히 API를 호출하는 방식에서 벗어나 실제 데스크톱 애플리케이션의 그래픽 인터페이스를 조작하는 범용 자동화 도구로 발전하고 있음을 보여준다.
Google Cloud, AI 에이전트를 위한 ‘Object Enrichments’ 공개…이미지·PDF 1,000만 개의 메타데이터 추출 비용 700달러 제시
- 발표일: 2026-11-19 — 정확한 게시 시각 미확인
- 적용 범위: Google Cloud Storage, 멀티모달 AI, 이미지·PDF 분석, 기업용 AI 에이전트, 데이터 거버넌스, 객체 스토리지
- 원문: Google Cloud — Introducing object enrichments
Google Cloud가 Cloud Storage에 저장된 이미지와 PDF에서 AI가 필요한 정보를 자동으로 추출하는 Object Enrichments 기능을 프리뷰로 공개했다.
이번 발표의 핵심은 기업이 방대한 자료를 AI로 분석할 때 원본 파일과 해당 파일에 관한 의미 정보를 따로 관리해야 하는 부담을 줄였다는 점이다.
예를 들어 기업이 수천만 개의 상품 사진을 보유하고 있다고 가정해 보자.
사용자는 빨간색 상자를 들고 있는 사람이 등장하는 사진을 검색하고 싶을 수 있다.
하지만 일반적인 파일 저장소는 사진의 파일 이름과 크기, 생성 날짜 정도만 알고 있을 수 있다.
사진 안에 어떤 물체가 등장하는지는 별도의 분석이 필요하다.
Google은 이런 의미 정보를 저장소 자체에 추가하도록 만들었다.
원본 파일과 AI 추출 정보를 함께 저장
기존 방식에서는 이미지 분석 파이프라인을 별도로 구축할 수 있다.
파이프라인(Pipeline)은 여러 데이터 처리 단계를 연결한 구조다.
예를 들어 다음 과정을 수행할 수 있다.
- 저장소에 새로운 사진이 업로드된다.
- 별도의 프로그램이 사진을 읽는다.
- 이미지 분석 모델이 물체를 탐지한다.
- 분석 결과를 데이터베이스에 저장한다.
- 검색 서비스가 해당 결과를 조회한다.
하지만 이런 구조에서는 원본 사진과 분석 결과가 서로 다른 위치에 저장될 수 있다.
예를 들어 사진이 삭제됐지만 분석 결과는 별도의 데이터베이스에 남아 있을 수 있다.
또는 파일이 다른 위치로 이동한 뒤 관련 정보가 갱신되지 않을 수 있다.
Object Enrichments는 추출 결과를 Object Context라는 형태로 원본 객체와 함께 저장하도록 설계됐다.
객체(Object)는 Cloud Storage에서 관리하는 파일과 관련 메타데이터의 단위다.
Object Context는 파일의 내용에 관한 의미 정보를 키와 값의 형태로 저장한다.
이 정보는 파일을 이동하거나 복사할 때 함께 관리할 수 있다.
또한 원본 객체가 삭제되면 관련 메타데이터도 함께 제거되도록 설계됐다.
이미지와 PDF를 분석하는 다섯 가지 모델
초기 프리뷰에서는 이미지와 PDF용 모델 다섯 가지를 제공한다.
주요 기능은 다음과 같다.
| 기능 | 추출 정보 |
|---|---|
| 객체 탐지 | 이미지에 존재하는 물체 |
| 이미지 라벨링 | 사진의 주제와 범주 |
| 얼굴 탐지 | 얼굴의 존재와 위치 |
| 노골적 콘텐츠 탐지 | 콘텐츠 분류 관련 정보 |
| PDF 분류 | 금융·건강·뉴스 등 문서 범주 |
예를 들어 회사의 계약서 저장소에 수백만 개의 PDF가 있다고 가정해 보자.
AI는 해당 문서가 금융 관련 자료인지, 일반적인 보고서인지 등을 분류할 수 있다.
이후 다른 에이전트가 필요한 자료를 검색할 때 이 분류 정보를 사용할 수 있다.
하지만 분류 모델의 결과는 추정값이다.
실제 문서의 법적 효력이나 정확한 내용까지 자동으로 보증하지 않는다.
또한 현재 지원하는 기능과 향후 계획을 구분해야 한다.
Google은 Gemini를 이용한 더 복잡한 문서 요약과 음성·영상 분석 기능도 소개했지만, 이는 별도로 접근을 요청해야 하는 향후 기능에 해당한다.
초기 프리뷰의 모든 사용자가 이미 동일한 기능을 제공받는 것은 아니다.
1,000만 개 파일 기준 700달러
Google은 새로운 서비스의 비용을 다음과 같이 제시했다.
| 항목 | 발표된 내용 |
|---|---|
| 이미지·PDF 1,000만 개 처리 | 약 700달러 |
| 유사한 다른 클라우드 서비스 대비 | 약 75% 비용 절감 주장 |
| 제공 상태 | 프리뷰 |
| 결과 저장 위치 | Cloud Storage 객체의 Object Context |
이 수치는 Google이 제시한 가격 조건을 기준으로 한다.
실제 모든 종류의 모델 호출과 파일 처리에 동일한 가격이 적용된다는 의미는 아니다.
또한 다른 클라우드 서비스 대비 75% 저렴하다는 주장은 Google의 자체 비교다.
실제 비용은 사용하는 모델과 파일 수, 저장·접근 방식에 따라 달라질 수 있다.
기업의 실제 활용 사례
Google은 L'Oréal과 Hyperscience 등의 사례도 공개했다.
L'Oréal은 대량의 광고·마케팅 이미지를 관리하는 과정에서 Object Enrichments를 활용해 자료에 라벨을 부여하는 작업을 기존보다 100배 빠르게 처리할 수 있었다고 밝혔다.
Hyperscience는 자체 문서 분류 과정에서 정확도를 50% 이상 개선하고 분류 추론 비용을 2~3배 줄였다고 설명했다.
하지만 이 수치는 각 기업이 공개한 자체 운영 결과다.
다른 회사의 파일과 데이터셋에서도 같은 수준의 개선이 발생한다는 의미는 아니다.
또한 문서 분류 정확도가 50% 개선됐다는 사실과 정확도가 50%포인트 증가했다는 사실은 다르다.
Google은 이번 서비스를 통해 개발자가 별도의 대규모 데이터 처리 파이프라인을 직접 운영하는 부담을 줄일 수 있다고 설명한다.
다만 실제 기업에서는 메타데이터를 누가 읽고 수정할 수 있는지도 중요하다.
Google은 Cloud Storage의 IAM(Identity and Access Management)을 이용해 해당 정보의 접근권한을 관리하도록 지원한다.
IAM은 사용자와 프로그램이 실제 클라우드 자원에 접근할 수 있는 권한을 관리하는 체계다.
이번 발표는 기업용 AI의 성능을 높이는 방법이 모델을 더 크게 만드는 것뿐 아니라 기존에 보유한 수많은 파일을 AI가 정확하게 검색하고 활용할 수 있도록 의미 정보를 정리하는 것에도 있다는 점을 보여준다.
PolyAI·AWS, 실시간 음성 추론 모델 ‘Dialog-RSN-1’을 SageMaker에 제공…기업 AWS 계정 안에서 고객 통화 처리
- 발표일: 2026-11-19 — 정확한 게시 시각 미확인
- 적용 범위: 실시간 음성 AI, 고객지원 에이전트, Amazon SageMaker JumpStart, AWS Marketplace, 기업 데이터 보안
- 원문: AWS — PolyAI Dialog-RSN-1 is now on Amazon SageMaker JumpStart
AWS가 PolyAI의 실시간 대화 모델 Dialog-RSN-1을 Amazon SageMaker JumpStart와 AWS Marketplace를 통해 배포할 수 있도록 제공하기 시작했다.
이번 발표는 Dialog-RSN-1 모델 자체의 최초 출시가 아니다.
기존에 PolyAI가 제공하던 실시간 음성 모델을 고객 기업의 AWS 계정 안에 직접 배포할 수 있게 됐다는 점이 새로운 변화다.
이는 민감한 고객 통화 데이터를 다루는 기업에서 중요한 차이를 만들 수 있다.
일반적인 음성 AI의 처리 과정
음성 AI 서비스는 보통 여러 단계를 연결한다.
먼저 사용자의 음성을 텍스트로 변환한다.
이를 ASR(Automatic Speech Recognition, 자동 음성인식)이라고 한다.
이후 언어모델이 해당 텍스트를 분석하고 답변을 작성한다.
마지막으로 TTS 모델이 답변을 음성으로 변환한다.
TTS(Text-to-Speech)는 텍스트를 사람이 들을 수 있는 음성으로 변환하는 기술이다.
이런 방식에는 장점이 있지만 실제 대화에서 지연이 발생할 수 있다.
또한 음성을 텍스트로 변환하는 과정에서 말하는 속도와 망설임, 감정적인 억양 같은 정보가 일부 사라질 가능성이 있다.
Dialog-RSN-1은 이런 문제를 줄이기 위해 음성 입력을 직접 처리하도록 설계됐다.
실시간 음성을 직접 이해하는 모델
Dialog-RSN-1은 사용자의 음성을 직접 분석한다.
예를 들어 사용자가 설명을 하다가 말을 멈추거나 다른 내용을 추가할 수 있다.
이 경우 AI는 언제 답변을 시작해야 하는지 결정해야 한다.
또한 사용자가 AI의 답변 중간에 새로운 말을 하면 이를 처리해야 한다.
이를 Barge-in(발화 중 끼어들기)이라고 한다.
실제 고객지원 전화에서는 이런 행동이 자연스럽게 발생한다.
Dialog-RSN-1은 음성의 내용뿐 아니라 발화 시점과 망설임, 대화의 흐름을 함께 처리하도록 설계됐다.
PolyAI는 자체 평가에서 실시간 음성 대화의 이해와 응답 품질이 높았다고 설명한다.
하지만 이 결과는 PolyAI가 개발한 평가체계를 포함한다.
실제 모든 언어와 고객지원 업무에서 같은 성능을 제공한다는 의미는 아니다.
특히 발표 시점의 모델은 영어만 지원한다.
기업의 AWS 계정 안에 직접 배포
이번 변화의 핵심은 실행 위치다.
기업은 SageMaker JumpStart에서 모델을 선택하고 자신의 AWS 계정에 실제 추론 엔드포인트를 생성할 수 있다.
추론 엔드포인트(Inference Endpoint)는 이미 학습된 모델이 실제 요청을 받아 처리하도록 실행하는 서비스 주소다.
이 엔드포인트는 기업의 VPC와 IAM 정책을 사용한다.
VPC(Virtual Private Cloud)는 클라우드 안에서 기업이 네트워크의 범위와 접근권한을 관리할 수 있도록 만든 가상 네트워크다.
이를 통해 고객 통화 음성과 전사 자료를 기업이 관리하는 클라우드 환경 안에서 처리할 수 있다.
다만 기업의 계정 안에서 실행한다는 사실만으로 모든 개인정보 보호 규정을 자동으로 충족하는 것은 아니다.
실제 데이터 보관 위치와 로그, 접근권한과 관련 규정을 별도로 확인해야 한다.
기존 실시간 음성 클라이언트와 연동
Dialog-RSN-1은 OpenAI Realtime 프로토콜과 호환되는 인터페이스를 제공한다.
따라서 해당 프로토콜을 사용하는 일부 기존 프로그램에서는 연결 주소와 설정을 변경해 사용할 수 있다.
다만 실제 통신 시스템과 전화 연결, 업무 규칙은 기업이 별도로 구현하거나 연결해야 한다.
이번 모델이 모든 종류의 고객지원 업무를 별도 설정 없이 자동으로 처리한다는 의미는 아니다.
기술적 제한도 존재한다.
| 항목 | 조건 |
|---|---|
| 지원 언어 | 영어 |
| 입력 음성 | 16비트 PCM, 16kHz 또는 24kHz |
| 최대 연결 길이 | 30분 |
| 배포 환경 | 고객의 AWS 계정 내 SageMaker 엔드포인트 |
| 주요 인터페이스 | OpenAI Realtime 호환 |
AWS는 지연시간과 처리량, 비용에 따라 선택할 수 있는 배포 프로필도 제공한다.
예를 들어 실제 전화 응답을 빠르게 처리하려면 지연시간 중심 프로필을 선택할 수 있다.
반면 통화량이 매우 많은 서비스에서는 전체 처리량이 더 중요할 수 있다.
이번 발표는 음성 AI가 단순한 대화 데모에서 벗어나 기업의 실제 네트워크와 보안 정책 안에서 배포하고 운영할 수 있는 제품으로 확대되고 있음을 보여준다.
3️⃣ 개발 도구·에이전트
Google, Gemini API에 ‘Tool Retrieval’ 도입…수백 개 도구의 전체 명세를 매번 전달하지 않고 필요한 순간에 불러오기
- 발표일: 2026-11-19 — 정확한 게시 시각 미확인
- 적용 범위: Gemini API, AI 에이전트, 함수 호출, MCP, 프롬프트 캐시, 입력 토큰 최적화, 도구 검색
- 원문: Google — Introducing Tool Retrieval in the Gemini API
Google이 Gemini API에 Tool Retrieval 기능을 프리뷰로 추가했다.
이번 발표는 에이전트가 새로운 종류의 도구를 하나 더 사용할 수 있도록 만든 작은 기능 변경이 아니다.
수십 개에서 수백 개의 외부 도구를 사용하는 에이전트에서 도구의 전체 설명과 입력 형식을 매번 모델에 전달해야 하는 문제를 해결하는 새로운 도구 호출 구조다.
도구가 많아질수록 입력 비용이 증가
AI 에이전트는 외부 프로그램의 함수를 호출할 수 있다.
이를 Function Calling(함수 호출)이라고 한다.
예를 들어 다음 기능을 가진 고객지원 에이전트를 생각할 수 있다.
- 주문 정보 조회
- 배송 상태 확인
- 환불 처리
- 고객 계정 수정
- 상담 기록 저장
이런 함수를 사용하려면 모델은 각 함수의 이름과 설명, 필요한 입력값을 알아야 한다.
예를 들어 환불 함수에는 주문번호와 환불 금액이 필요할 수 있다.
기존에는 이런 정보를 JSON Schema 형태로 모델에 전달할 수 있었다.
JSON Schema는 데이터의 구조와 필수값, 허용되는 데이터 유형 등을 정의하는 규칙이다.
문제는 도구가 많아질수록 전달해야 하는 설명의 양이 증가한다는 것이다.
예를 들어 도구가 100개 존재하지만 실제로는 한 번의 요청에서 두 개만 사용하는 상황이 있을 수 있다.
그런데 100개의 상세 명세를 모두 전달하면 불필요한 입력 토큰이 발생한다.
필요한 도구의 상세 명세만 요청
Tool Retrieval은 이런 과정을 두 단계로 분리한다.
먼저 모델에는 도구의 이름과 간단한 설명을 제공한다.
하지만 상세한 입력 스키마는 처음부터 전달하지 않는다.
이후 모델이 특정한 도구를 사용해야 한다고 판단하면 해당 도구의 전체 명세를 불러온다.
Google은 이를 다음 설정으로 제공한다.
tool_search: 필요한 도구를 검색하는 기능defer_loading: true: 전체 도구 명세의 로딩을 미루는 설정
예를 들어 사용자가 특정한 주문의 환불을 요청했다고 가정해 보자.
모델은 여러 도구 가운데 issue_refund가 관련된 함수라고 판단할 수 있다.
이후 해당 함수의 입력 스키마를 불러온다.
그다음 주문번호와 금액을 전달하는 함수 호출을 생성한다.
중요한 점은 서버 측 Tool Retrieval에서는 이 과정이 하나의 Gemini API 요청 안에서 처리된다는 것이다.
개발자가 별도의 도구 검색 서버를 직접 구축할 필요를 줄일 수 있다.
MCP 서버의 도구도 동적으로 불러오기
이번 기능은 MCP(Model Context Protocol)와도 연결된다.
MCP는 AI 에이전트가 외부 데이터와 프로그램을 호출하도록 지원하는 통신 규격이다.
예를 들어 하나의 MCP 서버가 50개의 도구를 제공할 수 있다.
기존에는 해당 도구의 전체 명세를 모두 모델에 전달해야 할 수 있었다.
Tool Retrieval을 적용하면 MCP 서버에서 제공하는 도구도 필요한 순간에 불러올 수 있다.
이런 방식은 여러 업무 프로그램을 연결하는 기업용 에이전트에서 유용할 가능성이 있다.
하지만 현재 작업에 필요한 도구를 올바르게 찾지 못하면 실제 작업도 실패할 수 있다.
따라서 도구의 이름과 설명을 명확하게 작성하고 실제 선택 결과를 평가해야 한다.
개발자가 자체 검색 시스템을 연결하는 방법도 제공
Google은 서버 측 검색뿐 아니라 Client-Side Retrieval도 지원한다.
예를 들어 기업이 사용자별로 사용할 수 있는 도구를 제한하는 자체 시스템을 운영할 수 있다.
이 경우 외부 도구 검색 결과를 회사의 권한 관리 시스템과 연결해야 할 수 있다.
개발자는 직접 도구 검색 함수를 구현하고 필요한 도구의 명세를 반환할 수 있다.
다만 이 경우에는 도구를 검색하기 위한 별도의 API 왕복이 발생한다.
따라서 항상 서버 측 검색과 같은 지연시간을 제공한다고 볼 수는 없다.
프롬프트 캐시와 비용
이번 기능의 중요한 장점은 프롬프트 캐시와의 호환성이다.
프롬프트 캐싱(Prompt Caching)은 이전에 계산한 입력의 일부를 저장해 다음 요청에서 재사용하는 기술이다.
도구의 상세 명세를 필요할 때만 추가하면 처음 전달하는 공통 입력을 안정적으로 유지하기 쉬워진다.
이렇게 하면 이전 계산 결과를 재사용할 가능성이 높아진다.
Google은 Tool Retrieval 자체에 별도의 요금을 부과하지 않는다고 밝혔다.
하지만 실제 모델의 입력과 출력 토큰 요금은 계속 발생한다.
또한 검색 기능을 사용하는 데 필요한 고정적인 입력도 추가된다.
따라서 실제 사용에서 비용이 얼마나 줄어드는지는 도구의 수와 상세 명세의 크기, 실제 호출 빈도에 따라 달라진다.
이번 기능은 Gemini 3.6 이상 모델의 Interactions API에서 사용할 수 있다.
Google은 Gemini 4 계열 모델도 지원한다고 밝혔다.
이번 발표는 AI 에이전트의 규모가 커질수록 모든 도구를 한 번에 모델에 알려주는 방식보다 실제 필요한 도구를 검색해 사용하는 구조가 중요해지고 있음을 보여준다.
Google, ‘Genie 4’ 개발자 API 공개…실시간 인터랙티브 세계 생성 기능을 앱과 시뮬레이션에 통합
- 발표일: 2026-11-19 — 정확한 게시 시각 미확인
- 적용 범위: Gemini API, Genie 4, 월드 모델, 게임·콘텐츠 제작, 실시간 멀티모달 AI, 로봇 시뮬레이션
- 원문: Google — Genie 4 is now available on the Gemini API
Google이 Genie 4를 Gemini API와 Google AI Studio에서 사용할 수 있도록 제공하기 시작했다.
Genie 4는 이미 11월 18일 사용자용 Project Genie를 통해 소개된 모델이다.
이번 발표의 새로운 내용은 모델 자체의 최초 공개가 아니라 외부 개발자가 Genie 4의 생성 기능을 자신의 애플리케이션과 실험 환경에 연결할 수 있게 됐다는 점이다.
월드 모델을 프로그램에서 직접 호출
월드 모델(World Model)은 현재 환경의 상태와 사용자의 행동을 바탕으로 다음에 어떤 상태가 나타날지 예측하거나 생성하는 모델이다.
예를 들어 사용자가 가상의 숲에서 앞으로 이동한다고 가정해 보자.
모델은 새로운 장면을 생성해야 한다.
또한 사용자가 카메라를 돌리면 이전에 등장한 물체의 위치와 형태를 일관되게 유지하려고 해야 한다.
일반적인 영상 생성과 달리 실제 사용자의 입력에 반응한다는 점이 중요하다.
이번 API에서는 다음 입력을 지원한다.
| 입력 | 기능 |
|---|---|
| 텍스트 프롬프트 | 새로운 환경 생성 |
| 참고 이미지 | 특정한 이미지의 분위기나 구조 반영 |
| 키보드 조작 | 생성된 환경 안에서 실시간 이동 |
| 실행 중 텍스트 지시 | 날씨·조명·물체·이벤트 변경 |
출력은 최대 720p 해상도, 초당 24프레임의 연속 영상이다.
또한 배경음과 효과음, 등장인물의 대화 같은 음성도 함께 생성한다.
멀티모달 AI(Multimodal AI)는 텍스트와 이미지, 음성처럼 서로 다른 형태의 정보를 함께 처리하거나 생성하는 기술이다.
실제 활용 범위
Google은 다음과 같은 활용 분야를 제시했다.
- 상호작용이 가능한 게임 시제품
- 가상 공간과 디자인의 시각화
- 로봇과 AI 에이전트의 행동 실험
- 교육·체험용 인터랙티브 환경
예를 들어 개발자가 새로운 공간의 구조를 시험하려 할 수 있다.
API를 이용해 가상 환경을 생성한 뒤 사용자의 이동에 따라 장면이 어떻게 변화하는지 확인할 수 있다.
하지만 모델이 생성한 환경을 실제 물리 엔진의 정확한 시뮬레이션과 동일하게 취급해서는 안 된다.
예를 들어 물체의 충돌과 질량, 마찰력 등이 항상 실제 물리법칙에 맞게 계산된다는 보장은 없다.
특히 로봇 연구에 활용한다면 실제 하드웨어와의 차이를 별도로 검증해야 한다.
SynthID 워터마크 적용
Google은 Genie 4의 모든 출력에 SynthID를 적용한다고 밝혔다.
SynthID는 AI가 생성한 콘텐츠에 식별 신호를 삽입하는 기술이다.
일반적인 사용자에게는 눈에 보이지 않지만 관련 검사 기술을 이용해 생성형 AI 출력 여부를 확인하는 데 활용할 수 있다.
다만 워터마크가 존재한다는 사실만으로 모든 종류의 편집과 변환 이후에도 식별 신호가 반드시 유지된다는 의미는 아니다.
실제 검출 능력은 콘텐츠의 처리 방식에 따라 달라질 수 있다.
이번 발표는 생성형 월드 모델이 연구 시연과 소비자용 체험 도구에서 벗어나 외부 개발자가 자신의 실제 소프트웨어에 연결할 수 있는 개발 플랫폼으로 확대되고 있음을 보여준다.
AWS, SageMaker HyperPod에 GPU 장애 원인 분석 기능 추가…학습 중인 GPU·네트워크·서버 상태를 한 화면에서 확인
- 발표일: 2026-11-19 — 정확한 게시 시각 미확인
- 적용 범위: Amazon SageMaker HyperPod, 분산 학습, GPU, Kubernetes, Slurm, CloudWatch, AI 인프라 관측성
- 원문: AWS — Introducing enhanced infrastructure observability in Amazon SageMaker HyperPod
AWS가 대규모 AI 학습 인프라를 위한 Enhanced Observability(향상된 관측성) 기능을 공개했다.
이번 기능은 GPU의 사용률을 보여주는 대시보드만 추가한 것이 아니다.
실제 학습 작업이 느려졌을 때 GPU 자체의 문제인지, 네트워크의 병목인지, 서버의 자원 부족인지 구분하도록 여러 종류의 실행 정보를 연결한 진단 기능이다.
분산 학습에서는 하나의 GPU도 병목이 될 수 있다
대형 AI 모델을 학습할 때는 여러 GPU가 하나의 작업을 함께 수행할 수 있다.
이를 분산 학습(Distributed Training)이라고 한다.
예를 들어 GPU 1,000개가 서로 다른 데이터를 처리한다고 가정해 보자.
각 GPU는 계산 결과를 다른 GPU와 공유해야 할 수 있다.
그런데 GPU 하나가 열 때문에 작동 속도를 낮추면 다른 GPU도 해당 작업의 완료를 기다릴 수 있다.
이를 Thermal Throttling(열에 의한 성능 제한)이라고 한다.
반면 GPU 자체에는 문제가 없지만 서버 사이의 네트워크가 느려질 수도 있다.
이 경우 원인은 실제 계산이 아니라 데이터 이동에 있다.
따라서 학습이 느려졌다는 사실만 확인하는 것보다 어느 구성요소에 문제가 발생했는지 판단해야 한다.
GPU의 상태를 서로 비교해 이상 징후 확인
AWS는 CloudWatch의 DetectGroupOutliers API를 이용해 GPU 사이의 차이를 분석한다.
Outlier(이상값)는 비슷한 조건에서 측정한 다른 값과 비교했을 때 크게 벗어난 값을 의미한다.
예를 들어 같은 학습 작업을 수행하는 GPU 100개가 있다고 가정해 보자.
99개의 GPU는 높은 사용률을 유지한다.
하지만 하나의 GPU만 실제 사용률이 매우 낮을 수 있다.
이 경우 해당 GPU나 연결된 시스템에 문제가 존재할 가능성이 있다.
AWS는 다음 지표를 비교한다.
| 지표 | 확인할 문제 |
|---|---|
| GPU 사용률 | 특정 장치의 계산 저하 |
| 메모리 사용량 | 메모리 부족이나 비정상적인 사용 |
| GPU 온도 | 과열 여부 |
| 전력 사용량 | 전력 공급과 성능 제한 |
| GPU 클록 | 실제 계산 속도 제한 |
| 네트워크 처리량 | GPU 사이 데이터 전달 문제 |
또한 실제 하드웨어 오류와 네트워크 패킷 손실, 전송 재시도와 과열 패턴을 탐지하는 정적 규칙도 제공한다.
기본 모니터링과 고급 모니터링 분리
AWS는 이번 기능을 두 종류로 구분했다.
첫 번째는 기본 지표다.
기본 지표에는 서버와 CPU, 메모리와 GPU의 상태가 포함된다.
기본적으로 30초 간격으로 수집한다.
AWS에 따르면 기본 수집 기능에는 약 1~2%의 CPU 오버헤드와 250~300MB의 메모리 사용량이 발생한다.
오버헤드(Overhead)는 실제 주요 작업 이외에 관리와 모니터링을 위해 추가로 사용하는 자원을 의미한다.
두 번째는 고급 지표다.
고급 지표에는 GPU의 상세한 내부 성능과 네트워크 오류, 가속기의 실행 상태가 포함된다.
AWS는 고급 지표가 실제 저장·처리 비용을 증가시킬 수 있으므로 필요한 경우에만 활성화하도록 설계했다.
따라서 모든 클러스터에서 모든 지표를 무조건 수집하는 것이 가장 효율적인 선택은 아니다.
EKS와 Slurm 모두 지원
이번 기능은 두 종류의 주요 클러스터 실행 환경을 지원한다.
| 환경 | 제공 형태 |
|---|---|
| Amazon EKS | Kubernetes Add-on |
| Slurm | HyperPod Cluster Extension |
Kubernetes는 여러 서버에 프로그램을 배포하고 실행 상태를 관리하는 플랫폼이다.
Slurm은 대규모 컴퓨팅 클러스터에서 작업을 배치하고 계산 자원을 관리하는 시스템이다.
이번 기능은 실제 클러스터의 실행 방식에 맞게 설치할 수 있다.
또한 CloudWatch와 Amazon Managed Service for Prometheus를 모니터링 저장소로 선택할 수 있다.
Prometheus는 서버와 애플리케이션의 지표를 수집하고 저장하는 오픈소스 모니터링 시스템이다.
AWS는 CloudWatch를 새로운 기본값으로 설정했다.
다만 실제 모니터링 저장 비용과 데이터의 보관 기간은 사용 설정에 따라 달라진다.
이번 발표는 AI 학습 인프라의 운영에서 GPU의 수와 이론적인 계산 성능뿐 아니라 실제 학습을 방해하는 병목을 얼마나 빠르게 찾아낼 수 있는가가 중요해지고 있음을 보여준다.
4️⃣ 산업·정책·안전
독일 연방정보보안청, 사이버 위협을 ‘긴장 상태’에서 ‘긴장~위기 상태’로 상향…취약점 악용까지 평균 25일로 단축
- 발표일: 2026-11-19 — 정확한 게시 시각 미확인
- 적용 범위: AI 사이버보안, 국가 기반시설, 소프트웨어 취약점, AI 에이전트, 유럽 보안정책, 중소기업 보안
- 원문: 독일 연방정보보안청 — The State of IT Security in Germany in 2026
- 관련 원문: 독일 연방정보보안청 — 2026년 보안 현황 요약 및 Cyber Index
독일 연방정보보안청 BSI(Bundesamt für Sicherheit in der Informationstechnik)가 2026년 국가 사이버보안 현황 보고서를 발표했다.
이번 보고서에서 독일의 보안 위협 수준은 기존의 ‘긴장 상태’에서 ‘긴장~위기 상태’로 상향됐다.
BSI는 보안 취약점을 이용한 공격의 증가와 함께 AI 기술이 공격의 속도와 규모를 높일 가능성을 중요한 요인으로 제시했다.
특히 기존에는 전문적인 보안 지식이 필요했던 공격 준비 과정의 일부를 AI 에이전트가 자동화할 수 있게 됐다는 점을 우려했다.
분석 기간과 발표일을 구분해야 한다
이번 보고서의 조사 기간은 다음과 같다.
2025년 7월 1일 ~ 2026년 6월 30일
따라서 보고서가 11월 19일 발표됐다는 사실과 보고서에 등장하는 모든 사건이 11월에 발생했다는 사실은 다르다.
이번 발표는 과거 1년 동안 관찰된 보안 위협과 대응 상황을 종합한 공식 연례 보고서다.
BSI는 여러 종류의 보안 위험을 비교하기 위해 BSI Cyber Index라는 새로운 지표도 도입했다.
이 지표는 실제 공격 대상이 될 수 있는 시스템의 범위와 공격 활동, 피해 규모 등을 종합해 나타낸다.
국가 사이버 위협 지표 50% 증가
BSI가 공개한 대표적인 수치는 다음과 같다.
| 지표 | 이번 보고서의 결과 |
|---|---|
| BSI Cyber Index 평균 | 170점 |
| 이전 조사 기간 대비 | 50% 증가 |
| 취약점 악용 공격 | 48% 증가 |
| 취약점 탐색 활동 | 57% 증가 |
| 신규 취약점 수 | 35% 증가 |
| 하루 평균 신규 취약점 | 약 160개 |
Cyber Index의 기준은 2024년을 100으로 설정한 것이다.
따라서 170점은 실제 공격 사건이 170건 발생했다는 의미가 아니다.
여러 종류의 위험을 종합한 표준화된 지표다.
또한 모든 공격 증가가 AI 때문에 발생했다고 해석해서는 안 된다.
실제 보안 위협의 변화에는 인터넷에 연결된 기기의 증가와 기존 소프트웨어의 취약점, 공격자의 조직화 등 여러 요인이 영향을 준다.
BSI는 이런 위험을 AI가 더 빠르게 확대할 가능성이 있다고 평가했다.
취약점 공개 이후 실제 악용까지 걸리는 시간 감소
이번 보고서에서 특히 중요한 수치는 Time-to-Exploit이다.
Time-to-Exploit는 소프트웨어 취약점이 공개된 이후 실제 공격에 악용되기까지 걸리는 시간을 의미한다.
예를 들어 특정한 웹 프레임워크에서 보안 문제가 발견됐다고 가정해 보자.
개발사는 수정 버전을 공개할 수 있다.
하지만 실제 서버 운영자가 해당 버전을 설치하기 전에 공격자가 취약점을 악용할 수 있다.
이 경우 수정 버전의 존재 여부보다 실제 서버에 얼마나 빨리 적용하는지가 중요하다.
BSI가 공개한 결과는 다음과 같다.
| 조사 기간 | 취약점 공개 후 악용까지 걸린 평균 시간 |
|---|---|
| 이전 보고 기간 | 53일 |
| 이번 보고 기간 | 25일 |
| 2026년 2분기 | 8일 |
2026년 2분기에는 평균 8일까지 감소했다.
이는 이전 보고 기간의 53일과 비교해 약 85% 짧아진 수준이다.
다만 이 수치는 관찰된 취약점과 악용 사례를 바탕으로 계산한 평균이다.
모든 보안 취약점이 공개된 뒤 정확히 8일 후에 공격받는다는 의미는 아니다.
일부 취약점은 공개 당일에 악용될 수도 있다.
반면 실제 공격 사례가 관찰되지 않는 취약점도 존재할 수 있다.
공격자는 이메일보다 외부 시스템의 취약점을 직접 탐색
BSI는 이메일을 통해 전달되는 새로운 악성코드의 종류는 감소하는 반면 외부에서 접근 가능한 시스템의 취약점을 공격하는 활동은 증가했다고 설명했다.
공격 표면(Attack Surface)은 외부 공격자가 접근하거나 악용할 수 있는 시스템의 영역을 의미한다.
예를 들어 다음 시스템이 공격 표면에 포함될 수 있다.
- 외부에 공개된 웹서버
- 원격 접속 서비스
- 오래된 네트워크 장비
- 취약한 API
- 인터넷에 연결된 IoT 기기
IoT(Internet of Things, 사물인터넷)는 인터넷에 연결되는 가전제품과 센서, 산업용 장치 등을 의미한다.
AI 에이전트는 이런 시스템을 대량으로 조사하고 취약점 후보를 분석하는 과정을 지원할 수 있다.
다만 취약점을 찾는 데 AI가 사용됐다는 사실만으로 공격이 반드시 성공한다는 의미는 아니다.
실제 대상 시스템의 설정과 추가적인 보안조치에 따라 공격 가능성이 달라진다.
중소기업의 보안 격차
BSI는 중소기업의 보안 대응이 특히 부족하다고 평가했다.
보고서에 따르면 신고된 랜섬웨어 피해 사례의 약 90%가 중소기업과 관련돼 있었다.
랜섬웨어(Ransomware)는 시스템이나 파일의 사용을 제한한 뒤 복구를 대가로 금전을 요구하는 악성코드 또는 공격 방식이다.
또한 실제 보안 진단에 참여한 기업들은 평균적으로 기본적인 보안 요구사항의 약 55%만 충족했다.
이는 기업이 스스로 평가한 보안 수준과 실제 점검 결과 사이에 차이가 존재할 수 있다는 점을 보여준다.
다만 이러한 수치는 BSI에 신고되거나 평가에 참여한 기업을 기준으로 한다.
독일의 모든 기업에 대한 완전한 전수조사 결과는 아니다.
이번 보고서는 AI가 사이버 공격의 속도를 높일 수 있는 상황에서 보안 패치의 신속한 적용과 실제 공격 표면의 관리, 자동화된 취약점 점검이 중요해지고 있음을 보여준다.
특히 공격자가 AI를 활용하는 상황에서는 방어 조직도 새로운 자동화 기술을 활용할 필요가 있지만, 실제 보안의 기본 원칙을 대신할 수 있는 것은 아니라는 점을 강조한다.
미국 하원의원 12명, 법무부의 OpenAI 저작권 소송 의견서 제출 과정 문제 제기…AI 학습의 공정이용 논쟁 확대
- 보도일: 2026-11-20 04:34 KST
- 사건 발생일: 2026-11-19(미국 현지 날짜)
- 적용 범위: AI 학습 데이터, 저작권, 미국 공정이용 법리, 생성형 AI 기업의 책임, 정부 정책 절차
- 원문 보도: Reuters — Democratic lawmakers probe DOJ filing in OpenAI copyright case
미국 민주당 소속 하원의원 12명이 법무부에 OpenAI 관련 저작권 소송에 제출한 정부 의견서의 작성과 협의 과정을 설명해 달라고 요청했다.
이번 사건은 새로운 AI 저작권 법률이 제정됐다는 의미가 아니다.
기존에 진행 중인 저작권 소송에서 미국 정부가 어떤 입장을 취해야 하는지, 해당 입장을 작성하면서 관련 전문기관과 충분히 협의했는지 문제를 제기한 사건이다.
이번 소식은 Reuters가 보도한 내용이다. 의원들이 제출한 서한의 최종 원문 전문은 별도로 확인하지 못했으므로, 구체적인 요구사항은 Reuters에서 확인된 범위로 한정한다.
AI 모델 학습과 저작권의 관계
대형 언어모델은 많은 텍스트를 학습한다.
여기에는 웹페이지와 책, 신문기사 등의 자료가 포함될 수 있다.
문제는 이러한 자료 가운데 저작권으로 보호받는 콘텐츠가 존재한다는 점이다.
예를 들어 언론사가 작성한 기사가 있다고 가정해 보자.
AI 개발기업이 해당 기사를 학습 데이터에 포함했다면 별도의 허락이 필요한지에 관한 법적 문제가 발생할 수 있다.
미국에서는 이를 Fair Use(공정이용)라는 법리와 연결해 검토한다.
공정이용은 저작권으로 보호되는 자료를 특정한 조건에서 권리자의 허락 없이 이용할 수 있도록 인정하는 법적 원칙이다.
하지만 모든 AI 학습이 자동으로 공정이용에 해당하는 것은 아니다.
실제 사용 목적과 원본 저작물의 성격, 사용된 분량과 시장에 미치는 영향 등을 고려해야 한다.
법무부가 OpenAI에 유리한 의견을 제출한 과정
Reuters에 따르면 미국 법무부는 2026년 9월 OpenAI와 관련된 저작권 소송에서 AI 모델의 학습이 일반적으로 공정이용에 해당할 수 있다는 취지의 의견서를 제출했다.
이번에 문제를 제기한 의원들은 법무부가 해당 의견을 작성하면서 미국 저작권청과 특허상표청에 충분히 협의하지 않았다고 주장했다.
또한 외부 기업이나 조직이 법무부의 의견서 작성에 어떤 영향을 주었는지 확인해 달라고 요청했다.
여기서 중요한 점은 이러한 주장이 아직 법률적 위법행위로 확정된 것은 아니라는 사실이다.
법무부가 실제로 어떤 내부 검토 절차를 진행했는지는 별도의 확인이 필요하다.
또한 특정한 정부 의견서가 존재한다는 사실만으로 법원이 해당 입장을 받아들이도록 강제되는 것은 아니다.
AI 학습의 공정이용 여부는 여전히 법원이 판단
이번 사건의 배경에는 2023년 The New York Times가 OpenAI와 Microsoft를 상대로 제기한 저작권 소송이 있다.
언론사는 자신의 기사가 허락 없이 학습에 사용됐다고 주장하고 있다.
반면 AI 개발기업은 모델 학습의 기술적 성격과 공정이용에 관한 법적 근거를 제시하고 있다.
이런 사건에서는 서로 다른 주장을 구분해야 한다.
| 쟁점 | 주요 질문 |
|---|---|
| 학습 데이터 | 저작물을 어떤 방법으로 수집했는가? |
| 사용 목적 | 원본 저작물을 대체하려는 목적이 있는가? |
| 모델 출력 | 원본 콘텐츠를 얼마나 재현할 수 있는가? |
| 시장 영향 | 저작물의 기존 시장에 어떤 영향을 주는가? |
| 정부 역할 | 행정부가 어떤 법적 입장을 제시해야 하는가? |
이번 의원들의 문제 제기는 마지막 항목과 특히 관련이 깊다.
정부가 AI 학습의 공정이용 문제에 관해 의견을 제출할 때 전문기관과 이해관계자의 검토를 얼마나 거쳐야 하는지에 관한 것이다.
다만 이번 사건에서 AI 학습의 공정이용 여부에 대한 법원의 최종 판단이 새롭게 내려진 것은 아니다.
이번 보도는 AI 저작권 논쟁이 개별 기업과 저작권자 사이의 소송을 넘어 정부기관의 정책 수립 절차와 이해관계의 투명성에 관한 문제로도 확대되고 있음을 보여준다.
📚 추천 글
How OpenAI’s Performance Factory keeps ChatGPT fast
- 저자: Okay Zed, Cyrus Forbes
- 발행: OpenAI Engineering
- 게시일: 2026-11-19
- 원문: OpenAI — How OpenAI’s Performance Factory keeps ChatGPT fast
AI 코딩 에이전트를 실제 서비스의 운영 업무에 적용하려면 어떤 구조가 필요할까?
이번 글은 OpenAI가 ChatGPT의 응답 지연과 성능 저하를 자동으로 조사하는 Performance Factory의 실제 구현 과정을 설명한다.
특히 단순히 AI가 오류를 찾을 수 있다는 수준에서 벗어나 장애 감지부터 원인 분석, 코드 수정 제안과 사람의 검토, 실제 배포 이후 성능 복구 확인까지 하나의 장기 실행 작업으로 연결한 과정을 자세하게 공개했다.
성능 저하를 조사하는 기존의 방법
실제 서비스에서는 새로운 코드가 배포된 뒤 응답속도가 느려질 수 있다.
이를 성능 회귀(Performance Regression)라고 한다.
이전보다 프로그램의 성능이 나빠지는 현상이다.
예를 들어 기존에는 사용자의 질문에 첫 번째 답변이 0.5초 만에 시작됐다고 가정해 보자.
그런데 새로운 코드가 배포된 뒤 1.5초가 필요해질 수 있다.
이 경우 담당자는 어느 변경사항 때문에 문제가 발생했는지 조사해야 한다.
실제 업무에서는 여러 종류의 자료가 필요하다.
예를 들어 다음 자료를 함께 확인할 수 있다.
- 응답시간 지표
- 서버 로그
- CPU 사용량
- 메모리 할당 기록
- 최근 배포 변경사항
- 관련 소스코드
문제는 이런 자료가 여러 시스템에 분산돼 있을 수 있다는 것이다.
또한 실제 원인을 찾으려면 해당 서비스의 구조에 관한 전문지식이 필요할 수 있다.
OpenAI는 이런 과정을 자동화하기 위해 Codex를 활용했다.
30개 이상의 기존 분석 도구를 에이전트에 연결
OpenAI는 이미 성능 분석에 사용하는 30개 이상의 도구를 보유하고 있었다.
예를 들어 CPU 프로파일러와 메모리 분석 도구, 요청 추적 시스템 등이 포함된다.
프로파일러(Profiler)는 프로그램이 실제 실행시간과 컴퓨팅 자원을 어느 부분에 사용하고 있는지 분석하는 도구다.
처음에는 엔지니어가 Codex에게 특정한 도구를 사용하도록 직접 지시했다.
하지만 이런 방식에서는 사람이 어떤 도구를 사용해야 하는지 계속 판단해야 했다.
OpenAI는 이를 해결하기 위해 perf-forensics라는 Agent Skill을 만들었다.
Agent Skill은 에이전트에게 특정한 업무를 수행하는 절차와 사용 가능한 도구, 관련 규칙을 제공하는 기능이다.
예를 들어 성능 저하가 언제 시작됐는지 확인하도록 지시할 수 있다.
이후 영향을 받은 요청과 관련된 배포 변경사항을 찾도록 할 수 있다.
또한 필요한 경우 CPU와 메모리 프로파일링을 수행하도록 만들 수 있다.
이렇게 하면 엔지니어가 매번 같은 조사 절차를 설명할 필요를 줄일 수 있다.
Performance Factory의 네 가지 구성요소
OpenAI는 실제 운영 시스템을 네 가지 주요 부분으로 구성했다.
| 구성요소 | 역할 |
|---|---|
| Task Service | 실제 작업과 현재 진행 상태 관리 |
| Dispatch Loop | 실행할 작업을 에이전트에 배정 |
| Codex Cloud | 실제 조사와 코드 변경 작업 실행 |
| Subscriptions | 외부 이벤트가 발생하면 작업 재개 |
예를 들어 새로운 성능 경고가 발생했다고 가정해 보자.
Task Service는 새로운 조사 작업을 생성한다.
Dispatch Loop는 해당 작업을 처리할 에이전트를 선택한다.
Codex는 실제 지표와 코드를 분석한다.
이후 수정사항을 제출하면 엔지니어가 검토한다.
여기서 실제 코드 검토와 배포에는 시간이 필요할 수 있다.
따라서 에이전트는 모든 작업을 한 번에 완료할 필요가 없다.
Subscriptions는 GitHub의 코드 검토 댓글이나 배포 완료 같은 이벤트가 발생하면 관련 작업을 다시 시작하도록 만든다.
이런 구조를 이벤트 기반 워크플로(Event-Driven Workflow)라고 한다.
특정한 외부 이벤트가 발생했을 때 다음 작업을 실행하는 방식이다.
코드 변경 이후 실제 성능 복구까지 확인
이번 시스템의 중요한 특징은 문제의 원인을 찾는 것에서 끝나지 않는다는 점이다.
예를 들어 Codex가 특정한 코드 변경 때문에 응답시간이 증가했다고 판단할 수 있다.
이후 해당 코드를 수정하는 PR을 작성한다.
PR(Pull Request)은 Git 저장소의 변경사항을 기존 코드에 반영하도록 요청하는 절차다.
엔지니어는 실제 수정사항을 검토한다.
필요한 경우 다른 분석 에이전트가 해당 진단의 문제점을 찾는 역할도 수행한다.
이를 Adversarial Review(적대적 검토)라고 한다.
기존 결론을 그대로 받아들이기보다 잘못된 가정과 누락된 근거를 적극적으로 확인하는 검토 방식이다.
수정사항이 승인되고 배포되면 별도의 에이전트가 실제 서비스 지표를 다시 확인한다.
예를 들어 응답시간이 이전 수준으로 돌아왔는지 검사한다.
이렇게 하면 코드가 병합됐다는 사실과 실제 문제가 해결됐다는 사실을 구분할 수 있다.
3개월 동안 1,700건 이상 조사
OpenAI가 공개한 운영 결과는 다음과 같다.
| 항목 | 결과 |
|---|---|
| 운영 기간 | 3개월 이상 |
| 자동 조사 작업 | 1,700건 이상 |
| 원인 규명 사례 | 600건 이상 |
| 하루 평균 자동 조사 | 약 17건 |
이 결과는 실제 운영 시스템에서 수집된 OpenAI의 자체 자료다.
하지만 1,700개 작업이 생성됐다는 사실과 그중 1,700개가 모두 성공적으로 수정됐다는 사실은 다르다.
OpenAI는 600개 이상의 문제에 관해 원인을 규명했다고 설명했다.
또한 전체 작업은 인간 엔지니어의 검토와 승인을 포함한다.
따라서 AI가 모든 서비스 오류를 완전히 독립적으로 해결했다고 해석해서는 안 된다.
반복적인 실패를 시스템 개선에 활용
이번 글에서 흥미로운 부분은 에이전트가 실제로 실패하는 상황도 시스템 개선에 활용한다는 점이다.
예를 들어 특정한 성능 분석 도구가 잘못된 결과를 반환할 수 있다.
또는 필요한 지표가 누락돼 있을 수 있다.
이 경우 에이전트가 단순히 실패했다고 보고하는 대신 어떤 도구나 계측 기능에 문제가 존재하는지 조사하도록 설계할 수 있다.
이런 결과를 바탕으로 실제 분석 도구를 개선하면 이후 비슷한 장애를 더 쉽게 조사할 수 있다.
OpenAI는 이렇게 반복적인 실패를 단순한 예외 처리로만 끝내지 않고 향후 같은 문제가 다시 발생하지 않도록 실행 환경을 개선하는 작업으로 연결하려 한다.
이번 글은 AI 에이전트를 실제 운영업무에 적용할 때 모델의 추론 능력뿐 아니라 작업 상태를 저장하는 시스템과 이벤트 처리, 실제 실행 도구와 인간의 승인 절차를 함께 설계해야 한다는 점을 구체적으로 보여준다.
Build Tool-Calling Parsers in Rust with AI Agents
- 저자: Keiven Chang, Indrajit Maloji Bhosale, Krishnan Prashanth, Zhongdao Ren, Ryan McCormick
- 발행: NVIDIA Technical Blog
- 게시일: 2026-11-19
- 원문: NVIDIA — Build Tool-Calling Parsers in Rust with AI Agents
AI 에이전트가 외부 도구를 호출할 때 실제 모델의 출력을 어떻게 해석해야 할까?
일반적으로는 언어모델이 특정한 함수 이름과 입력값을 생성하면 프로그램이 이를 실행한다고 생각할 수 있다.
하지만 실제 모델이 생성하는 출력은 항상 완전한 JSON이나 정해진 형식으로 제공되는 것은 아니다.
예를 들어 실제 함수 호출의 문법을 나타내는 문자열이 잘못 생성될 수 있다.
또는 출력이 아직 완성되지 않았는데 프로그램이 해당 내용을 읽으려 할 수 있다.
이번 글은 이런 문제를 해결하기 위한 도구 호출 파서(Tool-Calling Parser)를 AI 코딩 에이전트와 Rust로 개발하는 과정을 설명한다.
특히 정상적인 입력뿐 아니라 잘못되거나 중간에 끊긴 입력까지 어떻게 검증해야 하는지 자세하게 설명한다는 점에서 유용하다.
파서는 무엇을 하는가
파서(Parser)는 입력된 텍스트나 데이터를 정해진 문법에 따라 해석하는 프로그램이다.
예를 들어 AI가 날씨를 확인하는 도구를 사용하려 한다고 가정해 보자.
모델은 get_weather라는 함수와 도시 이름을 생성할 수 있다.
하지만 실제 함수 호출 형식은 모델마다 다를 수 있다.
어떤 모델은 JSON을 사용한다.
다른 모델은 XML과 비슷한 특수 태그를 사용할 수 있다.
또 다른 모델은 함수 호출의 시작과 종료를 나타내는 전용 토큰을 사용한다.
파서는 이런 출력을 실제 애플리케이션이 사용할 수 있는 통일된 형태로 변환한다.
NVIDIA는 이를 위해 Dynamo의 frontend-crates라는 Rust 구성요소를 사용한다.
정상적인 출력만 처리해서는 충분하지 않다
이번 글은 실제 운영에서 발생하는 여러 예외 상황을 소개한다.
첫 번째는 출력이 중간에 끊기는 경우다.
예를 들어 모델이 Paris라는 도시 이름을 생성하려 하지만 아직 Par까지만 출력했을 수 있다.
이때 파서가 너무 일찍 해석하면 잘못된 도시 이름으로 함수를 호출할 수 있다.
두 번째는 존재하지 않는 도구를 호출하는 경우다.
예를 들어 실제로 제공되지 않은 unknown_tool이라는 함수를 모델이 선택할 수 있다.
이 경우 파서는 모델이 생성한 도구 이름을 임의로 다른 이름으로 바꾸어서는 안 된다.
실제 어떤 도구를 생성했는지 정확하게 기록해야 한다.
이후 실행 시스템에서 해당 도구가 허용되는지 검사해야 한다.
세 번째는 특수 태그가 일반 문장의 일부로 등장하는 경우다.
예를 들어 사용자가 도구 호출 형식 자체를 설명하는 문서를 요약하도록 요청할 수 있다.
문서 안에 실제 함수 호출과 비슷한 문자열이 존재할 수 있다.
이 경우 일반적인 설명 문장과 실제 도구 호출을 구분해야 한다.
스트리밍에서는 입력 경계가 계속 달라진다
실시간 AI에서는 모델의 전체 답변이 완성되기 전에 일부 출력을 계속 전달할 수 있다.
이를 Streaming(스트리밍)이라고 한다.
예를 들어 하나의 함수 호출이 세 부분으로 나누어 전달될 수 있다.
첫 번째 부분에는 함수 이름의 일부만 포함될 수 있다.
두 번째 부분에는 입력값의 앞부분이 포함될 수 있다.
마지막 부분에서 함수 호출이 완성된다.
중요한 점은 이런 부분의 경계가 일정하지 않다는 것이다.
따라서 파서는 어떤 위치에서 입력이 나누어지더라도 올바른 결과를 생성해야 한다.
NVIDIA는 이를 확인하기 위해 실제 입력을 한 글자 단위로 나누어 전달하는 테스트도 권장한다.
또한 입력이 중간에 종료됐을 때 어떻게 처리할지도 정해야 한다.
예를 들어 함수 호출이 완성되지 않았다면 잘못된 도구를 실행하지 않도록 해야 한다.
GOLDEN 테스트로 기대한 결과를 먼저 정의
NVIDIA는 Conformance Corpus라는 테스트 자료를 사용한다.
Conformance는 프로그램이 정해진 규칙을 올바르게 따르는지 확인하는 과정이다.
테스트에는 실제 모델의 입력 형식과 기대하는 결과가 함께 저장된다.
이를 GOLDEN 테스트라고 한다.
예를 들어 여러 모델이 서로 다른 문법으로 get_weather를 호출하더라도 최종적으로는 같은 함수와 도시 이름이 추출돼야 한다.
NVIDIA는 이런 기대 결과를 YAML 파일에 저장한다.
YAML은 사람이 읽고 수정하기 쉬운 구조화된 데이터 형식이다.
이후 코딩 에이전트가 실제 파서를 작성한다.
테스트 프로그램은 생성된 파서의 결과가 미리 검토한 기대 결과와 일치하는지 확인한다.
여기서 중요한 부분은 기대 결과를 파서가 생성한 출력에 맞춰 임의로 변경해서는 안 된다는 점이다.
예를 들어 실제 파서가 잘못된 결과를 생성했는데 테스트의 정답을 해당 결과로 변경한다면 테스트가 통과하더라도 프로그램은 여전히 잘못된 상태다.
NVIDIA는 이런 문제를 줄이기 위해 에이전트가 작성한 테스트의 기대 결과를 사람이 먼저 검토하도록 권장한다.
실제 모델을 실행하는 최종 테스트도 필요
이번 글은 CPU에서 실행할 수 있는 단위 테스트와 실제 모델을 사용하는 통합 테스트를 구분한다.
예를 들어 고정된 텍스트 입력만 사용하면 실제 GPU가 없어도 파서를 시험할 수 있다.
하지만 실제 모델이 생성하는 출력의 특성과 스트리밍 동작은 별도의 환경에서 확인해야 한다.
따라서 실제 모델과 추론 서버를 연결한 End-to-End Test(종단 간 테스트)가 필요하다.
종단 간 테스트는 프로그램의 여러 부분을 실제로 연결해 전체 작업이 정상적으로 수행되는지 확인하는 과정이다.
NVIDIA는 파서의 정확성뿐 아니라 응답 지연과 메모리 사용량도 측정하도록 권장한다.
예를 들어 입력이 두 배 길어졌을 때 처리시간이 비정상적으로 크게 증가한다면 불필요한 반복 탐색이 존재할 수 있다.
또한 느린 클라이언트 때문에 데이터가 내부 버퍼에 계속 쌓이는 문제도 확인해야 한다.
이번 글은 AI 에이전트의 실제 안정성이 모델의 언어 이해 능력뿐 아니라 모델이 생성한 출력을 프로그램이 얼마나 엄격하고 일관되게 해석하는지에도 영향을 받는다는 점을 보여준다.
특히 여러 언어모델과 도구 호출 형식을 하나의 서비스에서 지원하는 개발자에게 참고할 만한 자료다.
Inside the Codex sandbox
- 저자: Michael Bolin
- 발행: OpenAI Engineering
- 게시일: 2026-11-18
- 원문: OpenAI — Inside the Codex sandbox
AI 코딩 에이전트가 실제 컴퓨터에서 명령어를 실행하도록 허용한다면 어떤 보안 문제가 발생할까?
예를 들어 개발자가 AI에게 자신의 프로젝트를 수정하도록 요청했다고 가정해 보자.
AI는 관련 파일을 읽고 수정할 수 있어야 한다.
또한 테스트를 실행하거나 필요한 프로그램을 호출할 수도 있어야 한다.
하지만 해당 AI가 컴퓨터 안의 모든 파일을 자유롭게 수정하거나 인터넷으로 데이터를 전송할 수 있다면 위험할 수 있다.
이번 글은 OpenAI의 Codex가 이런 문제를 해결하기 위해 macOS와 Linux, Windows의 실제 운영체제 기능을 이용해 명령어의 권한을 제한하는 방법을 설명한다.
컨테이너가 아닌 운영체제 기반 샌드박스
일반적인 AI 에이전트의 보안 격리에서는 Docker 컨테이너나 가상 머신을 사용할 수 있다.
하지만 실제 개발자의 로컬 컴퓨터에서는 이런 방식이 불편할 수 있다.
예를 들어 Mac에서 iOS 앱을 개발하는 상황을 생각할 수 있다.
프로그램을 빌드하려면 실제 Mac의 Xcode와 관련 개발 도구가 필요하다.
별도의 Linux 컨테이너 안에서는 이런 프로그램을 그대로 실행하기 어려울 수 있다.
따라서 Codex는 가능한 경우 실제 사용자의 운영체제에서 제공하는 샌드박스 기능을 활용한다.
샌드박스(Sandbox)는 프로그램이 사용할 수 있는 파일과 네트워크, 시스템 자원을 제한한 실행 환경이다.
이렇게 하면 기존 개발환경을 유지하면서도 실제 실행 권한을 제한할 수 있다.
기본 작업 공간의 권한
Codex의 기본적인 workspace 권한 구성에서는 프로젝트 안의 파일을 수정할 수 있다.
하지만 .git과 .codex처럼 중요한 설정이 저장된 일부 위치는 읽기 전용으로 유지한다.
이를 통해 에이전트가 실제 코드를 수정하면서도 Git 설정과 Codex의 자체 보안 정책을 임의로 변경하는 문제를 줄인다.
또한 기본적으로 외부 네트워크 접근을 제한한다.
이는 에이전트가 읽은 파일을 외부 서버로 전송하는 위험을 줄이는 데 도움이 된다.
하지만 실제 개발 과정에서는 패키지를 다운로드해야 할 수 있다.
따라서 필요에 따라 특정한 네트워크 접근을 허용하는 설정도 제공한다.
중요한 점은 기본 권한을 무조건 넓게 제공하지 않고 작업에 필요한 범위를 확인해 추가하도록 설계했다는 사실이다.
이를 최소 권한 원칙(Principle of Least Privilege)이라고 한다.
프로그램이 실제로 수행해야 하는 작업에 필요한 권한만 부여하는 보안 원칙이다.
macOS·Linux·Windows에서 서로 다른 방식 사용
운영체제마다 제공하는 보안 기능은 다르다.
| 운영체제 | 주요 보안 기술 |
|---|---|
| macOS | Seatbelt 기반 샌드박스 정책 |
| Linux | bubblewrap, 네임스페이스, seccomp |
| Windows | Windows 전용 격리·권한 관리 기능 |
macOS에서는 Seatbelt 정책을 이용해 파일 접근과 네트워크 사용을 제한한다.
Linux에서는 bubblewrap을 이용해 격리된 파일시스템과 실행 환경을 만들 수 있다.
또한 seccomp를 이용해 프로그램이 호출할 수 있는 운영체제 기능을 제한할 수 있다.
seccomp는 Linux에서 시스템 호출(System Call)의 사용을 제어하는 보안 기능이다.
시스템 호출은 프로그램이 운영체제의 기능을 이용하기 위해 사용하는 인터페이스다.
예를 들어 프로그램이 파일을 열거나 네트워크 연결을 생성할 때 관련 시스템 호출이 발생할 수 있다.
Windows에서는 해당 운영체제가 제공하는 격리 및 권한 관리 기능을 사용한다.
이렇게 하면 하나의 공통 보안 정책을 여러 운영체제의 실제 기능에 맞게 구현할 수 있다.
하지만 서로 다른 운영체제에서 완전히 동일한 수준의 격리가 제공된다고 판단해서는 안 된다.
실제 운영체제의 지원 범위와 정책 구성에 따라 차이가 존재할 수 있다.
샌드박스가 있다고 해서 모든 위험이 사라지지 않는다
이번 글에서 가장 중요한 부분은 OpenAI가 샌드박스 자체의 한계도 구체적으로 설명했다는 점이다.
예를 들어 Codex가 프로젝트의 node_modules 안에 있는 프로그램을 수정할 수 있다고 가정해 보자.
node_modules는 Node.js 프로젝트에서 설치한 패키지가 저장되는 디렉터리다.
일부 개발자는 이 폴더를 Git에서 추적하지 않는다.
에이전트가 해당 폴더의 프로그램을 악의적으로 변경해도 일반적인 코드 변경 목록에는 나타나지 않을 수 있다.
이후 개발자가 자신의 편집기에서 해당 프로그램을 실행하면 샌드박스 밖에서 문제가 발생할 가능성이 있다.
즉 샌드박스는 실제 명령어가 접근할 수 있는 범위를 제한하지만 에이전트가 수정한 파일이 이후 다른 프로그램에서 어떻게 실행되는지까지 모두 보장할 수는 없다.
따라서 실제 코드 검토와 패키지 검증, 운영체제의 권한 관리가 함께 필요하다.
외부 MCP 서버도 격리 가능
이번 글은 MCP 서버를 샌드박스에 넣는 방법도 설명한다.
MCP(Model Context Protocol)는 AI 에이전트가 외부 프로그램과 데이터를 호출하도록 지원하는 통신 규격이다.
예를 들어 MCP 서버가 로컬 파일을 읽거나 외부 시스템을 조회할 수 있다.
이때 MCP 서버 자체에 너무 많은 권한을 제공하면 모델의 판단과 관계없이 보안 위험이 발생할 수 있다.
Codex는 관련 프로그램을 샌드박스 안에서 실행하도록 지원한다.
이렇게 하면 모델뿐 아니라 실제 도구를 실행하는 프로그램에도 접근권한 제한을 적용할 수 있다.
이번 글은 AI 코딩 에이전트의 보안이 모델이 안전한 명령을 선택하도록 학습시키는 것만으로 해결되지 않으며, 실제 운영체제와 파일시스템·네트워크 권한을 함께 관리해야 한다는 점을 기술적으로 자세하게 설명한다.
Exa boosts embedding throughput by 50% to index billions of documents on AWS AI chips
- 저자: Summer Devlin, Venu Geddam, Jim Burtoft, Pinak Panigrahi
- 발행: Exa / AWS Artificial Intelligence Blog
- 게시일: 2026-11-18
- 원문: AWS — Exa boosts embedding throughput by 50% to index billions of documents on AWS AI chips
AI 검색 서비스가 수백억 개의 문서를 처리하려면 어떤 비용이 발생할까?
이번 글은 AI 검색 기업 Exa가 실제 웹문서를 임베딩으로 변환하는 비용을 줄이기 위해 AWS AI 반도체와 전용 커널을 최적화한 사례를 설명한다.
특히 모델 자체의 구조를 변경하지 않고 실제 하드웨어의 메모리 접근과 계산 방식을 최적화해 처리량을 약 1.5배 높인 과정을 자세하게 공개했다는 점에서 읽어볼 가치가 있다.
임베딩을 만드는 비용도 검색 서비스의 핵심 비용
임베딩(Embedding)은 텍스트나 이미지 등의 의미를 여러 숫자로 표현한 것이다.
예를 들어 사용자가 특정한 기술문서를 검색한다고 가정해 보자.
검색어와 실제 문서에 같은 단어가 없어도 의미가 비슷한 자료를 찾을 수 있다.
이를 의미 검색(Semantic Search)이라고 한다.
Exa는 대규모 웹문서를 수집한 뒤 관련 내용을 임베딩으로 변환해 검색 시스템에 저장한다.
문제는 실제 문서의 수가 매우 많다는 것이다.
Exa는 새로운 문서 임베딩 모델을 도입하기 위해 기존 문서 가운데 약 300억 개를 다시 임베딩해야 하는 상황을 소개했다.
이런 작업에서는 문서 하나를 처리하는 데 필요한 비용이 조금만 증가해도 전체 비용에 큰 영향을 줄 수 있다.
예를 들어 문서 하나의 처리 비용을 절반으로 줄일 수 있다면 수십억 개 문서를 다시 처리하는 비용도 크게 감소할 가능성이 있다.
AWS Inferentia2와 Trainium2 사용
Exa는 기존의 AI 추론 환경을 검토한 뒤 AWS의 Inferentia2와 Trainium2를 사용했다.
두 제품은 AWS가 AI 계산을 위해 개발한 반도체다.
추론(Inference)은 이미 학습된 모델이 새로운 입력을 받아 실제 결과를 생성하는 과정이다.
Exa의 작업에서는 수많은 문서를 모델에 입력하고 임베딩 벡터를 생성한다.
따라서 단일 요청의 응답시간뿐 아니라 일정한 시간에 얼마나 많은 문서를 처리할 수 있는지가 중요하다.
이를 처리량(Throughput)이라고 한다.
예를 들어 초당 100개의 문서를 처리하는 시스템보다 초당 150개의 문서를 처리하는 시스템이 같은 시간에 더 많은 문서를 분석할 수 있다.
하지만 실제 처리 비용은 사용한 반도체의 가격과 실행시간, 전체 서버 구성에 따라 달라진다.
메모리 배치 최적화부터 시작
Exa는 먼저 모델의 가중치가 저장되는 방식을 변경했다.
가중치(Weights)는 AI 모델이 학습한 정보를 저장한 숫자 데이터다.
실제 하드웨어에서는 같은 숫자 데이터를 저장하더라도 메모리에 배치하는 순서에 따라 계산 성능이 달라질 수 있다.
예를 들어 계산 장치가 필요한 데이터를 읽기 위해 여러 번 메모리에 접근해야 할 수 있다.
또는 행렬의 형태를 변환하는 작업이 필요할 수 있다.
Exa는 이런 불필요한 변환을 줄였다.
또한 일부 행렬 계산에서 더 낮은 정밀도의 숫자 표현을 활용했다.
이를 혼합 정밀도 계산(Mixed Precision Computing)이라고 한다.
일부 계산에는 높은 정밀도를 유지하면서 다른 계산에는 상대적으로 낮은 정밀도를 사용하는 방식이다.
이렇게 하면 하드웨어의 계산 효율을 높일 수 있다.
다만 정밀도를 낮추면 실제 결과가 변경될 가능성도 있다.
Exa는 원래 모델의 결과와 비교해 코사인 유사도 0.999 이상을 유지하도록 검증했다.
코사인 유사도(Cosine Similarity)는 두 벡터가 얼마나 비슷한 방향을 향하는지 계산하는 지표다.
1에 가까울수록 두 벡터의 방향이 비슷하다는 의미다.
하지만 코사인 유사도가 0.999라는 사실만으로 모든 실제 검색 결과가 완전히 동일하다는 의미는 아니다.
실제 검색 품질도 별도로 확인해야 한다.
GPU·AI 가속기의 메모리 병목 해결
Exa는 이후 실제 실행 기록을 분석했다.
그 결과 모델의 일부 계산에서 HBM(High Bandwidth Memory)에 데이터를 저장하고 다시 읽는 과정이 병목이 되고 있다는 사실을 발견했다.
HBM은 AI 가속기에서 대량의 데이터를 빠르게 처리하도록 사용하는 고대역폭 메모리다.
Exa는 이를 해결하기 위해 NKI(Neuron Kernel Interface)를 이용한 전용 커널을 작성했다.
커널(Kernel)은 GPU나 AI 가속기에서 특정한 계산을 수행하는 프로그램이다.
예를 들어 여러 계산을 하나의 커널로 합치면 중간 결과를 메모리에 저장했다가 다시 읽는 과정을 줄일 수 있다.
이를 Kernel Fusion(커널 융합)이라고 한다.
Exa는 실제 신경망 계층의 형태에 맞춘 전용 계산을 작성했다.
특히 불필요한 패딩 계산을 줄였다.
패딩(Padding)은 서로 다른 크기의 데이터를 같은 형태로 맞추기 위해 추가하는 값이다.
일반적인 계산 커널에서는 여러 입력 크기를 지원하기 위해 필요하지 않은 값까지 계산할 수 있다.
Exa는 자신이 사용하는 모델의 실제 구조를 알고 있었으므로 이런 불필요한 계산을 제거할 수 있었다.
실제 성능과 비용 개선
Exa가 공개한 결과는 다음과 같다.
| 평가 항목 | 결과 |
|---|---|
| 문서 임베딩 처리량 | 초기 대비 약 1.5배 |
| 처리량과 비용의 종합적인 개선 | 약 47% |
| 주요 하드웨어 | AWS Inferentia2·Trainium2 |
| 결과 검증 기준 | 원본 대비 코사인 유사도 0.999 이상 |
이 수치는 Exa와 AWS가 수행한 실제 운영환경의 자체 측정 결과다.
모든 임베딩 모델에서 같은 최적화를 적용하면 처리량이 50% 증가한다는 의미는 아니다.
또한 제목의 50%는 반올림한 표현이며 본문에서는 약 47%의 개선을 제시했다.
AI 에이전트가 실제 최적화 작업에 참여
이번 글에서 흥미로운 부분은 실제 커널 최적화 작업에도 AI 에이전트를 활용했다는 점이다.
Exa는 간단한 세 단계의 검증 구조를 만들었다.
먼저 에이전트가 새로운 커널이나 계산 설정을 제안한다.
이후 실제 모델의 출력이 원래 결과와 충분히 비슷한지 검사한다.
마지막으로 실제 하드웨어에서 처리량과 메모리 사용량을 측정한다.
이 과정에는 Flyte라는 머신러닝 워크플로 플랫폼이 사용됐다.
Flyte는 여러 단계의 데이터 처리와 모델 실행 작업을 관리하도록 지원하는 도구다.
Exa는 상대적으로 작은 AI 모델에 단순한 설정 탐색을 맡겼다.
반면 복잡한 성능 병목을 분석하는 작업에는 더 강력한 추론 모델을 사용했다.
실제 코드를 작성하는 작업과 검증하는 작업도 분리했다.
여기서 중요한 점은 AI가 생성한 최적화 코드를 별도의 검증 없이 받아들이지 않았다는 사실이다.
실제 계산 결과와 성능을 모두 검사한 뒤 변경사항을 적용했다.
이번 글은 AI 인프라의 운영에서 더 비싼 반도체를 추가하는 것뿐 아니라 기존 하드웨어에 맞게 모델의 계산 구조를 조정하고 실제 결과를 반복적으로 검증하는 작업이 중요하다는 점을 구체적인 사례로 보여준다.