AI 데일리 브리핑 — 2026-11-21
Soshy··조회수 —

기준 시점: 2026-11-21 06:00 KST (Asia/Seoul)
AI 동향 조사 범위: 2026-11-20 06:00 ~ 2026-11-21 06:00 KST
추천 글 범위: 2026-11-14 06:00 ~ 2026-11-21 06:00 KST
1️⃣ 주요 모델·연구
Tencent, 7,700억 파라미터 ‘Hy4’ 모델 가중치 공개…이미지·영상 이해와 100만 토큰 문맥 지원
- 발표일: 2026-11-20 — 정확한 게시 시각 미확인
- 적용 범위: 오픈웨이트 AI, 대규모 언어모델, 멀티모달 AI, 코딩 에이전트, 장문 분석, AI 추론 인프라
- 원문: Tencent — Hy4 공식 모델 카드
- 관련 원문: Tencent — Hy4 공식 저장소, Tencent — Hy4 라이선스
Tencent가 대규모 멀티모달 AI 모델 Hy4의 학습된 가중치를 공개했다.
이번 발표는 Hy4 모델 자체를 처음 출시한 소식은 아니다. Tencent는 11월 4일 Hy4를 API를 통해 먼저 제공하고, 이후 모델 가중치를 공개하겠다고 예고했다.
11월 20일의 새로운 변화는 실제 모델 가중치를 다운로드할 수 있게 됐고, 정식 아키텍처와 시스템 정보, 라이선스가 공개됐다는 점이다.
이번에 공개된 모델에는 일반적인 지시 이행용 Hy4와 FP8 정밀도 버전, 추가 학습에 활용할 수 있는 사전학습 모델이 포함된다.
전체 7,700억 개 가운데 약 490억 개만 활성화
Hy4는 MoE(Mixture of Experts, 전문가 혼합) 구조를 사용한다.
MoE는 하나의 거대한 신경망 안에 여러 전문 네트워크를 배치하고, 실제 입력을 처리할 때 필요한 일부만 선택적으로 실행하는 모델 구조다.
일반적인 밀집 모델에서는 많은 파라미터가 모든 토큰을 처리하는 데 사용될 수 있다. 반면 MoE에서는 특정한 입력에 필요한 전문가만 활성화한다.
Hy4의 주요 구조는 다음과 같다.
| 구성 | 사양 |
|---|---|
| 언어모델 전체 파라미터 | 7,700억 개 |
| 토큰당 활성화되는 언어모델 파라미터 | 약 490억 개 |
| 언어모델 계층 | 78개 |
| MoE 계층 | 77개 |
| 계층별 선택형 전문가 | 256개 |
| 토큰당 선택하는 전문가 | 8개와 공유 전문가 1개 |
| 이미지 인코더 | 약 12.3억 파라미터 |
| 추측 디코딩 보조 모델 | 약 33억 파라미터 |
| 최대 컨텍스트 | 1,048,576토큰 |
파라미터(Parameter)는 모델이 학습 과정에서 조정하는 숫자 데이터다.
토큰(Token)은 언어모델이 텍스트를 처리하는 기본 단위다.
전체 파라미터가 7,700억 개라는 사실과 매번 7,700억 개 전체를 계산한다는 사실은 다르다.
다만 실제 계산에 사용되는 파라미터가 상대적으로 적어도 모델 전체의 가중치를 저장할 메모리는 필요하다.
따라서 Hy4는 일반적인 개인용 노트북에서 쉽게 실행할 수 있는 소형 모델과는 다르다. 고성능 GPU와 상당한 메모리 자원을 갖춘 실행 환경이 필요하다.
긴 문맥의 계산을 줄이는 Sparse Attention
Hy4에는 Gated DeepSeek Sparse Attention과 IndexCache가 적용됐다.
Attention(어텐션)은 모델이 입력의 여러 토큰 사이에서 어떤 정보가 중요한지 계산하는 기술이다.
예를 들어 AI 코딩 에이전트가 수십만 토큰에 달하는 프로젝트 파일을 읽었다고 가정해 보자.
모든 출력 토큰을 생성할 때마다 이전의 방대한 정보 전체를 같은 방식으로 계산하면 비용이 크게 증가할 수 있다.
Sparse Attention(희소 어텐션)은 관련성이 높은 일부 토큰을 선택해 주요 계산에 사용하는 방식이다.
Hy4는 인덱서를 이용해 최대 2,048개의 관련 토큰을 선택하도록 설계됐다.
IndexCache는 이 선택 결과의 일부를 여러 계층에서 재사용해 반복적인 계산을 줄이려는 기술이다.
하지만 입력의 일부만 선택해 계산하면 필요한 정보가 선택되지 않을 가능성도 존재한다.
따라서 최대 100만 토큰의 입력을 지원한다는 사실만으로 그 안의 모든 정보를 완벽하게 기억하거나 추론할 수 있다는 의미는 아니다.
이미지와 영상을 함께 이해
Hy4는 텍스트뿐 아니라 이미지와 영상도 입력받을 수 있다.
멀티모달 AI(Multimodal AI)는 텍스트와 이미지, 음성, 영상처럼 서로 다른 형태의 정보를 함께 처리하는 기술이다.
Hy4는 별도의 시각 인코더를 이용해 이미지와 영상 프레임의 특징을 추출한다.
이후 추출한 정보를 언어모델이 처리할 수 있는 시각 토큰으로 변환한다.
예를 들어 웹페이지의 스크린샷과 소스코드를 함께 제공할 수 있다.
모델은 화면의 구성과 코드의 관계를 분석해 수정할 부분을 찾도록 사용할 수 있다.
또한 여러 장의 기술 도면이나 표, 그래프를 포함한 자료를 함께 분석하는 작업에도 활용할 수 있다.
하지만 시각 정보를 입력받을 수 있다는 사실과 실제 모든 이미지의 작은 글씨나 복잡한 도형을 정확하게 인식한다는 사실은 다르다.
특히 숫자와 치수가 중요한 업무에서는 별도의 검증이 필요하다.
DFly2로 실제 출력 속도 개선
Hy4에는 DFly2라는 보조 모델이 포함됐다.
이 기술은 Speculative Decoding(추측 디코딩)에 사용된다.
추측 디코딩은 상대적으로 작은 모델이 앞으로 생성될 토큰을 먼저 제안하고, 더 큰 모델이 해당 결과를 검증하는 방식이다.
예를 들어 작은 모델이 다음 토큰 여러 개를 제안할 수 있다.
큰 모델은 제안된 토큰들을 확인하고 올바른 부분을 받아들인다.
이런 방식은 큰 모델이 토큰을 하나씩 생성하는 데 필요한 반복 작업을 줄일 수 있다.
다만 작은 모델의 예측이 자주 틀리면 검증 비용이 증가할 수 있다.
따라서 실제 속도 개선은 모델의 구조와 입력, 추론 엔진에 따라 달라진다.
Tencent는 Hy4의 추론과 배포를 위해 vLLM과 SGLang 등의 실행 환경도 지원한다.
가중치가 공개됐지만 Apache 2.0은 아니다
이번 공개에서 중요한 부분은 라이선스 변경이다.
기존 프리뷰와 달리 정식 Hy4 가중치에는 Tencent Hy License 1.0이 적용된다.
이 라이선스는 Apache 2.0을 기반으로 하지만 별도의 상업적 이용 조건을 추가한 라이선스다.
예를 들어 모델을 자체적으로 연구하거나 내부 업무에 사용하는 경우와, 외부 고객에게 범용 모델 API를 제공하는 경우를 구분한다.
일정 규모 이상의 MaaS(Model as a Service, 모델 서비스 사업)에는 별도의 서면 허가가 필요할 수 있다.
대표적인 기준은 다음과 같다.
| 조건 | 라이선스상 처리 |
|---|---|
| 최근 연속 12개월의 전 세계 총매출이 5,000만 달러를 초과하는 MaaS 사업 | 별도 서면 라이선스 필요 |
| 월간 활성 사용자 1억 명을 초과하는 제품·서비스에 모델 사용 | 별도 서면 라이선스 필요 |
| 외부에 모델이나 출력물을 제공하지 않는 순수 내부 사용 | 위 추가 상업 조건의 예외 규정 존재 |
실제 사용 허용 범위는 서비스의 형태와 계약 조건에 따라 달라질 수 있다.
따라서 모델 가중치를 다운로드할 수 있다는 사실만으로 모든 상업적 용도에 제한 없이 사용할 수 있다고 판단해서는 안 된다.
또한 Tencent의 모델 카드에 포함된 성능과 안전성 평가 결과는 대부분 Tencent 자체 평가다.
모델을 외부에서 실행할 수 있게 됐지만 모든 성능 수치가 독립적으로 검증된 것은 아니다.
이번 공개는 대규모 멀티모달 모델을 외부 개발자가 직접 실행하고 추가 학습할 수 있도록 제공했다는 점에서 의미가 있다.
동시에 오픈웨이트라는 배포 방식과 실제 상업적 이용 자유도는 구분해야 한다는 점도 보여준다.
Thinking Machines Lab, ‘Inkling 2 Mini’ 공개…260억 파라미터를 반복 사용하는 새로운 Looped Transformer 구조
- 발표일: 2026-11-20 — 정확한 게시 시각 미확인
- 적용 범위: 오픈웨이트 AI, 소형 언어모델, 로컬 AI, 멀티모달 AI, 코딩 에이전트, 새로운 모델 아키텍처
- 원문: Hugging Face — Welcome Inkling 2 Mini, Cutting-edge Performance for your Local Setup
- 관련 원문: Thinking Machines Lab — Inkling 2 Mini 모델
Thinking Machines Lab이 새로운 오픈웨이트 모델 Inkling 2 Mini를 공개했다.
이번 모델은 전체 파라미터를 단순히 줄여 만든 일반적인 소형 언어모델과 구조적으로 다르다.
같은 신경망 계층을 여러 번 통과하도록 만들어 실제 저장해야 하는 가중치의 양과 모델이 수행할 수 있는 계산의 깊이를 분리했다는 점이 특징이다.
이 구조를 Looped Transformer(반복형 트랜스포머)라고 한다.
24개 계층을 이용해 48개 계층에 해당하는 계산 수행
일반적인 Transformer 모델은 입력을 여러 신경망 계층에 순서대로 전달한다.
예를 들어 48개 계층을 가진 모델이라면 입력 데이터가 48개 계층을 차례로 통과할 수 있다.
하지만 계층이 많아질수록 저장해야 하는 가중치도 증가할 수 있다.
Inkling 2 Mini는 24개의 실제 디코더 계층을 사용한다.
대신 일부 계층을 반복 실행한다.
| 구간 | 실제 계층 수 | 실행 방식 | 실제 통과 횟수 |
|---|---|---|---|
| 처음 계층 | 6개 | 한 번 실행 | 6 |
| 중간 계층 | 12개 | 세 번 반복 | 36 |
| 마지막 계층 | 6개 | 한 번 실행 | 6 |
| 합계 | 24개 | 반복 적용 | 48 |
이렇게 하면 실제로 저장하는 계층은 24개지만 입력은 총 48번의 계층 계산을 거친다.
중요한 점은 가중치를 재사용한다고 해서 실제 계산량도 절반이 되는 것은 아니라는 사실이다.
중간 계층은 세 번 실행되므로 실제 연산이 발생한다.
이 방식의 주요 목적은 저장해야 하는 서로 다른 파라미터의 양을 줄이면서 여러 단계의 계산을 수행하는 것이다.
반복할 때마다 이전 결과를 참고
같은 계층을 세 번 실행하는 것만으로는 좋은 결과를 얻기 어려울 수 있다.
매번 거의 같은 계산을 반복한다면 새로운 정보를 충분히 얻지 못할 수 있기 때문이다.
Inkling 2 Mini는 반복 단계 사이에 별도의 정보 전달 경로를 둔다.
첫 번째 반복에서 계산한 결과를 다음 반복이 참고한다.
이후 게이트라는 구성요소가 현재 입력과 이전 결과의 정보를 얼마나 섞을지 결정한다.
게이트(Gate)는 신경망에서 여러 정보 가운데 어느 정보를 얼마나 통과시킬지 조절하는 기능이다.
예를 들어 첫 번째 반복에서는 문장의 기본 구조를 분석할 수 있다.
두 번째 반복에서는 앞서 계산한 결과를 바탕으로 다른 부분을 보완할 수 있다.
세 번째 반복에서는 더 세부적인 관계를 계산할 수 있다.
다만 실제 모델이 반드시 이런 순서로 언어적 역할을 나누어 수행한다는 의미는 아니다.
이는 반복 계산이 정보를 점진적으로 보완할 수 있다는 구조적 설명이다.
260억 전체 파라미터, 토큰당 약 30억 활성화
Inkling 2 Mini는 MoE 구조도 사용한다.
| 항목 | 사양 |
|---|---|
| 전체 물리적 파라미터 | 약 260억 개 |
| 토큰당 활성 파라미터 | 약 30억 개 |
| 실제 디코더 계층 | 24개 |
| 논리적 계층 통과 | 48회 |
| 계층별 선택 가능한 전문가 | 128개 |
| 토큰당 활성 전문가 | 8개 |
| 최대 컨텍스트 | 100만 토큰 |
| 입력 종류 | 텍스트·이미지 |
모델은 전문가 네트워크 가운데 입력에 적합한 일부만 선택해 계산한다.
또한 가중치 저장에는 NVFP4와 MXFP8 같은 낮은 정밀도의 숫자 형식을 사용한다.
이런 방식은 모델의 실제 메모리 요구량을 줄이는 데 도움이 될 수 있다.
하지만 낮은 정밀도로 숫자를 저장하면 실제 계산 결과에 작은 오차가 발생할 수 있다.
따라서 모델의 정확성과 실행 효율을 함께 평가해야 한다.
48개 평가 가운데 32개에서 비교 모델보다 높은 성능
Hugging Face가 공개한 비교에서는 Inkling 2 Mini가 48개 벤치마크 가운데 32개에서 주요 비교 모델보다 높은 결과를 기록했다.
비교 대상으로는 Gemma 4 31B와 Qwen3.8-27B, Nemotron 계열 모델 등이 사용됐다.
특히 코딩과 에이전트 작업, 이미지 이해와 일반 추론에서 높은 성능을 보였다.
하지만 결과가 모든 평가에서 우수했던 것은 아니다.
예를 들어 Terminal-Bench 4.0에서는 Qwen3.8-27B와 비슷한 수준이었다.
반면 AutomationBench에서는 Qwen3.8-27B보다 낮은 성능을 기록했다.
또한 이번 비교는 공개된 벤치마크와 개발팀의 평가 자료를 기반으로 한다.
실제 모든 로컬 코딩 작업에서 Inkling 2 Mini가 더 큰 모델보다 우수하다는 의미는 아니다.
반복 횟수를 변경하는 실험용 모델도 공개
Thinking Machines Lab은 별도의 연구용 모델도 공개했다.
이 모델은 중간 계층을 통과하는 횟수를 조절할 수 있다.
예를 들어 기본 모델은 세 번 반복하지만 연구용 모델에서는 한 번 또는 두 번만 실행하도록 설정할 수 있다.
이렇게 하면 실제 계산시간을 줄일 가능성이 있다.
하지만 반복 횟수가 적어지면 모델이 수행하는 계산도 줄어들기 때문에 답변의 품질이 저하될 수 있다.
연구팀은 이 기능이 작동한다는 사실을 확인했지만 다양한 작업에서 성능을 충분히 평가하지는 않았다고 밝혔다.
따라서 반복 횟수를 낮추면 모든 경우에 일정한 품질을 유지하면서 속도만 개선된다고 판단해서는 안 된다.
실제 로컬 실행 환경 지원
Inkling 2 Mini는 여러 종류의 실행 환경을 지원한다.
- Hugging Face Transformers
- llama.cpp
- Llama App
- Apple MLX
- SGLang
MLX는 Apple Silicon에서 머신러닝 계산을 수행하도록 개발된 프레임워크다.
llama.cpp는 개인용 컴퓨터와 여러 종류의 GPU에서 언어모델을 실행하기 위한 오픈소스 프로젝트다.
SGLang은 대규모 AI 추론 서비스를 효율적으로 실행하기 위한 소프트웨어다.
또한 DSpark라는 추측 디코딩 보조 모델도 제공한다.
이 기술은 작은 모델이 미래의 토큰을 먼저 제안한 뒤 본 모델이 검증하는 방식으로 출력 속도를 개선하려 한다.
이번 연구는 소형 AI 모델의 발전이 단순한 파라미터 수 축소를 넘어 같은 가중치를 반복 사용하고 계산의 깊이를 조절하는 새로운 아키텍처 설계로 확대되고 있음을 보여준다.
Metric-AI, 아르메니아어 AI 모델군 ‘Ayb·OhanASR·OhanTTS’ 공개…텍스트 이해부터 실시간 음성 대화까지 지원
- 발표일: 2026-11-20 — 정확한 게시 시각 미확인
- 적용 범위: 다국어 AI, 저자원 언어, 오픈웨이트 모델, 음성인식, 음성 생성, 멀티모달 AI
- 원문: Metric-AI — Ayb: Language models for Armenian
- 관련 원문: Metric-AI — OhanASR 음성인식 모델, Metric-AI — OhanTTS 음성 생성 모델
Metric-AI가 아르메니아어를 위한 여러 AI 모델을 공개했다.
이번 발표는 하나의 소형 언어모델만 출시한 소식이 아니다.
아르메니아어 텍스트를 이해하는 언어모델과 실제 음성을 텍스트로 변환하는 모델, 텍스트를 음성으로 생성하는 모델을 함께 공개했다는 점이 특징이다.
이는 AI가 충분히 학습하지 못한 언어를 지원하기 위해 어떤 기술과 데이터가 필요한지 보여주는 사례다.
범용 모델이 모든 언어에서 같은 성능을 제공하지 않는 이유
대형 언어모델은 여러 언어를 처리할 수 있다.
하지만 실제 학습 데이터의 양과 품질은 언어마다 다를 수 있다.
예를 들어 영어로 작성된 기술문서는 인터넷에 매우 많이 존재한다.
반면 상대적으로 사용자가 적은 언어에서는 전문적인 문서와 대화 데이터가 부족할 수 있다.
이런 언어를 저자원 언어(Low-Resource Language)라고 한다.
AI 학습에 활용할 수 있는 디지털 데이터가 상대적으로 부족한 언어를 의미한다.
아르메니아어도 이런 문제를 겪는 언어 가운데 하나다.
Metric-AI는 기존 다국어 모델을 아르메니아어에 맞게 추가 학습시키는 방법을 선택했다.
Ayb: 세 가지 크기의 언어모델
Ayb는 Qwen3.5 아키텍처를 기반으로 개발됐다.
| 모델 | 파라미터 규모 | 주요 목적 |
|---|---|---|
| Ayb-0.8B | 약 8억 개 | 저사양 기기와 간단한 언어 처리 |
| Ayb-4B | 약 40억 개 | 일반적인 대화와 문서 처리 |
| Ayb-9B | 약 90억 개 | 복잡한 지시와 도구 호출 |
연구팀은 단순히 아르메니아어 텍스트를 추가로 학습하는 데서 끝나지 않았다.
먼저 아르메니아어에 맞는 토크나이저를 개선했다.
토크나이저(Tokenizer)는 텍스트를 모델이 처리할 수 있는 작은 단위로 나누는 프로그램이다.
예를 들어 같은 의미의 문장이라도 언어에 따라 필요한 토큰 수가 달라질 수 있다.
기존 토크나이저가 특정한 언어의 문자와 어휘를 충분히 지원하지 않는다면 같은 문장을 표현하는 데 더 많은 토큰이 필요할 수 있다.
이는 실제 추론 비용과 처리 효율에 영향을 준다.
Metric-AI는 아르메니아어 어휘를 추가하면서 기존 모델의 다국어 능력도 유지하려 했다.
이후 아르메니아어와 영어 데이터를 이용한 추가 사전학습과 지시 이행 학습을 수행했다.
아르메니아어 평가에서 높은 성능
연구팀은 ArmBench와 Armenian IFEval을 이용해 모델을 평가했다.
ArmBench는 아르메니아어의 지식과 독해, 문장 생성과 교정 등 24개 작업을 평가한다.
Armenian IFEval은 사용자의 지시를 얼마나 정확하게 따르는지 평가한다.
공개된 결과는 다음과 같다.
| 모델 | ArmBench 점수 | 공개 평가 순위 |
|---|---|---|
| Ayb-9B | 0.6164 | 3위 |
| Ayb-4B | 0.5828 | 8위 |
| Ayb-0.8B | 0.5300 | 16위 |
Ayb-9B는 비교 대상에 포함된 일부 더 큰 모델보다 높은 점수를 기록했다.
하지만 이 수치는 특정한 아르메니아어 평가에서 얻어진 결과다.
모든 종류의 언어 이해와 추론 작업에서 더 큰 모델보다 우수하다는 의미는 아니다.
실제로 연구팀은 복잡한 추론과 지시 이행, 최신 지식에 관한 성능에는 개선의 여지가 있다고 설명했다.
또한 모델은 동부 아르메니아어를 중심으로 학습됐기 때문에 서부 아르메니아어와 일부 지역 방언에서는 정확도가 낮아질 수 있다.
OhanASR: 실제 음성을 텍스트로 변환
Metric-AI는 별도의 음성인식 모델인 OhanASR도 공개했다.
ASR(Automatic Speech Recognition)은 사람이 말한 음성을 텍스트로 변환하는 기술이다.
OhanASR은 약 20억 파라미터의 다국어 모델을 기반으로 개발됐다.
학습에는 약 820시간의 아르메니아어 음성이 사용됐다.
모델은 두 종류로 제공된다.
첫 번째는 녹음된 음성을 분석하는 일반 모델이다.
두 번째는 음성이 입력되는 동안 점진적으로 텍스트를 생성하는 스트리밍 모델이다.
| 모델 | 평균 단어 오류율 |
|---|---|
| OhanASR-v0.1 | 16.12% |
| OhanASR-Streaming-v0.1 | 19.07% |
WER(Word Error Rate, 단어 오류율)은 실제 발화한 문장과 모델이 생성한 문장을 비교해 잘못 인식된 단어의 비율을 계산하는 지표다.
낮을수록 일반적으로 인식 정확도가 높다.
녹음용 모델은 더 낮은 오류율을 기록했다.
반면 스트리밍 모델은 음성이 입력되는 동안 결과를 출력하는 데 초점을 맞췄다.
따라서 두 모델을 비교할 때는 정확도뿐 아니라 실제 응답 지연도 고려해야 한다.
OhanTTS: 짧은 참고 음성으로 새로운 목소리 생성
세 번째 모델은 OhanTTS다.
TTS(Text-to-Speech)는 텍스트를 실제 음성으로 변환하는 기술이다.
OhanTTS는 아르메니아어를 중심으로 영어와 일본어, 중국어 등 여덟 개 언어를 지원한다.
약 160시간의 음성 데이터를 추가 학습에 사용했으며, 그중 아르메니아어 자료는 약 61시간이었다.
또한 3~10초의 참고 음성과 해당 음성의 텍스트를 이용해 새로운 문장을 같은 목소리로 생성하는 기능을 제공한다.
이를 Voice Cloning(음성 복제)이라고 한다.
연구팀이 공개한 단일 사용자 평가에서는 첫 음성이 출력되기까지 약 331ms가 필요했다.
하지만 이는 특정한 NVIDIA GB10 하드웨어와 테스트 환경에서 측정한 수치다.
동시 사용자가 증가하면 실제 응답시간도 늘어날 수 있다.
또한 OhanTTS는 아직 초기 버전이므로 긴 발화와 낯선 고유명사, 언어 간 전환에서 오류가 발생할 수 있다.
공개 모델과 실제 사용권한
OhanASR과 OhanTTS는 CC BY-NC 4.0 라이선스로 제공된다.
이 라이선스는 일반적으로 비상업적 사용을 허용한다.
따라서 실제 상업용 음성 서비스에 적용하려면 별도의 권리 검토가 필요하다.
이번 공개는 저자원 언어의 AI 기술을 개선할 때 해당 언어의 어휘와 문법, 음성 데이터와 실제 사용 환경을 함께 고려해야 한다는 점을 보여준다.
또한 하나의 언어에서 좋은 성능을 제공하는 AI를 만들기 위해 범용 모델을 새로 처음부터 학습해야 하는 것은 아니라는 점도 보여준다.
2️⃣ AI 제품·서비스
Google·Watch Duty, 산불 무전 탐지 AI 운영 성과 공개…잡음 속 신고를 30초 이내에 탐지하고 자원봉사자의 확인 업무 지원
- 발표일: 2026-11-20 — 정확한 게시 시각 미확인
- 적용 범위: 재난 대응 AI, 실시간 음성인식, Gemini, 산불 경보, 공공 안전, 비영리기관 기술 지원
- 원문: Google — How Watch Duty is using Gemini to get wildfire alerts out faster
Google이 산불 경보 비영리기관 Watch Duty와 협력해 개발한 Gemini 기반 무전 분석 시스템의 실제 운영 성과를 공개했다.
이번 발표는 새로운 소비자용 AI 앱의 출시가 아니다.
기존 산불 경보 서비스에서 실제 소방 무전을 AI가 분석해 새로운 화재 신고를 조기에 발견하고, 사람의 확인을 거쳐 경보를 전달하는 시스템의 기술과 운영 결과를 공개한 것이다.
특히 일반적인 대화 음성보다 훨씬 어려운 무전 환경에서 AI를 실제 재난 대응 업무에 적용했다는 점이 중요하다.
소방 무전은 일반적인 음성인식보다 어렵다
일반적인 음성인식 모델은 비교적 깨끗한 음성을 텍스트로 변환하도록 학습될 수 있다.
하지만 실제 소방 무전에는 여러 종류의 잡음이 포함된다.
예를 들어 소방차의 엔진 소리가 들릴 수 있다.
강한 바람과 무전기의 정전기 잡음이 음성과 겹칠 수도 있다.
또한 소방관들은 일반적인 일상 대화에서 사용하지 않는 전문용어와 약어를 사용할 수 있다.
이런 상황에서는 모델이 실제 신고 내용을 잘못 인식할 가능성이 높아진다.
Watch Duty는 기존에 활동 중이거나 은퇴한 소방관, 관제 담당자와 최초 대응 인력 등이 참여하는 비영리기관이다.
이들은 실제 산불과 관련된 정보를 확인해 사용자에게 경보를 제공한다.
문제는 한 사람이 여러 무전 채널을 동시에 확인하기 어렵다는 점이다.
Google은 이를 해결하기 위해 실제 무전을 자동으로 분석하는 시스템을 개발했다.
2만 시간 이상의 무전 데이터 활용
Google.org Fellowship을 통해 참여한 연구자와 엔지니어들은 약 6개월 동안 Watch Duty와 함께 작업했다.
모델 개발에는 2만 시간 이상의 기존 무전 녹음이 활용됐다.
시스템은 무전의 잡음을 줄이고 실제 발화 내용을 텍스트로 변환한다.
이 과정에는 Gemini 기반의 언어 이해 기능도 사용된다.
예를 들어 소방관이 특정한 지역에 새로운 화재가 발생했다고 무전할 수 있다.
시스템은 해당 내용을 추출한 뒤 관련 담당자에게 확인이 필요한 신호를 전달한다.
중요한 점은 AI가 무전 내용을 해석했다는 사실만으로 실제 산불 발생이 확정되는 것은 아니라는 점이다.
실제 경보를 사용자에게 전달하기 전에는 Watch Duty의 담당자가 정보를 검증한다.
단어 오류율 38%에서 22.34%로 감소
Google이 공개한 주요 운영 결과는 다음과 같다.
| 평가 항목 | 결과 |
|---|---|
| 기존 잡음이 심한 무전의 WER | 38% |
| 새로운 시스템의 WER | 22.34% |
| 하루 처리 무전량 | 200시간 이상 |
| 실제 연결된 무전 피드 | 약 400개 |
| 설계·시험한 동시 처리 범위 | 10,000개 이상 피드 |
| 새 신고 탐지 신호 | 일부 지역에서 30초 이내 |
단어 오류율은 실제 발화와 AI가 인식한 문장 사이의 차이를 측정한다.
38%에서 22.34%로 감소했다는 것은 해당 평가에서 인식 오류가 상당히 줄었다는 의미다.
하지만 여전히 일부 단어는 잘못 인식될 수 있다.
따라서 실제 지역 이름과 화재 위치, 긴급 상황의 세부 내용은 추가 확인이 필요하다.
또한 10,000개 이상의 동시 피드를 처리하도록 시험했다는 사실과 현재 실제로 그만큼 많은 무전 채널을 운영하고 있다는 사실은 다르다.
실제 운영 중인 무전 피드는 약 400개다.
실제 야간 산불에서 활용
Google은 2026년 7월 미국 워싱턴주에서 발생한 Railroad Fire 사례도 소개했다.
해당 산불은 야간에 발생했다.
초기 신고는 잡음이 심한 소방 무전을 통해 전달됐다.
Gemini 기반 시스템은 해당 무전에서 새로운 화재 신고를 탐지해 30초 이내에 Watch Duty 담당자에게 신호를 전달했다.
이후 담당자들이 상황을 확인하고 긴급 경보를 보냈다.
Google에 따르면 이는 Watch Duty가 처음으로 야간에 발송한 Critical Alert 사례였다.
Critical Alert는 긴급 상황에서 일반적인 알림 제한 설정을 넘어 전달할 수 있는 경보다.
다만 이 사례에서 AI의 탐지가 빨랐다는 사실을 모든 산불에서 피해를 예방한다는 보장으로 해석해서는 안 된다.
실제 대피 가능 시간은 산불의 진행 속도와 지형, 기상 상태와 지역의 대응 체계에 따라 달라진다.
실제 자원봉사자의 업무 부담 변화
Google은 무전 전사 도구에 관한 자원봉사자 만족도도 측정했다.
기존 35.3%에서 새로운 도구 적용 이후 92.3%로 높아졌다고 밝혔다.
이 수치는 Google과 Watch Duty가 공개한 자체 조사 결과다.
모든 산불 대응기관에서 같은 만족도 향상이 나타난다는 의미는 아니다.
하지만 실제 사용자의 평가를 함께 공개했다는 점은 주목할 만하다.
AI의 기술적인 인식 정확도와 실제 업무에서 도움이 되는 정도는 서로 다르기 때문이다.
이번 사례는 AI를 중요한 공공 안전 업무에 적용할 때 모델이 모든 결정을 대신하는 방식보다 반복적인 정보 수집과 분류를 자동화하고, 중요한 판단은 전문가가 검증하도록 만드는 구조가 유용할 수 있다는 점을 보여준다.
3️⃣ 개발 도구·에이전트
Hugging Face, 코딩 에이전트별 ‘Harness Adapter’ 학습 방법 공개…같은 모델에서 작업 성공률 높이고 도구 호출 50% 이상 감소
- 발표일: 2026-11-20 — 정확한 게시 시각 미확인
- 적용 범위: AI 코딩 에이전트, 강화학습, LoRA, 오픈소스, Pi, OpenCode, Hermes Agent, 모델 추론 비용
- 원문: Hugging Face — Introducing harness adapters
Hugging Face 연구팀이 실제 코딩 에이전트의 실행 환경에 맞게 언어모델을 추가 학습시키는 Harness Adapter 연구 결과를 공개했다.
이번 발표는 새로운 범용 언어모델을 처음부터 학습한 연구가 아니다.
같은 모델을 사용하더라도 에이전트의 실행 환경에 맞게 학습하면 작업 성공률과 실행 비용을 개선할 수 있다는 사실을 실제 강화학습 실험으로 확인한 것이다.
특히 세 가지 코딩 에이전트에 각각 맞춘 어댑터를 학습하고, 이를 하나로 병합하는 방법도 공개했다.
같은 언어모델이라도 에이전트마다 성능이 다를 수 있다
AI 코딩 에이전트는 언어모델만으로 구성되지 않는다.
실제로 파일을 읽고 수정하는 도구가 필요하다.
터미널에서 명령을 실행하거나 테스트 결과를 확인하는 기능도 필요하다.
또한 이전에 수행한 작업을 어떤 형태로 모델에 다시 전달할지 결정해야 한다.
이런 구조를 Agent Harness(에이전트 하네스)라고 한다.
예를 들어 같은 모델을 Pi와 OpenCode, Hermes Agent에서 각각 실행한다고 가정해 보자.
세 프로그램은 모두 코딩 에이전트지만 실제 도구와 대화 기록을 관리하는 방식이 다를 수 있다.
어떤 에이전트는 이전 추론 내용을 유지할 수 있다.
다른 에이전트는 일부 기록을 생략할 수 있다.
또한 각 프로그램이 모델에 전달하는 도구 사용 형식도 다를 수 있다.
따라서 같은 모델이라도 실행 환경에 따라 실제 성능과 비용이 달라질 가능성이 있다.
LoRA를 이용해 에이전트별 전문 능력 추가
연구팀은 Qwen3.8-27B를 기본 모델로 사용했다.
이후 세 가지 에이전트 하네스마다 별도의 LoRA 어댑터를 학습했다.
LoRA(Low-Rank Adaptation)는 기존 모델의 가중치 전체를 다시 학습하지 않고 상대적으로 적은 추가 파라미터만 학습하는 방법이다.
예를 들어 원래 모델은 그대로 유지할 수 있다.
대신 Pi를 사용할 때는 Pi 전용 어댑터를 적용한다.
OpenCode를 사용할 때는 OpenCode 전용 어댑터를 적용할 수 있다.
중요한 점은 실제 에이전트의 실행 환경 안에서 강화학습을 수행했다는 사실이다.
강화학습(Reinforcement Learning)은 모델이 수행한 행동의 결과에 보상을 제공해 더 좋은 행동을 선택하도록 학습시키는 방법이다.
코딩 작업에서는 실제 테스트가 통과했는지 또는 정해진 문제가 해결됐는지를 보상으로 사용할 수 있다.
작업 성공률과 도구 호출 모두 개선
연구팀은 두 가지 코딩 벤치마크를 사용했다.
첫 번째는 Terminal-Bench 2.1이다.
실제 터미널에서 여러 단계의 작업을 수행하는 능력을 평가한다.
두 번째는 SWE-bench Pro의 어려운 작업 51개다.
실제 소프트웨어 저장소의 문제를 수정하는 능력을 평가한다.
공개된 대표 결과는 다음과 같다.
| 평가 | 기본 모델 | 전용 어댑터 |
|---|---|---|
| Pi, SWE-bench Pro 어려운 51개 작업 | 39.2% | 64.7% |
| Hermes Agent, 같은 평가 | 29.4% | 43.1% |
| OpenCode, 같은 평가 | 35.3% | 51.0% |
| Pi, Terminal-Bench 2.1 | 약 40% | 약 56.5% |
Pi 환경에서는 SWE-bench Pro의 성공률이 25.5%포인트 증가했다.
하지만 이 수치는 51개의 어려운 작업을 선택한 특정 평가에서 얻어진 결과다.
일반적인 모든 코딩 업무에서 성공률이 25.5%포인트 증가한다는 의미는 아니다.
또한 서로 다른 에이전트의 절대 점수를 단순 비교해서는 안 된다.
각 에이전트는 실행 기록을 관리하고 도구를 사용하는 방식이 다르기 때문이다.
성공한 작업에서도 도구 호출량 감소
이번 연구에서 특히 중요한 부분은 성공률뿐 아니라 실제 실행량도 줄었다는 점이다.
연구팀은 기본 모델과 어댑터 적용 모델이 모두 성공한 작업만 별도로 비교했다.
이렇게 하면 쉬운 작업만 성공해서 평균 비용이 낮아지는 효과를 어느 정도 분리할 수 있다.
공개된 결과에 따르면 각 전용 어댑터는 다음과 같은 변화를 보였다.
| 평가 | 도구 호출 감소 |
|---|---|
| SWE-bench Pro | 56~72% |
| Terminal-Bench 2.1 | 53~70% |
예를 들어 기존 에이전트가 하나의 작업을 해결하기 위해 도구를 20번 호출했다고 가정해 보자.
새로운 어댑터가 같은 작업을 더 적은 호출로 해결할 수 있다면 실제 모델 입력과 프로그램 실행 비용도 감소할 가능성이 있다.
Hugging Face는 모델이 불필요한 탐색과 반복적인 명령 실행을 줄이는 방향으로 학습됐다고 설명한다.
다만 도구 호출 횟수가 절반으로 감소했다고 해서 전체 서비스의 비용도 정확하게 절반으로 감소한다는 의미는 아니다.
실제 비용에는 토큰 사용량과 GPU 실행시간, 외부 서비스의 요금도 포함된다.
세 가지 어댑터를 하나로 병합
연구팀은 별도로 학습한 어댑터를 결합한 Super Adapter도 공개했다.
이렇게 하면 하나의 어댑터를 Pi와 OpenCode, Hermes Agent에서 공통으로 사용할 수 있다.
하지만 전문 어댑터를 모두 병합하면 각 에이전트에 특화된 능력의 일부가 약화될 수 있다.
실제 평가에서도 일부 작업에서는 각 전용 어댑터가 Super Adapter보다 높은 성능을 기록했다.
반면 Super Adapter는 기본 모델보다 전반적으로 높은 성능을 유지했다.
또한 여러 에이전트를 함께 지원해야 하는 상황에서는 별도의 어댑터를 모두 관리할 필요를 줄일 수 있다.
따라서 하나의 에이전트만 사용할지, 여러 에이전트를 함께 운영할지에 따라 적절한 선택이 달라질 수 있다.
1억6,700만 토큰을 이용한 강화학습
이번 실험은 실제로 많은 도구 호출과 학습을 포함했다.
| 항목 | 규모 |
|---|---|
| 총 강화학습 단계 | 598단계 |
| 학습 샘플 | 78,114개 |
| 학습에 사용한 토큰 | 약 1억6,700만 개 |
| 안전 검사한 도구 호출 | 약 130만 회 |
| 차단한 의심스러운 도구 호출 | 647회 |
실제 학습 도중 에이전트가 허용되지 않은 행동을 시도할 가능성도 고려해야 한다.
연구팀은 별도의 safeagents 기능을 적용해 실제 도구 호출을 검사했다.
이렇게 하면 모델의 학습 과정에서도 실행 권한을 제한할 수 있다.
하지만 차단된 도구 호출이 647회였다는 사실만으로 나머지 모든 행동이 완전히 안전했다고 보장할 수는 없다.
다른 업무로 성능이 이전되는지는 불확실
연구팀은 코딩 이외의 업무에서도 개선이 유지되는지 확인했다.
이를 위해 AutomationBench의 업무 자동화 작업 300개를 평가했다.
그 결과 기본 모델은 23.0%를 기록했다.
일부 전용 어댑터는 약간 높은 점수를 기록했다.
하지만 병합한 Super Adapter는 23.7%로 기본 모델과 비슷한 수준이었다.
Hermes 전용 어댑터는 오히려 17.7%로 낮아졌다.
이 결과는 특정한 코딩 에이전트에 맞춰 학습한 능력이 다른 업무에 그대로 적용되지는 않을 수 있다는 점을 보여준다.
이번 연구는 AI 에이전트를 개선할 때 모델 자체의 일반적인 성능뿐 아니라 실제로 사용할 도구와 실행 환경, 작업의 종류에 맞춘 학습이 중요하다는 점을 보여준다.
4️⃣ 산업·정책·안전
AWS, 자율형 AI 에이전트가 실제 제로데이 취약점을 발견하고 서버를 장악한 공격 조사 결과 공개
- 발표일: 2026-11-20 — 정확한 게시 시각 미확인
- 사건 발생일: 2026-09-08 ~ 2026-09-10
- 적용 범위: AI 사이버보안, 자율형 공격 에이전트, 제로데이 취약점, 오픈소스 소프트웨어, 대학 연구망, 보안 사고 대응
- 원문: AWS Security Blog — Chinese-nexus actor's Cairn AI agents found a zero-day on their own
Amazon Threat Intelligence가 자율형 AI 에이전트를 이용한 실제 사이버공격 사례를 조사한 결과를 공개했다.
이번 발표에서 중요한 부분은 공격자가 AI에게 큰 목표만 제시한 뒤, AI 에이전트들이 실제 취약점을 탐색하고 새로운 공격 방법을 찾아 실행했다는 사실이다.
특히 일부 공격에서는 이전에 공개되지 않은 소프트웨어 취약점이 발견됐고, 이를 이용해 실제 서버의 제어권을 확보했다.
다만 해당 사건은 11월 20일에 새롭게 발생한 것이 아니다.
AWS는 9월에 발견한 공격 활동을 분석해 11월 20일에 공식 보고서를 발표했다.
Cairn은 어떤 도구인가
이번 공격에는 Cairn이라는 오픈소스 AI 에이전트 프레임워크가 사용됐다.
Cairn은 원래 보안 연구와 문제 해결을 지원하기 위해 개발된 도구다.
사용자가 목표를 설명하면 여러 에이전트가 역할을 나누어 관련 작업을 수행할 수 있다.
예를 들어 허가받은 보안 연구에서는 특정한 테스트 시스템의 취약점을 찾도록 사용할 수 있다.
하지만 공격자가 허가받지 않은 시스템을 대상으로 같은 기능을 사용하면 문제가 발생한다.
이번 사건에서 공격자는 외부 시스템의 제어권을 확보하는 목표를 제공했다.
이후 에이전트들은 필요한 정보를 수집하고 다음 행동을 선택했다.
이를 자율형 에이전트(Autonomous Agent)라고 한다.
사람이 모든 개별 행동을 직접 선택하지 않아도 여러 단계의 작업을 진행하는 시스템이다.
외부에 노출된 공격 시스템에서 실행 기록 발견
Amazon Threat Intelligence는 9월 10일 외부 인터넷에서 인증 없이 접근할 수 있는 Cairn 서버를 발견했다.
해당 서버에는 공격자가 사용한 명령과 실제 에이전트의 실행 기록이 남아 있었다.
이를 통해 AWS는 9월 8일부터 약 48시간 동안 진행된 공격 활동을 분석할 수 있었다.
주요 대상은 중국 본토 외부의 동아시아 대학 연구기관과 관련된 서버였다.
공격자는 여러 대상의 IP 주소를 제공했고, AI 에이전트가 해당 시스템에서 접근 가능한 서비스를 분석하도록 했다.
이번 조사에서는 성공한 공격과 실패한 공격이 모두 확인됐다.
16시간 동안 148개 행동을 수행했지만 실패한 공격
첫 번째 사례는 대학의 Redis 서버에 관한 것이다.
Redis는 데이터를 메모리에 저장해 빠르게 읽고 쓸 수 있도록 지원하는 시스템이다.
실제 웹 애플리케이션에서는 캐시와 세션 저장 등에 사용할 수 있다.
에이전트들은 약 16시간 동안 148개 행동을 수행했다.
여러 방법으로 서버의 제어권을 확보하려 했지만 최종 목표는 달성하지 못했다.
또 다른 사례에서는 대학 GPU 서버를 대상으로 약 6시간 동안 여러 접근 시도를 수행했다.
에이전트들은 공개된 연구실과 직원 정보를 조사해 약 80개의 사용자 이름을 수집했다.
이후 3만 개 이상의 인증정보 조합을 시험했지만 실제로 사용할 수 있는 로그인 정보를 찾지 못했다.
이 결과는 AI 에이전트가 오랫동안 반복적인 작업을 수행할 수 있다는 사실을 보여준다.
하지만 동시에 AI가 자동으로 공격을 수행한다고 해서 모든 공격이 성공하는 것은 아니라는 점도 보여준다.
실제 시스템의 보안 설정과 접근권한 제한이 공격을 막을 수 있었다.
새로운 제로데이 취약점을 발견한 사례
세 번째 사례에서는 다른 결과가 나타났다.
대상은 의료영상 분석에 사용하는 오픈소스 AI 애플리케이션이었다.
에이전트들은 해당 애플리케이션의 API 구조를 조사했다.
이후 파일을 처리하는 기능에서 취약점을 발견했다.
문제의 유형은 Path Traversal(경로 조작 취약점)이었다.
경로 조작 취약점은 프로그램이 파일 경로를 충분히 검사하지 않을 때 허용되지 않은 위치의 파일을 읽거나 수정할 수 있게 되는 문제다.
에이전트들은 약 11분 만에 API 조사에서 임의의 파일을 서버에 작성할 수 있는 상태까지 도달했다.
이후 별도의 실행에서는 해당 취약점을 이용해 서버의 높은 권한을 확보했다.
AWS는 해당 문제가 기존 보안 공지와 취약점 데이터베이스에 등록돼 있지 않았다고 밝혔다.
따라서 조사 당시 새로운 제로데이(Zero-Day) 취약점이었다고 높은 확신으로 평가했다.
제로데이는 일반적으로 아직 수정되지 않았거나 공개적으로 알려지지 않은 취약점을 의미한다.
다만 AWS의 조사 결과가 AI 에이전트가 모든 종류의 새로운 취약점을 단독으로 발견할 수 있다는 의미는 아니다.
실제로 성공한 사례와 실패한 사례가 함께 존재한다.
공격자의 소속은 확정되지 않았다
AWS는 공격자가 중국과 관련된 주체일 가능성이 있다고 평가했다.
그 근거로는 다음 정보가 제시됐다.
- 중국어 간체로 작성된 지시문
- 중국 표준시에 맞춘 실행 기록
- 중국의 전략적 관심과 관련될 가능성이 있는 공격 대상
하지만 AWS의 판단은 중간 수준의 확신(Moderate Confidence)에 해당한다.
이는 특정한 국가의 정부기관이 공격을 직접 지시했다는 사실이 확인됐다는 의미가 아니다.
또한 중국어와 중국 표준시를 사용했다는 사실만으로 공격자의 실제 국적이나 소속을 확정할 수는 없다.
따라서 이번 사건을 중국 정부의 공격으로 단정해서는 안 된다.
취약점은 수정됐고 관련 기관에 통보
Amazon Threat Intelligence는 해당 오픈소스 프로젝트의 개발자에게 취약점을 알렸다.
개발자는 수정사항을 공개하고 GitHub Security Advisory를 발행했다.
AWS는 영향을 받은 기관에도 관련 정보를 전달했다.
다만 해당 기관들은 AWS의 직접적인 고객이 아니었으므로 AWS는 정부 협력 경로를 통해 관련 사실을 알렸다고 설명했다.
이번 사례는 AI 보안의 중요한 변화를 보여준다.
기존에는 새로운 취약점이 공개된 뒤 공격자가 이를 분석하는 시간이 필요할 수 있었다.
하지만 자율형 에이전트는 실제 시스템을 조사하고 새로운 취약점을 발견하는 과정을 빠르게 수행할 수 있다.
따라서 실제 보안 대응에서도 취약점 발견과 패치 적용 사이의 시간뿐 아니라 외부에서 접근 가능한 시스템을 지속적으로 감시하고 신속하게 대응하는 능력이 더욱 중요해지고 있다.
AWS, 언론·출판사의 AI 크롤러 유료 접근을 위한 통합 설계 공개…콘텐츠 제공과 과금을 기술적으로 연결
- 발표일: 2026-11-20 — 정확한 게시 시각 미확인
- 적용 범위: AI 콘텐츠 저작권·라이선싱, 언론·출판산업, AI 크롤러, CloudFront, AWS WAF, 콘텐츠 과금, 데이터 유통
- 원문: AWS — How publishers can prepare their content for AI monetization
AWS가 언론사와 출판사가 자사의 콘텐츠를 AI 시스템에 유료로 제공할 수 있도록 하는 새로운 참조 아키텍처와 구현 가이드를 공개했다.
이번 발표는 새로운 저작권 법률이나 AI 학습에 대한 법적 판결이 아니다.
기존 웹사이트의 콘텐츠를 AI 크롤러와 에이전트에 어떤 조건으로 제공할지 결정하고, 실제 접근에 대한 결제와 사용량 측정을 연결하는 기술적 설계를 소개한 것이다.
중요한 점은 여기에 포함된 모든 서비스가 11월 20일 처음 출시된 것은 아니라는 사실이다.
AWS는 6월에 AI 트래픽 과금 기능을 소개했고, 11월 5일에는 Stripe를 이용한 정산 기능을 추가했다.
11월 20일의 새로운 내용은 이런 기능을 출판사의 콘텐츠 유통과 연결하는 통합 가이드 및 배포 가능한 참조 구조를 공개했다는 점이다.
기존 검색엔진과 AI 에이전트의 차이
전통적인 검색엔진은 웹페이지를 수집하고 검색 결과를 제공한다.
사용자는 검색 결과의 링크를 눌러 실제 웹사이트를 방문할 수 있다.
이 과정에서 웹사이트 운영자는 광고나 구독을 통해 수익을 얻을 수 있다.
하지만 AI 검색과 생성형 답변에서는 다른 상황이 발생할 수 있다.
사용자가 특정한 질문을 하면 AI가 여러 자료를 종합해 답변을 제공한다.
이 경우 사용자는 원래 정보를 제공한 웹사이트를 직접 방문하지 않을 수 있다.
따라서 언론사와 출판사 입장에서는 콘텐츠가 사용되는 정도와 실제 웹사이트 방문량 사이에 차이가 발생할 가능성이 있다.
AWS는 이런 변화를 기존의 검색 후 방문(Crawl-and-Refer)에서 수집 후 소비(Crawl-and-Consume)로의 변화라고 설명한다.
다만 모든 AI 서비스가 동일한 방식으로 콘텐츠를 수집하고 사용한다는 의미는 아니다.
일부 서비스는 실제 웹사이트로의 링크와 인용을 제공한다.
또한 AI 개발을 위한 학습 데이터 수집과 실시간 AI 검색 에이전트의 접근은 서로 다른 행위다.
AI 크롤러를 식별하고 접근 범위 제한
AWS는 Amazon CloudFront와 AWS WAF를 이용해 AI 크롤러의 요청을 분석하도록 지원한다.
CloudFront는 웹사이트의 콘텐츠를 여러 지역의 사용자에게 효율적으로 전달하는 CDN 서비스다.
CDN(Content Delivery Network)은 여러 지역의 서버를 이용해 웹 콘텐츠를 빠르게 전달하는 네트워크다.
WAF(Web Application Firewall)는 웹 애플리케이션에 들어오는 요청을 검사하고 허용하거나 차단하는 보안 기능이다.
AWS에 따르면 CloudFront는 650개 이상의 알려진 AI 봇과 에이전트를 분류하는 목록을 관리한다.
이를 이용하면 실제 어떤 종류의 자동화 프로그램이 웹사이트에 접근하는지 관찰할 수 있다.
이후 출판사는 콘텐츠의 종류에 따라 다른 규칙을 적용할 수 있다.
예를 들어 검색엔진의 크롤러에는 일부 기사에 접근하도록 허용할 수 있다.
반면 특정한 AI 학습용 크롤러에는 다른 접근 조건을 적용할 수 있다.
다만 봇을 식별하는 기술이 모든 자동화 프로그램을 완벽하게 분류한다는 의미는 아니다.
실제 프로그램은 식별정보를 잘못 제공하거나 위조할 수 있다.
HTTP 402를 이용한 콘텐츠 과금
이번 아키텍처에는 HTTP 402 Payment Required 응답을 이용한 과금도 포함된다.
HTTP는 웹브라우저와 서버가 요청과 응답을 교환하는 통신 규격이다.
HTTP 402는 결제와 관련된 상태 코드다.
예를 들어 AI 에이전트가 유료로 제공되는 기사에 접근한다고 가정해 보자.
서버는 콘텐츠를 즉시 반환하는 대신 결제가 필요하다는 응답을 제공할 수 있다.
응답에는 콘텐츠의 가격과 지원하는 결제 방식이 포함될 수 있다.
AI 에이전트는 허용된 결제 절차를 완료한 뒤 다시 콘텐츠를 요청한다.
AWS는 이런 흐름에 x402라는 결제 프로토콜을 사용한다.
이번 구현에서는 스테이블코인 USDC 기반의 결제가 지원된다.
또한 출판사는 Stripe를 통해 일반 화폐 형태로 정산받을 수 있다.
하지만 이것이 모든 AI 에이전트가 자동으로 콘텐츠 사용료를 지불한다는 의미는 아니다.
실제 에이전트는 관련 결제 프로토콜과 접근 조건을 지원해야 한다.
또한 출판사에서 가격을 설정했다고 해서 모든 크롤러가 해당 가격을 수락하는 것도 아니다.
콘텐츠를 상품처럼 제공하는 구조
이번 통합 가이드는 단순히 웹페이지에 가격표를 붙이는 것보다 넓은 구조를 제시한다.
AWS는 필요한 기능을 다섯 가지로 나누었다.
| 단계 | 주요 목적 |
|---|---|
| Prepare | AI가 이해할 수 있도록 콘텐츠 구조화 |
| Observe | 실제 AI 봇의 접근과 사용량 측정 |
| Control | 봇과 경로별 접근권한 설정 |
| Monetize | 콘텐츠 접근에 대한 과금 |
| Measure | 수익과 사용량을 분석해 정책 개선 |
예를 들어 언론사가 일반 웹페이지와 AI 에이전트용 콘텐츠를 서로 다른 형식으로 제공할 수 있다.
AI 에이전트에는 불필요한 광고와 화면 요소를 제거한 구조화된 본문을 제공할 수 있다.
또한 기사별로 가격을 다르게 설정할 수 있다.
예를 들어 오래된 공개자료와 최신 전문 분석 기사의 가격을 다르게 지정하는 방식을 생각할 수 있다.
하지만 어떤 콘텐츠에 실제로 얼마의 경제적 가치가 있는지는 시장과 이용 계약에 따라 달라진다.
기술적 과금과 저작권의 법적 허용 여부는 다르다
이번 기술의 중요한 한계는 콘텐츠에 대한 결제 기능이 존재한다고 해서 모든 저작권 문제가 자동으로 해결되는 것은 아니라는 사실이다.
예를 들어 AI 모델을 학습시키기 위해 과거에 수집한 자료의 법적 사용 여부는 별도의 문제다.
반면 이번 아키텍처는 향후 웹사이트에 접근하는 AI 시스템에 대한 기술적 사용 조건을 관리하는 데 초점을 맞췄다.
실제 라이선싱 계약에서는 데이터의 이용 목적과 저장 기간, 재배포와 모델 학습 허용 여부 등을 따로 정해야 할 수 있다.
또한 기술적인 접근 제한이 모든 국가의 저작권법에 따른 권리를 동일하게 결정하지도 않는다.
이번 발표는 생성형 AI가 콘텐츠를 사용하는 규모가 커지면서 웹사이트 방문과 광고 중심의 기존 수익모델 이외에 기계적 콘텐츠 접근 자체를 측정하고 과금하는 구조가 개발되고 있음을 보여준다.
📚 추천 글
On the Use of AI-Based Tools to Find Bugs in Open Source Software
- 저자: Willy Tarreau
- 발행: HAProxy Technologies
- 게시일: 2026-11-19
- 원문: HAProxy — On the Use of AI-Based Tools to Find Bugs in Open Source Software
AI를 이용해 소프트웨어의 취약점을 빠르게 발견할 수 있다면 오픈소스 생태계도 더 안전해질까?
이번 글은 HAProxy의 주요 개발자이자 Linux 커널 보안팀의 일원인 Willy Tarreau가 직접 경험한 AI 기반 보안 연구의 장점과 문제를 설명한다.
특히 AI로 취약점 후보를 발견하는 작업은 빨라졌지만 실제 오픈소스 관리자가 이를 검증하고 수정하는 데 필요한 시간은 줄어들지 않을 수 있다는 점을 강조한다.
취약점을 발견하는 비용과 검증하는 비용
최근 AI 모델은 긴 소스코드를 분석하고 오류가 발생할 가능성이 있는 부분을 찾을 수 있다.
예를 들어 사용자가 C 언어로 작성된 네트워크 프로그램을 AI에게 분석하도록 요청할 수 있다.
모델은 메모리 처리와 입력값 검사 등에서 문제가 발생할 수 있는 부분을 제안한다.
하지만 실제로 취약점이 존재하는지 확인하려면 더 많은 작업이 필요하다.
예를 들어 어떤 입력을 사용했을 때 문제가 발생하는지 재현해야 한다.
또한 해당 입력이 실제 운영환경에서도 도달할 수 있는 경로에 존재하는지 확인해야 한다.
이런 작업에 사용하는 프로그램이나 절차를 Reproducer(재현 도구)라고 한다.
재현 도구는 특정한 버그가 실제로 발생한다는 사실을 반복적으로 확인할 수 있게 만든다.
Tarreau는 최근 몇 달 동안 수백 건의 AI 보조 보안 보고서를 받았다고 설명한다.
하지만 상당수에는 재현 도구나 수정 코드가 포함되지 않았다.
이 경우 관리자는 실제 문제가 존재하는지 직접 조사해야 한다.
AI가 보고서를 만드는 비용은 낮아졌지만 실제 보고서를 검증하는 사람의 업무는 증가할 수 있는 것이다.
실제 모델의 성능은 크게 개선됐다
Tarreau는 AI 보안 연구 자체를 부정하지 않는다.
오히려 최근 모델이 실제로 복잡한 오류를 발견하는 능력이 상당히 개선됐다고 평가한다.
특히 신뢰할 수 있는 동료가 고성능 모델을 이용해 HAProxy의 오류를 찾고, 직접 재현과 수정 작업까지 수행한 사례를 높게 평가했다.
여기서 중요한 차이는 모델이 생성한 결과를 그대로 제출하는 것과 전문가가 실제로 확인한 결과를 제출하는 것은 다르다는 점이다.
예를 들어 AI가 특정한 코드에서 메모리 오류가 발생한다고 주장할 수 있다.
하지만 실제 프로그램에서는 해당 코드가 특정한 조건 때문에 실행되지 않을 수도 있다.
이 경우 겉으로는 위험해 보이는 코드가 실제 보안 취약점으로 이어지지 않을 수 있다.
따라서 실제 실행 경로와 입력 조건을 확인해야 한다.
좋은 보안 보고서에 필요한 정보
Tarreau는 실제 오픈소스 관리자가 필요로 하는 자료를 구체적으로 설명한다.
대표적으로 다음과 같다.
- 어떤 버전과 코드에서 문제가 발생하는지
- 실제로 문제가 발생함을 보여주는 재현 방법
- 문제가 발생하는 원인
- 수정 코드의 후보
- 수정 이후 문제가 다시 발생하지 않는지 확인하는 테스트
여기서 회귀 테스트(Regression Test)가 중요하다.
회귀 테스트는 이미 수정한 문제가 이후 코드 변경으로 다시 발생하지 않는지 확인하는 테스트다.
예를 들어 메모리 오류를 수정한 뒤 동일한 입력을 다시 사용해 문제가 해결됐는지 확인할 수 있다.
또한 비슷한 종류의 다른 오류가 발생하지 않는지도 검사해야 한다.
Tarreau는 재현과 수정, 테스트가 충분하지 않은 AI 보고서를 관리자가 직접 처리하도록 요구하는 것은 바람직하지 않다고 설명한다.
AI 모델의 안전 제한이 방어 작업을 방해할 수도 있다
이번 글에서는 모델의 사이버보안 관련 안전장치도 비판적으로 다룬다.
예를 들어 소프트웨어 개발자는 자신이 관리하는 프로그램에서 취약점이 실제로 존재하는지 재현해야 할 수 있다.
그런데 일부 모델은 보안 관련 표현이 등장했다는 이유만으로 정상적인 방어 연구를 거부할 수 있다.
Tarreau는 이런 경험이 실제 개발과 수정 작업을 방해했다고 설명한다.
하지만 특정 모델이 실제로 거부한 사례가 존재한다는 사실만으로 모든 보안 관련 제한이 불필요하다는 의미는 아니다.
허가받은 방어 연구와 외부 시스템에 대한 무단 공격은 서로 다른 행동이다.
실제 보안 모델의 정책에서는 이런 차이를 구분할 필요가 있다.
또한 글에 등장하는 모델별 평가는 Tarreau의 개인적인 경험이다.
동일한 모델을 모든 종류의 코드에서 객관적으로 비교한 대규모 독립 벤치마크는 아니다.
오픈소스의 유지보수 부담이라는 새로운 문제
이번 글은 AI가 실제 보안 연구의 비용 구조를 바꿀 가능성을 보여준다.
기존에는 새로운 취약점을 발견하는 데 상당한 전문성이 필요했다.
하지만 AI가 관련 분석을 지원하면 더 많은 사람이 취약점 후보를 제출할 수 있다.
문제는 그중 실제로 중요한 문제가 얼마나 되는지 구분하는 일이다.
오픈소스 관리자는 실제 코드를 수정하고 기존 사용자에게 영향을 주지 않도록 검증해야 한다.
따라서 취약점 후보가 많이 발견되는 것만으로 실제 프로젝트가 더 안전해지는 것은 아니다.
이번 글은 AI를 이용한 보안 연구에서 발견한 취약점의 수보다 실제로 재현하고 수정할 수 있는 결과를 제출하는 능력이 중요하다는 관점을 제공한다.
특히 AI 코딩 에이전트를 이용해 오픈소스 프로젝트에 보안 보고서를 제출하려는 개발자에게 읽어볼 가치가 있다.
How Bee implemented Zero Operator Access for personal AI on AWS
- 저자: Gopinath Jagadesan, Ethan Sutin, Steve Korshakov, Arvind Raghu
- 발행: AWS Architecture Blog / Bee
- 게시일: 2026-11-20
- 원문: AWS — How Bee implemented Zero Operator Access for personal AI on AWS
개인 AI 비서가 사용자의 일상적인 대화와 일정, 민감한 정보를 지속적으로 분석한다면 누가 해당 데이터를 볼 수 있을까?
이번 글은 Amazon의 개인 AI 서비스 Bee가 사용자의 데이터를 보호하기 위해 개발한 Zero Operator Access(ZOA) 아키텍처를 설명한다.
ZOA는 실제 서비스를 운영하는 엔지니어와 내부 직원이 사용자의 개인정보에 임의로 접근할 수 없도록 기술적으로 제한하는 설계다.
특히 관리자에게 데이터에 접근하지 말라는 정책을 제공하는 데서 끝나지 않고 실제로 승인된 소프트웨어가 실행 중이라는 사실을 사용자의 기기가 검증한 이후에만 암호화 키를 제공하도록 만들었다는 점이 특징이다.
일반적인 서버 보안과 무엇이 다른가
일반적인 클라우드 서비스에서는 데이터를 암호화해 저장할 수 있다.
암호화(Encryption)는 정해진 키가 없으면 데이터를 이해하기 어렵도록 변환하는 기술이다.
하지만 서버에서 실제 데이터를 분석하려면 어느 순간에는 암호를 해제해야 할 수 있다.
이 경우 서버를 관리하는 직원이 높은 권한을 가지고 있다면 내부 데이터에 접근할 가능성이 존재한다.
예를 들어 관리자가 서버의 실행 프로그램을 변경해 민감한 정보를 기록하도록 만들 수 있다.
Bee는 이런 문제를 줄이기 위해 사용자의 기기에서 실제 서버의 상태를 검증하도록 하는 구조를 도입했다.
Remote Attestation으로 실제 실행 소프트웨어 검증
이번 기술의 핵심은 Remote Attestation(원격 실행 환경 증명)이다.
원격 증명은 서버가 실제로 어떤 운영체제와 프로그램을 실행하고 있는지 검증 가능한 정보를 제공하는 기술이다.
예를 들어 사용자가 자신의 개인 AI 비서에 새로운 질문을 보낸다고 가정해 보자.
Bee의 서버는 사용자 데이터를 처리해야 한다.
하지만 사용자의 기기는 해당 서버가 승인된 프로그램을 실행하고 있는지 먼저 검사한다.
이 검증에는 AWS Nitro System과 NitroTPM이 사용된다.
TPM(Trusted Platform Module)은 컴퓨터의 보안 상태와 암호화 관련 정보를 관리하는 하드웨어 기반 기능이다.
NitroTPM은 AWS 가상 서버에서 이런 역할을 수행하도록 지원한다.
서버는 실제 부팅 과정과 프로그램의 상태를 측정한 증명 정보를 제공한다.
사용자의 기기는 이 정보가 사전에 승인된 상태와 일치하는지 확인한다.
일치하지 않으면 데이터를 복호화할 키를 전달하지 않는다.
운영체제뿐 아니라 AI 모델의 가중치까지 확인
이번 글에서 중요한 부분은 단순히 운영체제의 버전만 확인하지 않는다는 점이다.
Bee는 실제 컨테이너 이미지와 AI 모델의 가중치도 검증한다.
컨테이너(Container)는 프로그램과 실행에 필요한 파일을 묶어 격리된 환경에서 실행하도록 하는 기술이다.
예를 들어 서버에 승인된 운영체제가 설치됐더라도 실제 AI 모델의 가중치가 임의로 변경됐다면 문제가 발생할 수 있다.
또는 데이터 처리 프로그램이 다른 버전으로 교체됐을 수도 있다.
Bee는 이런 변경사항을 감지하기 위해 실제 컨테이너와 모델 파일의 체크섬을 계산한다.
체크섬(Checksum)은 파일의 내용을 바탕으로 계산한 값으로, 파일이 변경됐는지 확인하는 데 활용할 수 있다.
이 정보는 NitroTPM의 별도 측정 영역인 PCR14에 기록된다.
따라서 서버의 운영체제 상태뿐 아니라 실제 애플리케이션과 모델의 상태도 함께 검증할 수 있다.
승인된 구성 목록은 별도로 공개
Bee는 승인된 실행 구성을 Sigstore Rekor라는 공개 투명성 로그에 기록한다.
이렇게 하면 실제 서버의 상태와 사전에 승인된 구성의 관계를 외부에서 검증할 수 있다.
예를 들어 새로운 모델 버전을 배포한다면 해당 모델의 검증 정보가 먼저 기록돼야 한다.
이후 사용자 기기는 연결하려는 서버가 해당 버전을 실행하고 있는지 확인할 수 있다.
중요한 점은 승인 정보를 관리하는 역할과 실제 서비스를 운영하는 역할을 분리했다는 사실이다.
Bee는 승인 기록을 별도의 Amazon 조직에서 관리하도록 구성했다.
이렇게 하면 하나의 운영 조직이 서버의 소프트웨어와 검증 기준을 동시에 임의로 변경하는 위험을 줄이려는 것이다.
사용자의 기기가 키를 제공할지 결정
실제 연결 과정은 다음과 같다.
| 단계 | 처리 내용 |
|---|---|
| 1 | 서버가 자신의 실행 상태에 관한 증명 제시 |
| 2 | 사용자의 기기가 AWS Nitro 서명과 승인 목록 확인 |
| 3 | 승인된 소프트웨어와 일치하는지 검증 |
| 4 | 검증에 성공한 경우에만 짧은 수명의 암호화 키 제공 |
| 5 | 서버가 승인된 범위에서 데이터를 처리 |
이렇게 하면 단순히 사용자가 서버를 신뢰해야 하는 것이 아니라 실제 실행 상태를 확인할 수 있다.
또한 Bee는 서버에 SSH나 일반적인 관리자 셸을 제공하지 않도록 설계했다.
서버의 기본 파일시스템은 읽기 전용으로 유지한다.
일시적으로 저장하는 데이터도 메모리에만 존재하는 키를 이용해 암호화한다.
원격 증명만으로 완전한 보호가 가능한 것은 아니다
이번 글은 원격 증명의 한계도 명확하게 설명한다.
예를 들어 서버가 승인된 소프트웨어를 실행하고 있다는 사실을 증명할 수 있다.
하지만 서버가 실제로 어떤 네트워크에 접근할 수 있는지까지 모든 조건을 확인하는 것은 아니다.
또한 해당 서버의 클라우드 계정 권한을 누가 변경할 수 있는지도 별도의 문제다.
따라서 Bee는 네트워크 제한과 접근권한, 데이터 저장 정책을 함께 적용했다.
또한 사용자의 동의를 받은 외부 연동 기능에서는 실제 평문 데이터가 필요한 서비스에 전달될 수 있다고 설명한다.
즉 ZOA가 존재한다고 해서 모든 데이터가 어떤 상황에서도 복호화되지 않는다는 의미는 아니다.
이번 글은 개인 AI를 설계할 때 데이터를 암호화하는 것과 실제로 데이터를 처리하는 프로그램이 신뢰할 수 있는 상태인지 검증하는 것은 서로 다른 보안 문제라는 점을 설명한다.
특히 개인의 일상 기록과 민감한 데이터를 처리하는 AI 서비스의 보안 구조를 이해하는 데 유용한 자료다.
Distributed Inference for Local AI via Superfluid
- 저자: Fabian Waschkowski, Lukas Wesemann, Prabod, Srikandabala Kogul, Steve Siu 외 BaseCompute 연구진
- 발행: BaseCompute / Hugging Face
- 게시일: 2026-11-20
- 원문: Hugging Face — Distributed Inference for Local AI via Superfluid
집에 여러 대의 컴퓨터가 있다면 각각의 GPU 성능을 모아 하나의 로컬 AI 서비스처럼 사용할 수 있을까?
이번 글은 여러 종류의 컴퓨터에서 로컬 언어모델을 실행하고 이를 하나의 API로 연결하는 Superfluid Fleet Mode의 구조와 실제 성능을 설명한다.
특히 NVIDIA와 AMD, Apple Silicon처럼 서로 다른 하드웨어를 하나의 시스템으로 묶는 방법을 자세하게 공개했다는 점이 흥미롭다.
서로 다른 컴퓨터를 하나의 AI 서버처럼 사용
일반적인 로컬 AI에서는 하나의 컴퓨터에 언어모델을 설치한다.
하지만 실제 개발자나 소규모 조직은 여러 대의 컴퓨터를 보유할 수 있다.
예를 들어 MacBook과 Mac Studio, NVIDIA GPU가 장착된 워크스테이션이 존재할 수 있다.
이런 컴퓨터들은 서로 다른 시간에 사용된다.
어떤 컴퓨터는 사용량이 높지만 다른 컴퓨터는 거의 사용되지 않을 수 있다.
Superfluid는 이런 문제를 해결하기 위해 여러 컴퓨터를 하나의 실행 그룹으로 연결한다.
이를 Fleet(플릿)이라고 한다.
플릿은 여러 컴퓨터가 하나의 작업 환경에 참여하는 구조다.
사용자는 각각의 컴퓨터를 직접 선택할 필요 없이 하나의 API 주소에 요청을 전달할 수 있다.
하나의 큰 모델을 나누어 실행하는 방식과 다르다
Superfluid Fleet Mode에서 중요한 부분은 실제 분산 실행 방식이다.
일반적인 분산 AI에서는 하나의 거대한 모델을 여러 GPU에 나누어 저장할 수 있다.
이를 Model Parallelism(모델 병렬화)이라고 한다.
예를 들어 모델의 앞부분을 첫 번째 GPU에 저장하고 뒷부분을 두 번째 GPU에 저장할 수 있다.
하지만 Superfluid는 다른 방식을 사용한다.
각 컴퓨터에 같은 모델의 전체 가중치를 저장하고, 실제 사용자 요청을 컴퓨터별로 배분한다.
이렇게 하면 하나의 대화를 여러 컴퓨터에 나누어 처리할 필요를 줄일 수 있다.
또한 특정한 컴퓨터가 느려도 다른 컴퓨터가 별도의 요청을 처리할 수 있다.
하지만 모델 전체가 각 컴퓨터의 메모리에 들어갈 수 있어야 한다.
따라서 여러 대의 메모리를 합쳐 하나의 초대형 모델을 실행하는 기술과는 다르다.
실제 처리 속도에 따라 요청 배분
Superfluid는 각 컴퓨터의 실제 처리 속도를 측정한다.
대표적으로 다음 정보를 활용한다.
- 입력 처리 속도
- 출력 토큰 생성 속도
- 현재 대기 중인 요청
- KV Cache 사용량
KV Cache(Key-Value Cache)는 언어모델이 이전에 처리한 입력의 일부 계산 결과를 저장해 이후에 재사용하는 기능이다.
예를 들어 하나의 사용자가 같은 대화를 여러 번 이어간다고 가정해 보자.
기존 대화를 처리한 컴퓨터에는 이전 입력에 관한 캐시가 존재할 수 있다.
다음 요청도 같은 컴퓨터에 전달하면 일부 계산을 재사용할 수 있다.
하지만 해당 컴퓨터의 사용량이 너무 높다면 다른 컴퓨터에 요청하는 편이 더 빠를 수 있다.
Superfluid는 이런 조건을 고려해 요청을 배분한다.
여섯 대의 서로 다른 컴퓨터로 처리량 112에서 534토큰/초
연구팀은 Apple과 AMD, NVIDIA의 반도체를 사용하는 컴퓨터 여섯 대를 연결했다.
이후 64명의 가상 사용자가 한 시간 동안 요청을 보내는 환경을 시험했다.
사용한 모델은 Qwen3-4B였다.
| 컴퓨터 수 | 전체 출력 처리량 | 첫 토큰 생성시간 중앙값 |
|---|---|---|
| 1대 | 112토큰/초 | 98.5초 |
| 2대 | 180토큰/초 | 42.5초 |
| 3대 | 304토큰/초 | 24.8초 |
| 4대 | 424토큰/초 | 16.1초 |
| 5대 | 481토큰/초 | 13.8초 |
| 6대 | 534토큰/초 | 11.7초 |
처리량(Throughput)은 일정한 시간에 실제로 처리한 작업의 양이다.
컴퓨터가 한 대일 때는 많은 요청이 하나의 장치에 집중됐다.
하지만 컴퓨터의 수가 증가하자 여러 요청을 동시에 처리할 수 있게 됐다.
그 결과 전체 출력 처리량이 증가하고 사용자가 첫 번째 응답을 받기까지 걸리는 대기시간이 감소했다.
다만 이 결과는 특정한 모델과 컴퓨터 여섯 대, 64명의 가상 사용자를 대상으로 측정됐다.
모든 로컬 AI 모델에서 동일한 처리량 증가가 발생한다는 의미는 아니다.
또한 컴퓨터를 여섯 대 연결했다고 해서 하나의 요청을 처리하는 계산 자체가 여섯 배 빨라지는 것은 아니다.
주로 여러 사용자의 요청을 분산 처리하는 방식이다.
실행 중인 컴퓨터가 고장 나면 다른 컴퓨터로 이전
이번 연구에서는 Failover(장애 시 대체 실행) 기능도 시험했다.
예를 들어 하나의 컴퓨터가 응답을 생성하는 도중 종료될 수 있다.
Superfluid는 해당 컴퓨터가 이미 생성한 토큰을 기록한다.
이후 다른 컴퓨터가 기존에 생성된 내용을 참고해 남은 작업을 이어서 처리한다.
연구팀은 실제 실행 중인 컴퓨터 하나를 종료하는 시험을 수행했다.
그 결과 진행 중이던 요청 61개가 다른 컴퓨터에서 완료됐다고 밝혔다.
전체 평가에서는 5,041개 요청을 모두 처리했다.
하지만 장애 이후 이어서 생성한 텍스트가 실제로 완전히 동일한 결과를 제공한다는 의미는 아니다.
언어모델의 출력은 실행 설정과 계산 환경에 따라 달라질 수 있다.
로컬 AI의 개인정보 보호 조건
Superfluid는 여러 컴퓨터 사이에서 실제 모델의 가중치나 KV Cache를 전송하지 않는다.
주요 통신에는 토큰 ID가 사용된다.
또한 컴퓨터 사이의 통신을 보호하기 위해 암호화된 연결을 제공한다.
이런 구조는 로컬 네트워크 안에서 실제 AI 요청을 처리하려는 조직에 유용할 수 있다.
하지만 로컬에서 실행한다는 사실만으로 모든 개인정보 보호 문제가 해결되는 것은 아니다.
실제로 같은 네트워크에 참여하는 컴퓨터의 접근권한과 저장된 실행 기록도 관리해야 한다.
이번 글은 로컬 AI의 확산이 하나의 고성능 컴퓨터에 의존하는 방식에서 벗어나 기존에 보유한 여러 컴퓨터의 계산 자원을 하나의 서비스로 연결하는 방향으로도 발전하고 있음을 보여준다.
Hybrid intelligence on the Web: Introducing Aion Instruct and Prompt API in Microsoft Edge
- 저자: Sohum Chatterjee
- 발행: Microsoft Edge Blog
- 게시일: 2026-11-19
- 원문: Microsoft — Hybrid intelligence on the Web
웹사이트에서 AI 기능을 제공하려면 모든 사용자의 입력을 클라우드 언어모델에 전달해야 할까?
이번 글은 Microsoft Edge가 작은 언어모델을 브라우저 안에서 직접 실행하도록 지원하는 기술과 개발자용 API를 설명한다.
특히 실제 웹사이트에서 로컬 AI와 클라우드 AI를 함께 사용할 수 있도록 하는 구조에 초점을 맞췄다는 점에서 웹 개발자에게 참고할 만한 자료다.
Aion Instruct: 브라우저에 내장된 소형 모델
Microsoft는 Aion Instruct라는 모델을 Edge의 기본 소형 언어모델로 제공하기 시작했다.
Aion은 약 23억 개의 파라미터를 가진 모델이다.
기존의 Phi-4-mini를 대체한다.
Microsoft에 따르면 Aion은 더 적은 메모리를 사용하면서 일반적인 웹 작업에서 비슷한 수준의 품질을 제공하도록 설계됐다.
대표적인 작업은 다음과 같다.
- 문장 요약
- 간단한 문서 작성
- 지시 이행
- 텍스트 분류
- 구조화된 데이터 생성
중요한 점은 모델이 브라우저 안에서 실행될 수 있다는 사실이다.
예를 들어 웹페이지에서 사용자가 작성한 문장의 일부를 분석해야 한다고 가정해 보자.
기기에 필요한 자원이 충분하다면 입력을 외부 클라우드 서버에 전달하지 않고 로컬에서 처리할 수 있다.
하지만 브라우저에서 모델을 실행한다는 사실만으로 모든 작업을 인터넷 없이 처리할 수 있다는 의미는 아니다.
실제 기능은 모델의 다운로드 상태와 하드웨어, 웹사이트의 추가적인 서버 요청에 따라 달라진다.
Prompt API로 실제 웹사이트에서 AI 호출
Microsoft는 Prompt API의 Origin Trial도 제공하기 시작했다.
Origin Trial은 웹브라우저가 새로운 웹 기능을 정식 표준으로 확정하기 전에 특정한 웹사이트에서 실제 사용자와 함께 시험하도록 제공하는 프로그램이다.
개발자는 Prompt API를 이용해 브라우저의 내장 언어모델에 요청을 전달할 수 있다.
예를 들어 댓글 작성 화면에서 사용자가 입력한 문장의 요약을 제공할 수 있다.
또는 제품 후기의 핵심 내용을 추출할 수 있다.
하지만 실제 모든 브라우저가 같은 API를 지원하는 것은 아니다.
따라서 웹 애플리케이션에서는 API의 존재 여부를 확인해야 한다.
지원되지 않는 환경에서는 다른 처리 방식으로 전환할 수도 있다.
이를 Fallback(대체 실행)이라고 한다.
로컬 AI와 클라우드 AI를 결합
이번 글에서 중요한 개념은 Hybrid Intelligence(하이브리드 지능)다.
하나의 웹 애플리케이션에서 로컬 AI와 클라우드 AI를 함께 사용하는 방식이다.
예를 들어 간단한 텍스트 분류는 브라우저의 소형 모델에서 처리할 수 있다.
반면 복잡한 문서 분석이나 긴 추론이 필요한 작업은 클라우드의 더 큰 모델에 전달할 수 있다.
이렇게 하면 모든 요청을 같은 모델로 처리할 필요를 줄일 수 있다.
하지만 실제 어떤 작업을 로컬에서 처리할지 결정하려면 모델의 성능과 기기의 자원, 개인정보 처리 조건을 함께 고려해야 한다.
예를 들어 사용자의 기기 성능이 낮다면 로컬 모델을 실행하는 것보다 클라우드에서 처리하는 편이 더 빠를 수 있다.
Decisions API로 문장 생성 없이 분류
Microsoft는 새로운 Decisions API의 개발자 프리뷰도 공개했다.
이 API는 일반적인 문장을 생성하는 대신 정해진 선택지의 점수를 계산한다.
예를 들어 다음과 같은 질문을 할 수 있다.
- 이 문장은 긍정적인 후기인가?
- 어떤 고객지원 부서에 전달해야 하는가?
- 이 콘텐츠의 긴급도는 어느 정도인가?
Decisions API는 여러 판단을 하나의 모델 계산에서 처리하도록 설계됐다.
하지만 이 기능은 발표 시점에 Edge Canary와 Dev 채널에서만 개발자 프리뷰로 제공된다.
Prompt API의 Origin Trial과 제공 상태가 다르다.
따라서 일반적인 모든 Edge 사용자가 같은 기능을 즉시 사용할 수 있는 것은 아니다.
또한 분류 결과의 확률이 높다는 사실만으로 실제 정답일 가능성이 정확하게 같은 비율이라는 의미는 아니다.
실제 애플리케이션에서는 별도의 검증 데이터로 분류 정확도를 확인해야 한다.
이번 글은 웹에서 AI를 사용하는 방식이 외부 API에 요청을 보내는 구조에서 브라우저의 로컬 모델과 클라우드 모델을 작업별로 조합하는 구조로 확대될 수 있다는 점을 보여준다.
특히 개인정보 보호와 응답속도, 실제 브라우저의 호환성을 함께 고려해야 하는 웹 개발자에게 유용한 자료다.