AI 데일리 브리핑 — 2026-11-16
Soshy··조회수 —

기준 시점: 2026-11-16 06:00 KST (Asia/Seoul)
AI 동향 조사 범위: 2026-11-15 06:00 ~ 2026-11-16 06:00 KST
추천 글 범위: 2026-11-09 06:00 ~ 2026-11-16 06:00 KST
1️⃣ 주요 모델·연구
이번 조사 범위에서 포함할 만한 주요 신규 발표를 확인하지 못했습니다.
2️⃣ AI 제품·서비스
이번 조사 범위에서 포함할 만한 주요 신규 발표를 확인하지 못했습니다.
3️⃣ 개발 도구·에이전트
이번 조사 범위에서 포함할 만한 주요 신규 발표를 확인하지 못했습니다.
4️⃣ 산업·정책·안전
미국·한국 등 9개국, AI 반도체·핵심광물 공급망 보호를 위한 ‘샌프란시스코 선언’ 서명…Pax Silica 협력 범위 확대
- 발표일: 2026-11-15 — 정확한 게시 시각 미확인
- 적용 범위: AI 반도체, 데이터센터 인프라, 핵심광물, 국제 공급망, 경제안보, 첨단기술 보호, AI 산업정책
- 원문 보도: Financial Times — US and allies sign accord to protect AI supply chains from China
- 관련 원문: European Commission — Commission signs Pax Silica declaration
미국과 한국을 포함한 주요 협력국들이 AI 산업의 핵심 기술과 공급망을 보호하기 위한 새로운 국제 선언에 서명한 것으로 보도됐다.
Financial Times는 11월 15일 미국과 8개 협력국이 ‘샌프란시스코 선언(San Francisco Declaration on the Secure Foundations of Enduring Prosperity)’에 서명했다고 전했다.
이번 선언은 미국이 주도하는 Pax Silica 협력체의 후속 조치다.
Pax Silica는 AI 반도체와 핵심광물, 첨단 제조시설과 에너지 인프라처럼 AI 산업에 필요한 핵심 공급망의 안정성을 강화하려는 국제 협력 구상이다.
이번에 보도된 샌프란시스코 선언은 기존 협력에서 한 단계 나아가 어떤 기술과 기반시설을 공동으로 보호해야 하는지 식별하고, 관련국 사이의 정보 공유와 공급망 다변화를 추진하는 방향에 초점을 맞췄다.
다만 중요한 출처상의 제한이 있다.
이번 서명 사실과 참여국 목록은 Financial Times가 미국 국무부 관계자의 설명을 바탕으로 보도한 내용이다. 서명된 샌프란시스코 선언의 최종 전문은 이번 조사에서 공식 원문으로 확인하지 못했다.
따라서 선언의 구체적인 문구와 법적 구속력, 국가별 의무는 확정적으로 설명하기 어렵다.
미국과 8개 협력국 참여
Financial Times가 보도한 서명 참여국은 다음과 같다.
| 구분 | 국가 |
|---|---|
| 주도국 | 미국 |
| 아시아·태평양 | 한국, 일본, 호주, 인도 |
| 유럽 | 영국 |
| 중동 | 이스라엘, 카타르, 아랍에미리트 |
보도에 따르면 독일과 스웨덴, 네덜란드와 유럽연합 집행위원회도 이후 별도로 참여할 것으로 예상된다.
여기서 기존 Pax Silica 참여와 이번 샌프란시스코 선언 서명을 구분해야 한다.
유럽연합 집행위원회는 이미 2026년 6월 25일 기존 Pax Silica 선언에 서명했다고 공식 발표한 바 있다.
이번에 논의되는 샌프란시스코 선언은 그 기존 협력체 아래에서 추진되는 별도의 추가 경제안보 문서다.
따라서 유럽연합이 Pax Silica 자체에 처음 가입하는 사건으로 설명해서는 안 된다.
또한 Financial Times가 보도한 서명 참여국과 향후 참여가 예상되는 국가는 다르다.
향후 참여가 예상된다는 사실만으로 해당 국가가 새로운 선언에 이미 서명했다고 판단할 수는 없다.
AI 공급망은 GPU만으로 구성되지 않는다
AI 산업을 설명할 때는 NVIDIA와 AMD 같은 기업의 GPU가 자주 언급된다.
GPU(Graphics Processing Unit)는 대규모 병렬 계산에 적합한 반도체로, AI 모델의 학습과 추론에 널리 사용된다.
하지만 실제 AI 데이터센터를 운영하기 위해서는 GPU 이외에도 많은 자원이 필요하다.
예를 들어 반도체를 제조하기 위해서는 고성능 제조장비와 여러 종류의 소재가 필요하다.
대규모 데이터센터에서는 서버 사이의 네트워크와 냉각장치, 안정적인 전력 공급도 중요하다.
또한 반도체와 전력·배터리 관련 산업에는 특정한 핵심광물이 사용된다.
이처럼 여러 국가와 기업이 서로 연결된 구조를 공급망(Supply Chain)이라고 한다.
이번 선언은 이러한 공급망 가운데 국가안보와 경제안보에 중요하다고 판단되는 부분을 공동으로 식별하려는 움직임이다.
대표적으로 다음과 같은 영역이 포함될 수 있다.
| 영역 | AI 산업에서의 역할 |
|---|---|
| 첨단 반도체 | AI 모델 학습과 추론 |
| 반도체 제조장비 | 첨단 칩 생산 |
| 핵심광물 | 반도체·전력·첨단 제조 관련 소재 |
| 에너지 인프라 | 대규모 데이터센터의 전력 공급 |
| 네트워크·데이터센터 | AI 서비스를 실제로 운영하는 기반시설 |
다만 이 표는 Pax Silica의 기존 목적과 이번 보도의 주요 내용을 바탕으로 정리한 것이다.
샌프란시스코 선언의 최종적인 보호 대상이 위 항목들로만 구성된다고 확정할 수는 없다.
공급망 다변화와 기술 보호
Financial Times에 따르면 이번 선언은 AI 관련 핵심 기술과 기반시설이 적대적인 주체에게 탈취되거나 부적절하게 이전되는 위험을 줄이려 한다.
이를 위해 각국은 중요한 기술과 공급망을 공동으로 식별하는 방안을 추진한다.
또한 특정한 국가나 공급업체에 의존하는 비중을 낮추기 위한 공급망 다변화도 논의한다.
공급망 다변화(Supply Chain Diversification)는 하나의 국가나 공급업체에 지나치게 의존하지 않도록 공급 경로를 여러 곳으로 나누는 전략이다.
예를 들어 특정한 소재의 생산이 소수 국가에 집중돼 있다고 가정해 보자.
수출 제한이나 자연재해, 생산시설의 중단이 발생하면 여러 국가의 기업이 동시에 영향을 받을 수 있다.
이 경우 다른 지역에서도 해당 소재를 생산하거나 가공할 수 있도록 투자하는 방식이 공급망 다변화에 해당한다.
하지만 공급망 다변화가 항상 비용을 낮추는 것은 아니다.
새로운 생산시설을 구축하고 인력을 확보하려면 상당한 초기 비용이 발생할 수 있다.
또한 새로운 공급업체의 품질과 생산량을 검증하는 시간도 필요하다.
따라서 공급망의 안정성과 실제 생산 비용 사이에서 균형을 찾아야 한다.
공동 작업반과 AI 산업 거점 구상
보도에 따르면 참여국들은 공급망의 취약점을 분석하기 위한 공동 작업반을 구성할 계획이다.
또한 AI 관련 투자를 유치하기 위한 경제적 거점에 대해서도 협력할 예정이다.
예를 들어 반도체 제조와 데이터센터, 에너지 생산시설을 특정 지역에서 함께 개발하는 방안을 생각할 수 있다.
이런 구상에서는 단순히 데이터센터의 건물을 건설하는 것만으로 충분하지 않다.
실제로 필요한 전력과 냉각, 네트워크 연결과 전문 인력도 확보해야 한다.
또한 국가마다 전력 가격과 환경 규제, 외국인 투자에 관한 조건이 다를 수 있다.
따라서 국제 협력의 목적을 실제 산업시설의 투자와 운영으로 연결하려면 여러 정책을 조정해야 한다.
다만 이번 보도에서는 구체적인 투자금액이나 사업별 예산이 확정됐다는 사실이 확인되지 않았다.
따라서 이번 선언을 곧바로 특정한 국가의 신규 AI 데이터센터 투자 확정으로 해석해서는 안 된다.
경제안보와 기술 협력 사이의 긴장
이번 선언은 미국과 중국 사이의 첨단기술 경쟁과도 연결된다.
특히 고성능 AI 반도체와 첨단 제조장비, 핵심광물의 공급은 국가 간 경제적 압박 수단이 될 수 있다.
미국과 협력국들은 일부 핵심 기술의 공급망을 보호하려 한다.
반면 기술 교역과 투자에 대한 제한이 확대되면 기업의 실제 생산 비용과 시장 접근성에 영향을 줄 수 있다.
예를 들어 반도체 기업은 여러 국가의 고객과 공급업체를 통해 사업을 운영할 수 있다.
국가별 규칙이 달라지면 같은 제품이라도 수출 가능 여부와 필요한 승인 절차가 달라질 수 있다.
따라서 기술 보호와 공급망 안정성을 강화하는 정책은 기업에 새로운 사업 기회를 제공할 수 있지만, 추가적인 규제 준수 비용도 발생시킬 수 있다.
특히 한국은 반도체 제조와 관련된 중요한 산업 기반을 보유하고 있으므로 향후 협력의 구체적인 내용이 실제 기업의 공급망과 투자 전략에 영향을 줄 가능성이 있다.
다만 이번 선언만으로 한국 기업에 새로운 법적 의무가 즉시 부과됐다고 판단해서는 안 된다.
그런 변화가 발생하려면 실제 협력 문서와 각국의 후속 정책을 확인해야 한다.
기존 Pax Silica와 이번 선언의 관계
Pax Silica는 이번에 처음 등장한 협력체가 아니다.
2025년 12월 미국과 주요 협력국들이 공급망 안보에 관한 협력을 시작했다.
2026년에는 참여 범위와 협력 의제를 확대해 왔다.
유럽연합도 같은 해 6월 기존 Pax Silica 선언에 참여했다.
이번 샌프란시스코 선언은 그 협력체를 바탕으로 민감한 기술과 핵심 기반시설의 보호에 관한 공동 원칙을 강화하려는 새로운 조치로 보도됐다.
따라서 이번 사건의 의미는 완전히 새로운 국제기구의 출범보다는 기존 AI 공급망 협력을 보다 구체적인 경제안보 협력으로 확대하려는 움직임에 있다.
다만 선언의 최종 전문이 공식적으로 확인되지 않은 만큼, 실제 법적 의무와 참여국별 후속 조치에 관한 판단은 유보해야 한다.
이번 소식은 AI 산업의 경쟁이 모델의 성능과 데이터센터 투자에서 나아가 반도체와 에너지, 핵심광물과 첨단기술의 공급망을 어떻게 확보하고 보호할 것인가라는 국제 경제안보 문제로 확대되고 있음을 보여준다.
📚 추천 글
Kitesurf is now open source
- 저자: Celso Martinho, Rui Figueira, Bernardo Pereira, Luís Duarte
- 발행: Cloudflare
- 게시일: 2026-11-13
- 원문: Cloudflare — Kitesurf is now open source
- 관련 원문: GitHub — cloudflare/kitesurf
AI 에이전트가 웹사이트를 탐색하고 버튼을 클릭하려면 반드시 Chrome이나 Chromium 같은 일반적인 브라우저 전체를 실행해야 할까?
이번 글은 Cloudflare가 이 문제를 해결하기 위해 개발한 Kitesurf의 구조와 오픈소스 공개 과정을 설명한다.
Kitesurf는 AI 에이전트가 웹페이지를 읽고 JavaScript를 실행하며 화면을 렌더링하도록 만든 경량 브라우저 엔진이다.
일반적인 웹브라우저는 사람이 웹사이트를 사용하는 데 필요한 많은 기능을 포함한다.
예를 들어 브라우저 창과 사용자 인터페이스, 확장 프로그램, 다운로드 관리와 여러 종류의 멀티미디어 기능이 존재한다.
하지만 AI 에이전트에게 항상 이러한 기능이 모두 필요한 것은 아닐 수 있다.
예를 들어 특정한 웹페이지에서 상품의 가격을 확인하거나 버튼을 클릭하는 작업에서는 페이지의 구조를 이해하고 필요한 JavaScript를 실행하는 기능이 중요하다.
Cloudflare는 이런 작업을 위해 브라우저 전체를 실행하는 비용을 줄이려 한다.
일반적인 브라우저 자동화의 구조
AI 에이전트가 실제 웹사이트를 조작할 때는 Playwright나 Puppeteer 같은 도구를 사용할 수 있다.
이런 도구는 Chrome이나 Chromium을 실행한 뒤 웹페이지를 열고 필요한 행동을 수행한다.
예를 들어 에이전트가 로그인 화면을 열 수 있다.
이후 입력창을 찾고 값을 입력한 뒤 로그인 버튼을 클릭할 수 있다.
문제는 Chromium이 상당한 CPU와 메모리를 사용할 수 있다는 점이다.
하나의 에이전트만 실행한다면 큰 문제가 아닐 수 있다.
하지만 수천 개 에이전트가 각각 브라우저를 실행하면 실제 운영 비용이 증가할 수 있다.
Cloudflare는 이를 해결하기 위해 서버리스(Serverless) 환경에서 실행되는 경량 브라우저를 개발했다.
서버리스는 개발자가 실제 서버의 생성과 관리 과정을 직접 수행하지 않고 프로그램을 실행하도록 지원하는 컴퓨팅 방식이다.
Kitesurf는 Cloudflare Workers 위에서 실행되도록 설계됐다.
Rust와 WebAssembly로 브라우저 기능 구현
Kitesurf는 여러 오픈소스 프로젝트를 결합해 개발됐다.
| 구성요소 | 역할 |
|---|---|
| Blitz | HTML 분석, DOM과 화면 배치 |
| Stylo | CSS 분석과 스타일 계산 |
| Boa | JavaScript 실행을 위한 보조 엔진 |
| Linebender | 글자 배치와 2D 그래픽 처리 |
| Krilla | PDF 출력 |
DOM(Document Object Model)은 웹페이지의 HTML 요소를 트리 구조로 표현한 것이다.
예를 들어 하나의 웹페이지에는 제목과 버튼, 입력창과 여러 문단이 존재할 수 있다.
브라우저는 이런 요소를 DOM으로 표현하고 JavaScript를 이용해 변경할 수 있도록 한다.
CSS(Cascading Style Sheets)는 웹페이지의 디자인과 배치에 관한 규칙을 정의하는 기술이다.
Stylo는 이런 CSS를 해석하고 실제 요소에 적용할 스타일을 계산한다.
이후 화면의 배치와 그림을 생성하는 과정을 거쳐 실제 웹페이지를 렌더링한다.
Cloudflare는 이런 기능의 상당 부분을 Rust로 작성했다.
Rust는 메모리 안전성과 실행 성능을 강조하는 프로그래밍 언어다.
이후 Rust 코드를 WebAssembly(Wasm)로 컴파일해 Cloudflare Workers에서 실행한다.
WebAssembly는 웹브라우저와 서버를 포함한 여러 환경에서 프로그램을 실행하기 위한 바이너리 형식이다.
JavaScript도 반드시 Chromium 엔진이 필요한 것은 아니다
일반적인 브라우저에서는 JavaScript를 실행하기 위한 별도의 엔진이 존재한다.
예를 들어 Chrome은 V8 엔진을 사용한다.
하지만 Kitesurf는 Chromium 전체를 실행하지 않는다.
대신 Cloudflare Workers의 실행 환경과 Rust 기반 구성요소를 사용한다.
일부 JavaScript는 별도의 격리된 Dynamic Worker에서 실행할 수 있다.
필요한 경우에는 Boa를 사용한다.
Boa는 Rust로 작성된 JavaScript 엔진이다.
Kitesurf는 이를 WebAssembly 환경에서 보조 실행 엔진으로 사용한다.
이렇게 하면 브라우저 컨테이너를 별도로 생성하는 부담을 줄일 수 있다.
하지만 모든 웹사이트의 JavaScript가 Chromium과 완전히 동일하게 작동한다는 의미는 아니다.
실제 웹에는 매우 많은 브라우저 API와 표준이 존재한다.
따라서 Kitesurf에서 아직 구현하지 않은 브라우저 기능을 사용하는 사이트는 정상적으로 작동하지 않을 수 있다.
세 가지 실행 구성요소로 분리
Kitesurf는 다음 세 부분으로 구성된다.
첫 번째는 Engine이다.
Engine은 브라우저 세션과 실제 클라이언트의 연결을 관리한다.
두 번째는 PageScript다.
PageScript는 페이지와 JavaScript의 실행을 담당한다.
세 번째는 PageRenderer다.
PageRenderer는 실제 페이지를 화면으로 표현하거나 스크린샷으로 생성한다.
이런 구조는 웹페이지를 해석하는 기능과 실제 화면을 생성하는 기능을 분리한다.
예를 들어 에이전트가 페이지의 특정한 버튼을 찾아 클릭하려는 상황에서는 DOM과 JavaScript의 실행 상태가 중요하다.
반면 실제 스크린샷이 필요한 상황에서는 렌더링 기능이 필요하다.
작업에 필요한 구성요소만 효율적으로 활용할 수 있다면 전체 실행 자원을 줄일 가능성이 있다.
기존 Puppeteer와 연결할 수 있다
이번 글에서 개발자에게 중요한 부분은 CDP(Chrome DevTools Protocol)를 지원한다는 사실이다.
CDP는 브라우저의 내부 상태를 조회하고 페이지를 조작하는 데 사용하는 통신 규격이다.
Puppeteer는 이 규격을 이용해 Chrome을 제어할 수 있다.
Kitesurf는 CDP 호환 인터페이스를 제공한다.
따라서 개발자는 일부 기존 Puppeteer 코드를 Kitesurf와 연결할 수 있다.
예를 들어 기존 프로그램에서 브라우저에 연결한 뒤 특정한 페이지를 열고 스크린샷을 생성하는 작업을 수행할 수 있다.
다만 CDP 인터페이스를 제공한다는 사실과 Chrome의 모든 명령을 동일하게 지원한다는 사실은 다르다.
실제 Puppeteer 코드가 사용하는 브라우저 기능에 따라 수정이 필요할 수 있다.
특히 복잡한 웹 애플리케이션과 브라우저 확장 기능에 의존하는 작업에서는 실제 호환성을 확인해야 한다.
Apache 2.0으로 오픈소스 공개
Cloudflare는 2026년 8월 Kitesurf를 처음 소개했고, 9월에도 기능을 확대했다.
따라서 이번 글이 Kitesurf라는 기술 자체의 최초 발표는 아니다.
11월 13일의 새로운 변화는 소스코드를 Apache 2.0 라이선스로 공개했다는 점이다.
외부 개발자는 실제 엔진의 구현을 확인하고 수정할 수 있다.
또한 자신의 Cloudflare 계정에 Kitesurf를 배포할 수 있다.
다만 Cloudflare Workers에 직접 배포하려면 Workers Paid 요금제가 필요하다.
Kitesurf가 Dynamic Workers 기능을 사용하기 때문이다.
또한 오픈소스 라이브러리 자체가 무료라고 해서 실제 클라우드 실행 비용이 발생하지 않는 것은 아니다.
Cloudflare는 Kitesurf가 아직 활발하게 개발 중이며 웹 표준 호환성과 안정성, 실행 효율을 계속 개선하고 있다고 밝혔다.
이번 글은 AI 에이전트를 개발할 때 기존의 사람 중심 브라우저 전체를 실행하는 대신 에이전트에게 필요한 웹 기능을 중심으로 별도의 실행 엔진을 설계하는 접근을 이해하기 좋은 자료다.
특히 웹 자동화와 브라우저 렌더링, 서버리스 인프라의 관계를 이해하려는 웹 개발자에게 참고할 만하다.
ZONOS3-Mini: Open-Source Real-Time Voice Cloning & Steerable TTS in 100M Active Parameters
- 저자: Gabriel Clark, Sofian Mejjoute, George Close, Beren Millidge
- 발행: Zyphra / Hugging Face
- 게시일: 2026-11-12 (Hugging Face 게시일, 본문에는 11월 11일 표기)
- 원문: Hugging Face — ZONOS3-Mini: Open-Source Real-Time Voice Cloning & Steerable TTS in 100M Active Parameters
- 관련 원문: GitHub — Zyphra/ZONOS3-Mini
고품질의 AI 음성을 생성하려면 반드시 수십억 개의 파라미터를 가진 대형 모델을 실행해야 할까?
이번 글은 Zyphra가 개발한 음성 생성 모델 ZONOS3-Mini의 기술 구조와 실제 실행 성능을 설명한다.
특히 모델의 크기를 줄이면서도 여러 언어의 발음과 음색, 실제 음성의 자연스러움을 유지하기 위해 어떤 기술을 결합했는지 자세하게 공개했다.
TTS(Text-to-Speech)는 텍스트를 실제 사람이 들을 수 있는 음성으로 변환하는 기술이다.
예를 들어 AI 음성 비서는 사용자의 질문에 대한 답변을 음성으로 전달할 수 있다.
또는 접근성 도구가 화면에 표시된 문서를 읽어줄 수도 있다.
하지만 실제 대화에서는 음성의 자연스러움뿐 아니라 응답이 시작되기까지 걸리는 시간도 중요하다.
예를 들어 음성 비서가 사용자의 질문에 답하기 위해 3초 동안 기다려야 한다면 자연스러운 대화가 어려워질 수 있다.
ZONOS3-Mini는 이런 문제를 해결하기 위해 작은 계산량과 빠른 음성 생성에 초점을 맞췄다.
전체 파라미터와 실제 활성 파라미터의 차이
ZONOS3-Mini는 총 8억 개의 파라미터를 가지고 있다.
하지만 실제로 하나의 토큰을 처리할 때 활성화되는 파라미터는 약 1억 개다.
이를 가능하게 하는 구조가 MoE(Mixture of Experts)다.
MoE는 여러 전문 신경망 가운데 실제 입력에 필요한 일부만 선택적으로 실행하는 기술이다.
예를 들어 하나의 모델에 64개의 전문가 네트워크가 존재할 수 있다.
모든 전문가를 매번 실행하는 대신 현재 입력과 관련된 일부 전문가만 사용할 수 있다.
ZONOS3-Mini는 64개의 전문가 가운데 두 개를 선택하는 구조를 사용한다.
이렇게 하면 모델 전체의 표현 능력을 유지하면서 실제 계산량을 줄일 수 있다.
하지만 전체 파라미터가 8억 개이므로 모델을 저장하기 위한 메모리는 여전히 필요하다.
활성 파라미터가 1억 개라는 사실과 전체 모델의 크기가 1억 파라미터 수준이라는 사실은 다르다.
초당 15개의 음성 토큰 생성
이번 모델의 또 다른 특징은 ZAC-1이라는 음성 코덱이다.
Codec(코덱)은 음성과 영상 같은 신호를 효율적인 형태로 인코딩하고 디코딩하는 기술이다.
일반적인 음성 생성 모델에서는 소리를 여러 개의 디지털 토큰으로 표현한다.
이때 초당 생성해야 하는 토큰이 많으면 모델의 계산 부담도 증가한다.
ZONOS3-Mini는 음성을 초당 15개 프레임으로 표현하는 코덱을 사용한다.
이전 ZONOS2에서는 초당 86개 수준의 음성 토큰을 처리해야 했다.
따라서 새로운 코덱에서는 같은 길이의 음성을 표현하는 데 필요한 시간적 단위의 수가 크게 감소했다.
이는 실제 음성 생성 속도를 개선하는 중요한 요소다.
다만 토큰 수가 줄어들면 실제 소리의 세부 정보를 표현하기 어려워질 수 있다.
따라서 단순히 토큰 수를 줄이는 것뿐 아니라 음성의 품질을 유지하는 인코딩 구조가 필요하다.
ZAC-1은 음성의 의미적 특징과 실제 소리의 특징을 나누어 표현한다.
최종 음성은 44.1kHz의 샘플링 주파수로 출력된다.
Transformer와 Gated DeltaNet 결합
ZONOS3-Mini는 일반적인 Transformer 구조만 사용하지 않는다.
Gated DeltaNet과 Attention 계층을 함께 사용한다.
Transformer는 입력의 여러 부분 사이에서 중요한 관계를 계산하는 신경망 구조다.
대표적인 기술이 Attention(어텐션)이다.
Attention은 입력의 여러 토큰 사이에서 어떤 정보가 중요한지 계산한다.
하지만 입력이 길어질수록 Attention의 계산과 메모리 사용량이 증가할 수 있다.
Gated DeltaNet은 다른 종류의 상태 갱신 구조를 이용해 연속적인 입력을 효율적으로 처리하려는 기술이다.
ZONOS3-Mini는 총 11개의 주요 계층을 사용한다.
이 가운데 9개는 Gated DeltaNet 계열이고 2개는 전역 Attention을 수행한다.
이런 방식은 효율적인 순차 처리와 긴 문맥에서의 정보 참조를 함께 활용하려는 설계다.
스마트폰과 MacBook에서 실제 실행
Zyphra는 여러 종류의 하드웨어에서 음성 생성 속도를 측정했다.
대표적인 결과는 다음과 같다.
| 실행 환경 | 첫 음성 출력까지 걸린 시간 |
|---|---|
| Google Pixel 9 브라우저 | 570ms 미만 |
| Apple M3 MacBook Air | 150ms 미만 |
| NVIDIA H100 | 중앙값 약 80ms |
TTFA(Time to First Audio)는 음성 생성 요청 이후 첫 번째 음성 출력이 시작되기까지 걸리는 시간이다.
예를 들어 TTFA가 150ms라면 요청 이후 약 0.15초 만에 첫 음성 출력을 시작할 수 있다는 의미다.
이런 지표는 실제 대화형 AI에서 중요하다.
사용자는 답변 전체가 완성되기 전에 첫 번째 소리가 들리면 시스템이 반응하고 있다고 느낄 수 있기 때문이다.
Zyphra는 H100 한 대에서 최고 조건 기준으로 실시간보다 약 457배 높은 음성 처리량도 기록했다고 밝혔다.
하지만 이 수치는 특정한 동시 실행 수와 GPU 환경에서 측정한 최대 처리량이다.
모든 사용자 요청의 실제 응답시간이 457배 빨라진다는 의미는 아니다.
또한 회사가 공개한 자체 평가 결과이므로 다른 실행 환경에서 동일한 속도가 나타나는지는 별도로 확인해야 한다.
43개 언어와 음색 제어
ZONOS3-Mini는 총 43개 언어를 지원한다.
또한 짧은 참고 음성을 제공하면 해당 화자의 특징을 바탕으로 새로운 문장을 읽도록 만들 수 있다.
이를 Zero-Shot Voice Cloning(추가 학습 없는 음성 복제)이라고 한다.
별도의 모델 추가 학습 없이 짧은 음성 예시를 바탕으로 화자의 음색을 재현하는 기술이다.
연구팀은 최대 60초의 참고 음성을 사용할 수 있도록 설계했다.
또한 192차원 화자 임베딩을 이용하는 방법도 제공한다.
임베딩은 특정한 정보의 특징을 여러 숫자로 표현한 것이다.
화자 임베딩은 목소리의 특징을 숫자 데이터로 표현한다.
이런 표현을 이용하면 화자의 음색을 유지하면서 말하는 속도와 목소리의 깊이 등을 조절할 수 있다.
Zyphra는 추가 학습 없이 음성의 감정과 발화 속도를 조절하는 Activation Steering도 소개했다.
Activation Steering은 모델 내부의 활성화값을 특정한 방향으로 변경해 실제 출력의 특징을 조절하는 기술이다.
하지만 음색의 나이와 성별 표현을 조절하는 기능이 실제 사람의 나이나 정체성을 정확하게 추정한다는 의미는 아니다.
모델이 생성하는 음성의 인상과 특징을 변경하는 기능에 가깝다.
또한 실제 사람의 음성을 복제할 때는 해당 화자의 동의와 사용권한을 확인해야 한다.
실제 음성 품질을 어떻게 평가했는가
Zyphra는 자체 평가인 ZTTS2-Eval도 공개했다.
여기에는 35개 언어의 깨끗한 녹음 평가와 20개 언어의 실제 환경 음성 복제 평가가 포함된다.
평가에는 단어 오류율과 화자 유사도, 발화 리듬과 음높이의 특성이 사용된다.
WER(Word Error Rate)은 생성된 음성을 다시 텍스트로 변환했을 때 원래 문장과 얼마나 차이가 나는지 측정하는 지표다.
낮을수록 원래 텍스트를 정확하게 발음했을 가능성이 높다.
다만 WER이 낮다고 해서 실제 음성이 사람에게 자연스럽게 들린다는 의미는 아니다.
예를 들어 모든 단어를 올바르게 발음하더라도 음성의 억양과 리듬이 부자연스러울 수 있다.
따라서 연구팀은 발음 정확도와 화자 유사도, 실제 음성의 리듬을 별도로 평가했다.
Zyphra는 이러한 자체 평가에서 ZONOS3-Mini가 여러 오픈웨이트 음성 모델보다 높은 종합 점수를 기록했다고 밝혔다.
하지만 평가체계 역시 Zyphra가 개발한 것이므로 독립적인 외부 평가와 구분해야 한다.
Apache 2.0으로 모델 가중치 공개
이번 모델의 가중치는 Apache 2.0 라이선스로 공개됐다.
개발자는 Hugging Face에서 모델을 다운로드할 수 있다.
또한 브라우저의 WebGPU와 Apple Silicon, CUDA와 Metal 등 여러 실행 환경을 지원한다.
WebGPU는 웹브라우저에서 GPU 계산 기능을 사용할 수 있도록 지원하는 API다.
이런 기능을 이용하면 모든 음성 데이터를 외부 서버로 전달하지 않고 로컬 기기에서 음성을 생성하는 애플리케이션을 개발할 가능성이 있다.
하지만 모델을 로컬에서 실행하더라도 실제 사용하는 기기의 성능과 메모리, 배터리 소비를 고려해야 한다.
이번 글은 실시간 음성 AI의 성능을 높이기 위해 모델의 파라미터 수뿐 아니라 음성 코덱의 표현 방식과 내부 계산 구조, 실제 실행 엔진을 함께 최적화해야 한다는 점을 구체적으로 보여준다.
Open Vision Banana: A Fully Open Recipe for Generative Visual Perception
- 저자: Arpit Jadon, Valentinos Pariza, Jona Ruthardt, Ryousuke Yamada, A. Sophia Koepke, Andrei Bursuc, Yuki M. Asano
- 발행: University of Technology Nuremberg 등 공동 연구진 / arXiv
- 게시일: 2026-11-11
- 원문: arXiv — Open Vision Banana: A Fully Open Recipe for Generative Visual Perception
- 관련 원문: Open Vision Banana — 프로젝트 페이지
이미지를 생성하도록 학습한 AI 모델을 실제 이미지를 이해하는 데도 사용할 수 있을까?
이번 연구는 이 질문에 대한 구체적인 실험 결과를 제공한다.
일반적으로 이미지 생성과 이미지 이해는 서로 다른 작업으로 취급된다.
이미지 생성 모델은 사용자의 설명을 바탕으로 새로운 이미지를 만든다.
반면 이미지 이해 모델은 기존 이미지에서 물체를 찾거나 실제 장면의 구조를 분석한다.
예를 들어 사용자가 고양이가 앉아 있는 사진을 제공했다고 가정해 보자.
이미지 생성 모델은 비슷한 고양이 사진을 만들 수 있다.
하지만 실제 이미지에서 고양이의 영역을 정확하게 구분하거나 고양이가 배경보다 얼마나 가까운지 계산하는 일은 다른 문제다.
이번 연구는 기존 이미지 생성 모델이 학습한 시각적 지식을 이용해 이런 분석 작업을 수행하도록 만드는 방법을 공개했다.
이미지 이해 결과를 이미지로 생성
연구팀이 선택한 접근은 직관적이면서도 독특하다.
일반적인 이미지 이해 모델은 물체의 이름이나 좌표, 숫자 형태의 결과를 반환할 수 있다.
반면 Open Vision Banana는 실제 이미지 이해의 결과를 새로운 RGB 이미지로 표현한다.
RGB는 빨강과 초록, 파랑을 결합해 색상을 표현하는 방식이다.
예를 들어 하나의 사진에서 사람과 자동차, 도로를 구분하고 싶다고 가정해 보자.
일반적인 방식에서는 각 픽셀에 어떤 물체가 존재하는지 숫자로 표시할 수 있다.
반면 이번 연구에서는 사람의 영역을 빨간색으로 칠한다.
자동차는 파란색, 도로는 초록색으로 칠할 수 있다.
이렇게 만들어진 결과를 Segmentation Map(영역 분할 지도)이라고 한다.
Segmentation(영역 분할)은 이미지의 각 픽셀이 어떤 물체나 범주에 해당하는지 구분하는 기술이다.
이 방식의 장점은 기존 이미지 생성 모델의 출력 구조를 그대로 활용할 수 있다는 것이다.
이미지를 생성하던 모델이 이제 특정한 규칙에 따라 색칠된 분석 결과를 생성하도록 학습하는 것이다.
이미지 생성 모델의 기존 능력을 활용
이번 연구에는 40억 개와 90억 개 파라미터를 가진 오픈웨이트 모델이 사용됐다.
오픈웨이트(Open-Weight)는 모델의 학습된 가중치를 공개해 외부 연구자가 자체 환경에서 실행하거나 추가 학습할 수 있도록 하는 배포 방식이다.
연구팀은 공개 데이터셋에서 수집한 210만~380만 개 학습 쌍을 사용했다.
각 학습 쌍은 원본 이미지와 해당 이미지에서 추출해야 하는 결과를 포함할 수 있다.
예를 들어 하나의 도로 사진과 해당 사진의 물체 영역 분할 결과를 함께 사용할 수 있다.
모델은 원본 이미지를 입력받아 정해진 형식의 분할 결과를 생성하도록 학습한다.
이런 방식은 기존 이미지 생성 모델이 학습한 시각적 특징을 새로운 작업에 활용하려는 것이다.
연구팀은 이미지 생성 모델의 기존 편집 능력을 최대한 유지하도록 학습을 구성했다.
실제로 추가 학습 이후에도 모델은 상당 부분 기존 이미지 편집 기능을 유지했다.
하지만 모든 생성 능력이 완전히 동일하게 유지됐다는 의미는 아니다.
학습 데이터와 모델의 종류, 실제 작업에 따라 일부 성능이 달라질 수 있다.
영역 분할과 깊이 추정을 하나의 모델로 처리
이번 연구에서는 여러 종류의 시각적 분석 작업을 하나의 모델에 결합했다.
대표적으로 다음 작업이 포함된다.
| 작업 | 실제 의미 |
|---|---|
| Semantic Segmentation | 픽셀마다 물체의 종류 분류 |
| Instance Segmentation | 같은 종류의 서로 다른 물체를 구분 |
| Referring Segmentation | 자연어로 설명한 특정 물체의 영역 선택 |
| Depth Estimation | 카메라에서 물체까지의 상대적인 거리 추정 |
| Surface Normal Estimation | 물체 표면이 향하는 방향 추정 |
Instance Segmentation(개별 물체 분할)은 같은 종류의 물체도 서로 구분하는 기술이다.
예를 들어 이미지에 사람 세 명이 존재한다면 단순한 Semantic Segmentation은 모든 사람을 같은 범주로 표시할 수 있다.
반면 Instance Segmentation은 세 사람을 각각 다른 개체로 구분한다.
Depth Estimation(깊이 추정)은 이미지에서 물체가 카메라로부터 얼마나 멀리 떨어져 있는지 추정하는 기술이다.
이런 정보는 로봇의 움직임과 3D 환경 이해에 활용될 수 있다.
Surface Normal(표면 법선)은 물체 표면이 어떤 방향을 향하는지 나타내는 정보다.
예를 들어 평평한 테이블의 윗면과 수직으로 서 있는 벽은 서로 다른 표면 방향을 가진다.
이런 정보를 이용하면 실제 물체의 형태와 장면의 구조를 더 자세하게 분석할 수 있다.
Cityscapes에서 기존 비공개 연구보다 높은 점수
연구팀은 공개된 시각적 이해 벤치마크에서 모델을 평가했다.
대표적인 결과는 다음과 같다.
| 평가 | 점수 |
|---|---|
| Open Vision Banana, Cityscapes Zero-Shot | 73.9 mIoU |
| 기존 Vision Banana의 보고된 점수 | 69.9 mIoU |
mIoU(mean Intersection over Union)는 이미지의 실제 물체 영역과 모델이 예측한 영역이 얼마나 일치하는지 평가하는 지표다.
높을수록 실제 영역을 더 정확하게 구분했다는 의미다.
Open Vision Banana는 해당 조건에서 기존 Vision Banana 연구가 보고한 점수보다 4.0%포인트 높은 결과를 기록했다.
하지만 두 연구가 완전히 동일한 실행 환경과 평가 절차를 사용했는지는 고려해야 한다.
또한 이번 연구에서도 모든 영역 분할 작업에서 기존 연구를 앞선 것은 아니다.
특히 개별 물체를 구분하는 Instance Segmentation에서는 상대적으로 더 큰 성능 차이가 남아 있었다.
따라서 하나의 모델이 모든 종류의 시각적 이해 작업에서 기존 전문 모델을 대체할 수 있다고 판단해서는 안 된다.
여러 색상 규칙으로 같은 이미지를 반복 분석
이번 연구에서 가장 흥미로운 기법은 Legend Ensembling이다.
Legend는 각 물체 범주를 어떤 색상으로 표현할지 정의한 규칙을 의미한다.
예를 들어 첫 번째 규칙에서는 자동차를 빨간색, 사람을 파란색으로 표시할 수 있다.
두 번째 규칙에서는 자동차를 초록색, 사람을 노란색으로 표시할 수 있다.
문제는 이미지 생성 모델이 이런 색상 규칙을 완벽하게 따르지 못할 수 있다는 점이다.
예를 들어 자동차를 빨간색으로 칠해야 하는데 다른 색상을 사용할 수 있다.
연구팀은 이 문제를 해결하기 위해 같은 이미지를 서로 다른 색상 규칙으로 여러 번 분석했다.
이후 각 결과를 원래의 물체 범주로 변환한다.
마지막으로 여러 결과가 가장 많이 선택한 범주를 최종 결과로 결정한다.
이를 Majority Voting(다수결 결합)이라고 한다.
연구팀은 이러한 방법으로 모델을 다시 학습하지 않고도 다음과 같은 성능 개선을 얻었다.
| 평가 데이터셋 | 최대 mIoU 개선 |
|---|---|
| Cityscapes | +8.7%포인트 |
| COCO-Object | +15.0%포인트 |
하지만 여러 번 모델을 실행하므로 실제 계산 비용과 처리시간은 증가할 수 있다.
또한 결과의 개선 폭은 데이터셋과 모델의 설정에 따라 달라진다.
모든 이미지에서 같은 비율의 성능 향상이 발생한다는 의미는 아니다.
학습 방법을 완전히 공개한 이유
기존 Vision Banana 연구에서는 모델과 학습 데이터, 실제 구현 방법이 모두 공개되지 않았다.
따라서 외부 연구자가 어떤 요소 때문에 성능이 개선됐는지 직접 검증하기 어려웠다.
Open Vision Banana는 이를 해결하기 위해 학습 데이터 구성 과정과 실제 학습 코드를 공개했다.
또한 최종 모델뿐 아니라 중간 체크포인트와 여러 설정을 비교한 실험 결과도 제공했다.
Ablation Study(구성요소 제거 실험)는 모델이나 시스템의 특정한 구성요소를 변경하거나 제거해 실제 성능에 어떤 영향을 주는지 조사하는 방법이다.
연구팀은 데이터와 프롬프트, 학습 방식과 출력 색상 규칙이 어떻게 영향을 주는지 분석했다.
그 결과 개별적으로 도움이 되는 방법들이 여러 개 결합됐을 때 반드시 더 좋은 결과를 제공하는 것은 아니라는 사실도 확인했다.
이는 실제 모델 개발에서 중요한 교훈이다.
좋은 기술 두 개를 결합했다고 해서 실제 성능이 자동으로 개선되는 것은 아니다.
서로 다른 구성요소가 영향을 주고받을 수 있으므로 전체 시스템을 다시 평가해야 한다.
이번 연구는 이미지 생성 AI와 이미지 이해 AI가 완전히 분리된 기술일 필요는 없다는 가능성을 보여준다.
동시에 모델의 성능을 공개하는 것뿐 아니라 실제 학습과 평가 과정을 외부에서 재현할 수 있도록 제공하는 일이 중요한 연구 성과라는 점을 보여준다.
Actor, Judge, or Teacher? Understanding Decision Models in Long-Horizon Agents
- 저자: Haochen Liu, Qianhao Zhu, Zixuan Wang, Dingming Li, Tongbo Chen, Peng Qiu 외 공동 연구진
- 발행: Zhejiang University·Baidu 공동 연구진 / arXiv
- 게시일: 2026-11-12
- 원문: arXiv — Actor, Judge, or Teacher? Understanding Decision Models in Long-Horizon Agents
- 관련 원문: GitHub — ZJU-REAL/decision-agents
AI 에이전트가 스스로 작업을 잘 수행하지 못하더라도 다른 에이전트의 행동을 평가하고 개선하는 데는 유용할 수 있을까?
이번 연구는 이 질문을 실제 실험으로 조사했다.
최근 AI 에이전트는 여러 단계의 작업을 수행할 수 있다.
예를 들어 가상의 집 안에서 물건을 찾아 정해진 위치에 놓는 작업을 생각할 수 있다.
또는 온라인 상점에서 필요한 상품을 검색하고 구매 조건을 비교할 수 있다.
하지만 실제 작업에는 여러 의존관계가 존재할 수 있다.
예를 들어 컵을 데운 뒤 테이블 위에 놓아야 한다면 두 작업의 순서가 중요하다.
그런데 AI가 테이블 위에 컵을 놓는 작업을 먼저 수행하면 전체 목표를 달성하지 못할 수 있다.
이번 연구는 작업을 직접 선택하는 능력과 이미 수행한 행동을 평가하는 능력이 서로 다를 수 있다는 점에 주목했다.
Actor, Judge, Teacher의 역할
연구팀은 하나의 판단 모델을 세 가지 역할에 배치했다.
| 역할 | 실제 작업 |
|---|---|
| Actor | 다음에 수행할 행동 선택 |
| Judge | 이미 수행한 행동이 도움이 됐는지 평가 |
| Teacher | 다른 모델이 학습할 수 있도록 행동별 피드백 제공 |
Decision Model(판단 모델)은 일반적인 문장을 길게 생성하는 대신 정해진 선택지 가운데 하나를 선택하거나 확률을 반환하는 모델이다.
예를 들어 현재 상태에서 컵을 집을지, 전자레인지에 넣을지, 테이블로 이동할지 결정할 수 있다.
Actor는 실제로 다음 행동을 결정한다.
Judge는 이미 수행한 행동이 올바른지 평가한다.
Teacher는 Judge의 평가 결과를 이용해 다른 모델을 학습시킨다.
여기서 중요한 차이는 Actor는 행동의 결과를 미리 알 수 없지만 Judge는 이미 발생한 결과를 확인할 수 있다는 것이다.
쉬운 목표에 집중하다가 필요한 선행 작업을 놓침
연구팀은 ALFWorld라는 에이전트 벤치마크를 사용했다.
ALFWorld는 가상의 집 안에서 물체를 조작하는 여러 단계의 작업으로 구성된 평가 환경이다.
예를 들어 컵을 데운 뒤 특정한 위치에 놓는 작업을 수행할 수 있다.
문제는 모델이 상대적으로 쉬운 목표에 집중하는 경향을 보였다는 점이다.
예를 들어 컵을 테이블에 놓는 작업은 현재 상태에서 바로 수행할 수 있다.
반면 컵을 먼저 데우려면 다른 장소로 이동하고 필요한 도구를 사용해야 할 수 있다.
모델이 쉬운 행동을 먼저 선택하면 전체 작업의 순서를 잘못 처리할 수 있다.
연구팀에 따르면 JEV라는 판단 모델은 서로 독립적인 두 목표를 수행하는 경우 70.8%의 성공률을 기록했다.
하지만 목표 사이에 실제 선행관계가 존재하는 경우 성공률이 14.7%로 감소했다.
이는 모델이 각각의 행동을 수행하는 방법을 알고 있더라도 실제로 필요한 순서를 유지하는 데 어려움을 겪을 수 있다는 점을 보여준다.
실제 작업을 잘 못해도 평가에는 도움이 될 수 있다
연구팀은 같은 모델을 Judge로 사용했다.
이 경우 모델은 다음 행동을 직접 선택하지 않는다.
대신 이미 수행된 작업의 전체 과정을 확인한다.
예를 들어 컵을 데운 뒤 테이블에 놓는 과정을 살펴볼 수 있다.
모델은 컵을 데우는 행동이 최종 목표에 필요한 선행 작업이었다는 사실을 평가할 수 있다.
하지만 실제 행동을 선택할 때는 같은 관계를 충분히 반영하지 못할 수 있다.
이는 사후 평가(Hindsight Evaluation)와 연결된다.
사후 평가는 실제 결과를 확인한 뒤 이전의 행동이 어떤 영향을 주었는지 판단하는 방식이다.
반면 Actor는 아직 발생하지 않은 결과를 예측해야 한다.
따라서 두 작업의 난이도는 다를 수 있다.
평가 질문을 어떻게 작성하는지도 중요
연구팀은 Judge에게 두 가지 질문을 비교했다.
첫 번째 질문은 다음과 같다.
현재 행동 이후 전체 작업이 성공할 가능성이 얼마나 높은가?
두 번째 질문은 다음과 같다.
현재 행동이 최종 목표를 달성하는 데 실제로 도움이 됐는가?
첫 번째는 전체 결과를 예측하는 질문이다.
두 번째는 현재 행동의 기여도를 평가하는 질문이다.
연구팀은 두 번째 질문이 실제로 유용한 행동과 불필요한 행동을 더 잘 구분한다는 사실을 발견했다.
예를 들어 컵을 데우는 행동은 전체 작업을 즉시 완료하지 않는다.
하지만 최종 목표를 달성하는 데 필요한 선행 작업이다.
따라서 현재 단계에서 전체 성공 가능성만 평가하면 해당 행동의 중요성을 충분히 반영하지 못할 수 있다.
반면 실제 목표에 얼마나 기여했는지 평가하면 해당 행동을 더 정확하게 구분할 수 있다.
작은 에이전트를 학습시키는 데 활용
연구팀은 이런 평가 결과를 이용해 작은 언어모델을 추가 학습시켰다.
대상은 Qwen2.5-1.5B였다.
약 15억 개의 파라미터를 가진 모델이다.
학습에는 GRPO(Group Relative Policy Optimization) 기반 강화학습이 사용됐다.
강화학습(Reinforcement Learning)은 모델이 수행한 행동에 보상을 제공해 더 좋은 행동을 선택하도록 학습시키는 방법이다.
일반적인 강화학습에서는 전체 작업이 성공했는지 확인한 뒤 보상을 제공할 수 있다.
하지만 여러 단계의 작업에서는 어떤 행동이 실제 성공에 기여했는지 구분하기 어렵다.
연구팀은 판단 모델이 각 행동의 기여도를 평가한 결과를 추가적인 학습 신호로 사용했다.
그 결과는 다음과 같다.
| 평가 환경 | 일반 GRPO | Judge 피드백 추가 |
|---|---|---|
| ALFWorld | 72.8% | 82.9% |
| WebShop | 56.8% | 71.4% |
WebShop은 AI 에이전트가 온라인 쇼핑 환경에서 검색과 상품 선택 등의 작업을 수행하는 벤치마크다.
Judge의 피드백을 추가하자 ALFWorld의 성공률은 10.1%포인트 증가했다.
WebShop에서는 14.6%포인트 증가했다.
특히 흥미로운 부분은 Teacher로 사용한 JEV의 직접 행동 성공률이 낮았다는 점이다.
연구팀에 따르면 JEV 자체가 Actor 역할로 ALFWorld를 수행했을 때의 성공률은 42.9%였다.
하지만 다른 모델의 행동을 평가하는 Teacher 역할에서는 더 높은 성공률을 가진 학생 모델을 학습시키는 데 도움을 줬다.
즉 좋은 교사 역할을 수행하는 데 반드시 좋은 Actor 능력이 필요한 것은 아닐 수 있다는 것이다.
모든 판단 모델이 같은 효과를 제공하지는 않는다
이번 연구에서 중요한 부분은 질문의 종류에 따라 학습 결과가 달라졌다는 사실이다.
연구팀은 Judge에게 각 단계 이후 전체 작업이 성공할 가능성을 평가하도록 할 수도 있었다.
하지만 이런 형태의 피드백을 사용했을 때는 실제 성공률이 69.3%에 그쳤다.
일반 GRPO의 72.8%보다 낮은 결과다.
즉 판단 모델을 추가한다고 해서 학습 성능이 자동으로 개선되는 것은 아니다.
어떤 정보를 보여주고 어떤 기준으로 행동을 평가하도록 요청하는지가 실제 학습의 결과에 영향을 준다.
또한 이번 연구는 제한된 에이전트 벤치마크에서 진행됐다.
따라서 모든 실제 기업용 에이전트에서 같은 방법으로 성공률을 개선할 수 있다는 의미는 아니다.
예를 들어 실제 업무에서는 도구 호출의 비용과 외부 API의 응답시간, 여러 사용자 사이의 권한 문제가 추가로 발생할 수 있다.
이번 글은 AI 에이전트를 개발할 때 작업을 수행하는 모델과 결과를 검사하는 모델, 학습을 지원하는 모델의 역할을 분리하는 접근이 중요할 수 있다는 점을 보여준다.
특히 여러 단계의 작업에서 최종 성공 여부만 측정하는 것보다 각 행동이 실제 목표에 얼마나 기여했는지 확인하는 평가 방식이 더 유용할 수 있다는 관점을 제공한다.
Which Weather Model Is Most Accurate? We Score Them Every Day, in the Open
- 저자: VIDRAFT_LAB SeaWolf-AI
- 발행: FINAL-Bench / Hugging Face Community
- 게시일: 2026-11-13
- 원문: Hugging Face — Which Weather Model Is Most Accurate? We Score Them Every Day, in the Open
AI 기상예측 모델과 기존의 물리 기반 기상예측 모델 가운데 어느 쪽이 더 정확할까?
이 질문은 단순히 하나의 연구 논문을 읽는 것만으로 답하기 어렵다.
예를 들어 어떤 모델은 하루 뒤의 기온을 정확하게 예측할 수 있다.
하지만 일주일 뒤의 강수량 예측에서는 다른 모델이 더 정확할 수 있다.
또한 특정한 지역에서는 높은 성능을 기록하더라도 다른 지역에서는 오류가 커질 수 있다.
이번 글은 이러한 문제를 해결하기 위해 여러 기상예측 모델의 결과를 매일 같은 조건에서 비교하는 공개 평가 시스템을 소개한다.
특히 논문에서 공개한 과거의 평균적인 점수만 비교하는 것이 아니라 실제 예측 날짜가 지난 뒤 관측 자료와 비교해 성능을 갱신한다는 점이 특징이다.
다만 이 글은 FINAL-Bench를 개발한 연구팀이 직접 작성한 자료다.
따라서 연구팀이 자체 모델의 성능을 평가한 결과와 외부 기관의 독립적인 검증을 구분해서 읽어야 한다.
기존 물리 기반 모델과 AI 모델의 차이
전통적인 기상예측에서는 대기와 지구의 물리적 상태를 수학적으로 계산한다.
예를 들어 대기의 온도와 압력, 수증기와 바람의 움직임을 표현하는 방정식을 사용한다.
이후 슈퍼컴퓨터를 이용해 미래의 상태를 계산한다.
이를 수치예보(Numerical Weather Prediction)라고 한다.
반면 최근의 AI 기상예측 모델은 과거의 대기 상태와 실제 이후 결과를 학습한다.
예를 들어 특정한 시점의 기상 상태를 입력받아 하루 뒤의 온도와 바람을 예측하도록 학습할 수 있다.
이런 방식은 실제 물리법칙의 모든 계산을 직접 수행하지 않고도 미래의 상태를 예측할 수 있다.
하지만 과거 데이터에 충분히 존재하지 않았던 새로운 기상 현상에서는 오류가 발생할 가능성이 있다.
따라서 AI 모델과 기존 물리 기반 모델을 실제로 비교하는 과정이 중요하다.
24개 도시와 네 가지 기상 요소를 매일 평가
FINAL-Bench는 전 세계 여섯 대륙의 24개 도시를 대상으로 기상예측 결과를 비교한다.
주요 평가 항목은 다음과 같다.
| 평가 요소 | 측정 대상 |
|---|---|
| 최고 기온 | 하루의 가장 높은 온도 |
| 최저 기온 | 하루의 가장 낮은 온도 |
| 최대 풍속 | 하루 동안의 가장 높은 바람 속도 |
| 총강수량 | 하루 동안 내린 비와 눈의 양 |
평가 대상에는 ECMWF와 NOAA, 독일과 일본 등 주요 기상기관의 모델이 포함된다.
예를 들어 ECMWF의 기존 물리 기반 모델인 IFS와 AI 모델인 AIFS를 비교할 수 있다.
미국 NOAA의 GFS와 AI 기반 AIGFS도 비교한다.
이외에도 여러 국가의 기상예측 모델이 포함된다.
연구팀은 각 모델의 예측을 동일한 날짜와 도시에서 비교한다.
예를 들어 한 모델만 예측한 날짜를 포함한다면 실제 비교에 편향이 발생할 수 있다.
따라서 모든 모델이 예측을 제공한 공통 사례를 중심으로 평가하도록 설계했다.
RMSE로 실제 예측 오류 계산
평가에는 RMSE(Root Mean Square Error, 평균제곱근오차)가 사용된다.
RMSE는 실제 값과 예측값 사이의 차이를 제곱해 평균을 낸 뒤 제곱근을 계산한 값이다.
오차가 클수록 더 큰 불이익을 주는 특징이 있다.
예를 들어 어떤 모델이 실제 기온을 1도 잘못 예측했다고 가정해 보자.
다른 모델은 같은 상황에서 5도 잘못 예측했다.
RMSE에서는 더 큰 오류가 실제 점수에 상대적으로 큰 영향을 준다.
따라서 평균적인 작은 오류뿐 아니라 드물게 발생하는 큰 오류도 중요하게 평가된다.
이번 연구에서는 주로 ERA5 자료를 기준으로 사용했다.
ERA5는 유럽의 코페르니쿠스 기후변화 서비스를 통해 제공되는 재분석 기상자료다.
재분석(Reanalysis)은 과거의 관측자료와 기상 모델을 결합해 대기의 상태를 일관된 형태로 재구성하는 방법이다.
하지만 재분석 자료와 실제 지상 관측소의 측정값은 완전히 같은 개념이 아니다.
따라서 ERA5를 기준으로 높은 점수를 기록했다고 해서 모든 실제 기상관측소에서도 같은 수준의 정확도를 보장하는 것은 아니다.
AI 모델이 기존 물리 기반 모델을 앞서는 경향
연구팀은 2026년 1월부터 11월 7일까지의 평가 결과를 공개했다.
공개된 자료에서는 ECMWF의 AI 기반 AIFS가 기존 IFS보다 여러 예측 기간에서 낮은 오류를 기록했다.
NOAA의 AIGFS도 기존 GFS보다 낮은 오류를 기록한 것으로 나타났다.
이는 AI 기반 기상예측 모델이 실제 기존 수치예보 모델과 경쟁할 수 있는 수준으로 발전하고 있음을 보여준다.
하지만 모든 AI 기상예측 모델이 모든 조건에서 물리 기반 모델보다 뛰어나다는 의미는 아니다.
실제 강한 폭풍과 극한 강수, 기후 변화와 관련된 장기적 현상에서는 다른 종류의 평가가 필요할 수 있다.
또한 이번 평가에서 사용한 도시는 24개로 제한돼 있다.
따라서 모든 국가와 모든 지역의 성능을 대표한다고 판단해서는 안 된다.
여러 모델을 결합한 Darwin-Prediction-Weather
이번 글의 작성팀은 자체 기상예측 모델인 Darwin-Prediction-Weather도 소개했다.
Darwin은 하나의 모델이 독립적으로 미래의 기상을 예측하는 것보다 여러 모델의 예측을 결합하는 방식을 사용한다.
이를 Ensemble(앙상블)이라고 한다.
앙상블은 서로 다른 모델의 결과를 결합해 예측의 정확성과 안정성을 높이려는 방법이다.
예를 들어 어떤 모델은 기온을 잘 예측할 수 있다.
다른 모델은 바람의 움직임을 잘 예측할 수 있다.
이런 모델들의 장점을 결합하면 하나의 모델보다 정확한 결과를 얻을 가능성이 있다.
Darwin은 각 모델의 과거 예측 능력을 참고해 서로 다른 가중치를 부여한다.
이를 Skill-Weighted Fusion(성능 기반 가중 결합)이라고 한다.
또한 기온과 바람에 대해서는 지역별 보정도 수행한다.
연구팀은 24개 도시를 대상으로 한 자체 평가에서 Darwin이 주요 비교 모델보다 낮은 오류를 기록했다고 밝혔다.
대표적인 결과는 다음과 같다.
| 평가 항목 | Darwin 1일 예측 RMSE | ECMWF AIFS |
|---|---|---|
| 최고 기온 | 0.84°C | 1.35°C |
| 최저 기온 | 0.91°C | 1.50°C |
| 최대 풍속 | 2.25km/h | 3.60km/h |
| 총강수량 | 4.15mm | 4.33mm |
하지만 이 결과는 Darwin을 개발한 연구팀의 자체 평가다.
연구팀은 관련 자료와 예측 결과를 공개했지만 모든 수치를 외부 평가기관이 독립적으로 검증한 것은 아니다.
또한 실제로 평가 대상 모델이 동일한 예측 시점과 자료를 사용했는지, 지역별 보정에 미래의 정보가 유입되지 않았는지 확인하는 과정이 중요하다.
연구팀은 미래 관측값을 학습에 사용하지 않도록 구성했다고 설명했다.
하지만 이런 설계의 타당성도 외부 재현을 통해 검증할 수 있다.
WeatherBench 2 결과와 실제 순위 구분
연구팀은 Google Research의 WeatherBench 2 평가 방식도 사용했다.
WeatherBench 2는 기상예측 모델을 비교하기 위한 공개 벤치마크다.
Darwin은 일부 평가 지표에서 기존의 공개 최고 점수보다 낮은 오류를 기록했다고 밝혔다.
하지만 글에서는 관련 예측 파일을 공개하고 공식 평가 측에 제출했다고 설명한다.
따라서 해당 제출 결과가 공식 리더보드에서 최종적으로 검증됐는지는 별도로 확인해야 한다.
자체 계산 결과가 기존 공개 점수보다 높다는 사실과 공식 리더보드에서 확정적인 1위를 인정받았다는 사실은 다르다.
실제 평가 자료 공개
이번 연구팀은 다음 자료를 공개했다.
- 매일 갱신되는 기상예측 모델 리더보드
- 2026년 1월 이후의 예측 기록
- 실제 비교에 사용한 관측·재분석 자료
- Darwin 모델과 관련 데이터
- WeatherBench 2에 제출한 예측 파일
이렇게 하면 외부 연구자가 특정한 날짜와 도시에서 실제로 어떤 모델이 더 정확했는지 확인할 수 있다.
다만 공개된 데이터의 사용 조건은 서로 다르다.
리더보드 애플리케이션은 Apache 2.0 라이선스로 제공된다.
반면 일부 예측 데이터와 Darwin 모델은 CC BY-NC 4.0으로 제공된다.
따라서 상업적 활용을 위해서는 실제 사용 대상의 라이선스를 확인해야 한다.
이번 글은 기상예측 AI의 성능을 이해할 때 과거 논문의 평균 점수뿐 아니라 실제 운영 시점의 예측과 이후 관측자료를 지속적으로 비교하는 평가 체계가 중요하다는 점을 보여준다.
특히 AI 모델의 성능을 주장할 때 어떤 자료를 정답으로 사용했는지와 실제 평가 범위, 독립적인 검증 여부를 함께 확인해야 한다는 관점을 제공한다.