AI 데일리 브리핑 — 2026-11-10

기준 시점: 2026-11-10 06:00 KST (Asia/Seoul)
AI 동향 조사 범위: 2026-11-09 06:00 ~ 2026-11-10 06:00 KST
추천 글 범위: 2026-11-03 06:00 ~ 2026-11-10 06:00 KST

---

1️⃣ 주요 모델·연구

Anthropic, Claude Fable 5.2·Mythos 5.2 출시…코딩·과학 연구 성능 개선하고 사이버보안 접근권한 분리

• 발표일: 2026-11-09 — 정확한 게시 시각 미확인
• 적용 범위: 대형 언어모델, 코딩 에이전트, 사이버보안, 과학·공학 연구, 로봇, 형식 검증, AI 안전
• 원문: Anthropic — Claude Fable 5.2 and Mythos 5.2

Anthropic이 새로운 프런티어 모델 Claude Fable 5.2와 Claude Mythos 5.2를 공개했다.

이번 모델은 기존 Fable 5.1과 Mythos 5.1의 후속 버전으로, 코딩과 복잡한 추론, 과학 연구와 실제 프로그램을 사용하는 에이전트 작업을 강화했다.

특히 이번 발표에서 중요한 부분은 Fable과 Mythos가 서로 다른 기반 모델이 아니라 동일한 모델에 서로 다른 안전장치를 적용한 형태라는 점이다.

Fable 5.2는 일반 사용자에게 제공되는 모델이다. 사이버보안과 생물학 분야에서 악용 가능성이 높은 일부 요청에는 강한 제한을 적용한다.

반면 Mythos 5.2는 검증된 보안 전문가와 생명과학 연구자가 더 폭넓은 전문 작업을 수행하도록 제공되는 모델이다.

즉 새로운 모델을 공개하면서 기술적 능력뿐 아니라 누가 어떤 종류의 작업에 접근할 수 있는지를 함께 설계했다.

실제 코드 수정 능력에서 큰 폭의 개선

Anthropic은 여러 벤치마크에서 새로운 모델의 성능을 평가했다.

벤치마크(Benchmark)는 동일한 조건에서 여러 AI 모델의 성능을 비교하기 위해 만든 평가 과제와 절차다.

대표적인 평가인 FrontierCode 2.0은 실제 오픈소스 저장소에 대한 코드 변경이 유지보수 담당자에게 받아들여질 만한 수준인지 평가한다.

단순히 코드를 생성하는 것이 아니라 기존 프로젝트의 구조와 요구사항을 이해하고 실제로 사용할 수 있는 수정사항을 만드는 능력을 측정한다.

Anthropic이 공개한 결과는 다음과 같다.

FrontierCode 2.0에서 Fable 5.2는 기존 모델보다 16.7%포인트 높은 점수를 기록했다.

AutomationBench에서도 31.4%에서 51.4%로 개선됐다.

AutomationBench는 AI 에이전트가 외부 업무 도구를 사용해 여러 단계의 작업을 완료하는 능력을 평가한다.

예를 들어 필요한 정보를 검색하고, 관련 프로그램을 호출한 뒤, 결과를 확인하는 과정이 포함될 수 있다.

다만 표의 수치는 Anthropic이 공개한 자체 평가 결과다. 평가 항목마다 모델의 추론 강도와 실행 환경이 완전히 동일한 것은 아니므로 모든 점수를 직접적인 모델 순위로 해석해서는 안 된다.

또한 코딩 벤치마크의 성공률이 높아졌다는 사실과 실제 개발자의 생산성이 같은 비율로 개선됐다는 사실은 다르다.

같은 모델로 더 빠르고 저렴하게 작업

Anthropic은 Fable 5.2와 Mythos 5.2의 일반 API 가격을 다음과 같이 발표했다.

토큰(Token)은 언어모델이 텍스트를 처리하는 기본 단위다.

Anthropic에 따르면 새 모델은 이전 버전보다 출력 토큰을 최대 30% 빠르게 생성한다.

또한 별도의 Fast Mode(빠른 모드)를 사용하면 출력 생성 속도를 최대 2.5배 높일 수 있다.

다만 빠른 모드는 일반 요금의 두 배를 지불해야 한다.

예를 들어 사용자의 요청을 처리하는 시간이 중요한 실시간 서비스에서는 빠른 모드가 유용할 수 있다.

반면 즉시 결과가 필요하지 않은 대량 문서 분석에서는 일반 모드가 비용 측면에서 더 적합할 수 있다.

또한 토큰 생성 속도가 2.5배 빨라진다는 사실이 실제 에이전트의 전체 작업 완료시간을 2.5배 단축한다는 의미는 아니다.

에이전트의 작업에는 파일 읽기와 테스트 실행, 외부 API 응답 대기시간도 포함되기 때문이다.

실제 소프트웨어와 하드웨어 개발에도 적용

Anthropic은 모델의 성능을 단순한 시험 문제뿐 아니라 실제 개발 작업에서도 평가했다.

회사는 Fable 5.2의 초기 버전을 이용해 중요한 운영 서비스를 Python에서 Rust로 이전했다고 밝혔다.

Rust는 메모리 안전성과 실행 성능을 강조하는 프로그래밍 언어다.

Anthropic에 따르면 이전 작업 이후 해당 서비스의 시작 속도가 약 26배 빨라졌다.

하지만 이 수치는 특정한 내부 서비스에서 측정한 결과다.

모든 Python 프로그램을 Rust로 이전하면 같은 개선이 발생한다는 의미는 아니다.

하드웨어 개발에서도 세 가지 시제품을 제작했다.

대상은 가정용 음성 비서 허브와 USB 스피커폰, 휴대용 가상 반려동물 장치였다.

AI는 회로기판 설계와 3D 프린팅용 케이스, 펌웨어와 관련 소프트웨어의 제작을 지원했다.

펌웨어(Firmware)는 실제 하드웨어의 동작을 제어하기 위해 기기 내부에서 실행되는 소프트웨어를 의미한다.

다만 실제 제조와 검증에는 외부 제조업체와 인간 연구자가 참여했다.

따라서 AI가 모든 하드웨어 설계와 생산을 사람 없이 완료했다는 뜻은 아니다.

수학 증명을 형식화하는 작업에도 활용

Anthropic은 여러 Fable 5.2 에이전트가 협력해 페르마의 마지막 정리의 증명을 형식화한 사례도 소개했다.

페르마의 마지막 정리는 3 이상의 자연수 n에 대해 양의 정수 x, y, z가 다음 식을 만족할 수 없다는 내용이다.

xⁿ + yⁿ = zⁿ

이 정리는 이미 수학적으로 증명돼 있다.

이번 실험의 목표는 새로운 정리를 발견하는 것이 아니라 기존 증명을 컴퓨터가 검증할 수 있는 형태로 변환하는 것이었다.

이를 형식화(Formalization)라고 한다.

Anthropic은 약 1,000개의 Fable 5.2 에이전트가 협력해 30시간 만에 Lean 형식화를 완료했다고 밝혔다.

Lean은 수학적 명제와 증명 과정을 컴퓨터가 논리적으로 검사하도록 만드는 도구다.

이전 연구용 모델을 사용했을 때는 같은 종류의 작업에 약 11일이 필요했다.

다만 이번 결과는 Anthropic이 수행한 특정한 연구 실험이다.

또한 기존에 알려진 정리의 형식화와 아직 증명되지 않은 수학 난제의 해결은 서로 다른 작업이다.

Anthropic은 별도로 블랙홀 물리학의 미해결 문제 두 개에 관한 연구 성과도 발표했지만, 이러한 결과는 정식 논문 검토와 외부 재현을 통해 확인할 필요가 있다.

Mythos 5.2는 전문 보안 연구에 집중

Mythos 5.2는 소프트웨어 취약점을 찾고 재현하는 능력도 강화했다.

CVE(Common Vulnerabilities and Exposures)는 공개적으로 식별된 소프트웨어 취약점을 관리하는 체계다.

Anthropic의 CVE Rediscovery 평가는 이미 알려진 취약점이 수정되기 전의 소프트웨어를 모델에게 제공한 뒤 해당 문제를 독립적으로 찾아낼 수 있는지 검사한다.

공개된 결과는 다음과 같다.

이번 평가는 1,829개 CVE를 대상으로 진행됐다.

하지만 이미 알려진 취약점을 과거 코드에서 다시 발견하는 작업과 아직 알려지지 않은 새로운 취약점을 발견하는 작업은 다르다.

따라서 이 점수를 실제 기업의 모든 보안 문제를 89.6% 발견할 수 있다는 의미로 해석해서는 안 된다.

Anthropic은 모델의 기술적 능력이 높아진 만큼 접근권한을 구분했다.

일반적인 Fable 5.2에서는 위험한 사이버보안 요청의 상당 부분을 제한한다.

반면 Mythos 5.2는 검증 절차를 통과한 사용자에게 더 폭넓은 전문 기능을 제공한다.

이번 발표는 고성능 AI의 출시가 모델의 성능과 가격, 실제 작업 능력뿐 아니라 접근권한과 악용 방지 정책까지 포함하는 제품 설계 문제가 되고 있음을 보여준다.

---

LG AI연구원, ‘K-엑사원 2.5’ API 무료 개방…에이전트 평가 성능 개선했지만 공개 약관은 비상업적 사용으로 제한

• 발표일: 2026-11-09 — 정확한 게시 시각 미확인
• 적용 범위: 한국어 대형 언어모델, 에이전트, 개발자 API, 코딩, 웹 자동화, 오픈웨이트 모델 경쟁
• 원문: LG AI연구원 — K-엑사원 2.5 API 무료 개방
• 관련 원문: EXAONE API Platform — K-EXAONE 2.5 API 문서
• 관련 원문: EXAONE API Platform — 서비스 이용약관

LG AI연구원이 한국형 AI 모델 K-엑사원 2.5(K-EXAONE 2.5)의 API를 무료로 공개했다.

이번 발표는 완전히 새로운 아키텍처의 모델을 출시한 소식이라기보다, 지난 8월 공개한 K-엑사원 2차 모델에 추가 학습을 적용해 성능을 개선하고 실제 개발자가 시험할 수 있도록 제공 범위를 넓힌 것이다.

LG AI연구원은 11월 9일 서울 코엑스에서 열린 NVIDIA AI Day Seoul 2026에서 해당 내용을 발표했다.

회사에 따르면 기존 모델을 약 8주 동안 추가 개선한 결과, 24개 평가 지표의 종합 성능이 70% 이상 향상됐다.

다만 이 수치는 LG AI연구원의 내부 평가 결과다.

종합 성능이 70% 향상됐다는 사실과 모든 개별 작업의 성공률이 70%포인트 증가했다는 사실은 다르다.

코딩과 업무 자동화 중심으로 평가

K-엑사원 2.5는 실제 외부 도구를 사용하는 에이전트 작업을 중심으로 평가됐다.

에이전트형 AI(Agentic AI)는 사용자의 목표를 달성하기 위해 여러 단계의 행동을 계획하고 외부 도구를 호출할 수 있도록 구성된 AI 시스템이다.

예를 들어 AI가 웹사이트를 검색한 뒤 필요한 정보를 찾아 문서에 정리할 수 있다.

또는 실제 코드 저장소의 오류를 분석하고 관련 파일을 수정할 수도 있다.

LG AI연구원이 공개한 주요 결과는 다음과 같다.

AutomationBench는 SaaS 업무 도구를 이용해 여러 단계의 자동화 작업을 수행하는 능력을 평가한다.

Claw-Eval은 실제 업무 환경에서 에이전트가 문제를 해결하는 능력을 측정한다.

BrowseComp는 웹을 탐색하고 필요한 정보를 찾아내는 능력을 평가한다.

SWE-Bench Pro는 실제 소프트웨어의 문제를 분석하고 수정하는 능력을 측정한다.

K-엑사원 2.5는 네 평가에서 비교 대상 모델들과 경쟁할 만한 점수를 기록했다.

하지만 모든 평가에서 가장 높은 점수를 기록한 것은 아니다.

특히 SWE-Bench Pro에서는 GLM 5.3보다 낮은 점수를 기록했다.

또한 이번 결과는 공개 데이터셋을 이용한 LG AI연구원의 자체 측정이다.

실제 개발자가 같은 모델을 자신의 업무에 적용했을 때 동일한 성공률을 얻는지는 별도의 검증이 필요하다.

OpenAI 호환 API와 52만 토큰 컨텍스트 지원

LG AI연구원은 자체 플랫폼인 EXAONE API Platform을 통해 K-엑사원 2.5를 제공하기 시작했다.

공식 문서에 따르면 API는 OpenAI의 Chat Completions 형식과 호환된다.

따라서 해당 API 형식을 사용하는 기존 프로그램에서는 모델 이름과 호출 주소, 인증정보 등을 변경해 연동할 수 있다.

실제 모델 식별자는 k-exaone_v2.5다.

또한 최대 524,288토큰의 컨텍스트 길이를 지원한다.

컨텍스트(Context)는 모델이 하나의 요청에서 참고할 수 있는 입력과 이전 대화 등의 정보 범위를 의미한다.

예를 들어 긴 기술 문서나 여러 소스코드 파일을 하나의 요청에 포함할 수 있다.

하지만 최대 컨텍스트가 52만 토큰이라는 사실만으로 그 안의 모든 정보를 완벽하게 기억하고 추론할 수 있다는 의미는 아니다.

실제 긴 문맥의 정확성은 별도의 평가가 필요하다.

공식 API 문서에서는 K-엑사원 2.5가 텍스트 전용 모델이라고 명시하고 있다.

따라서 현재 공개된 API가 이미지와 음성을 직접 처리하는 멀티모달 API라고 설명해서는 안 된다.

무료 개방과 상업적 사용 허용은 다른 문제

이번 발표에서 개발자가 특히 주의해야 할 부분은 보도자료와 실제 공개 이용약관 사이의 차이다.

LG AI연구원의 보도자료에서는 개발자와 스타트업, 기업과 연구기관이 무료로 API를 발급받아 서비스 개발과 연구에 활용할 수 있다고 설명한다.

하지만 확인 가능한 EXAONE API Platform의 영문 이용약관 제2.1조에는 다음과 같은 제한이 존재한다.

플랫폼은 비상업적 목적으로만 사용할 수 있으며, 모델이나 출력을 상업적 목적으로 사용하거나 제3자가 API를 호출할 수 있도록 제품·서비스에 통합해서는 안 된다는 내용이다.

따라서 API 호출 요금이 무료라는 사실만으로 실제 상용 서비스에 자유롭게 통합할 수 있다고 판단해서는 안 된다.

예를 들어 개인적인 연구나 모델 평가와 실제 고객에게 제공하는 유료 서비스는 이용 목적이 다르다.

회사에서 API를 사용하려는 경우에도 내부 연구용 실험과 실제 고객 대상 서비스의 사용 조건이 같다고 가정해서는 안 된다.

현재 공개된 약관을 기준으로는 상업적 사용이나 제3자 서비스 통합이 제한돼 있으므로 실제 제품 개발에 사용하려면 LG AI연구원에 적용 조건을 별도로 확인해야 한다.

보도자료의 표현과 이용약관에 차이가 있다는 사실을 명확하게 구분할 필요가 있다.

입력·출력 데이터의 학습 활용 조건도 확인 필요

공식 이용약관에는 API 이용자가 제출한 입력과 모델의 출력을 LG AI연구원이 모델 학습에 사용할 수 있다는 내용도 포함돼 있다.

다만 플랫폼에서 학습 활용을 거부하는 설정을 적용하면 이후 입력과 출력은 모델 학습에 사용하지 않는다고 설명한다.

이미 학습에 반영된 데이터는 기술적으로 분리해 삭제하기 어렵다는 제한도 명시돼 있다.

따라서 실제 회사의 내부 문서나 개인정보, 소스코드를 API로 전달하려면 데이터 처리 조건을 확인해야 한다.

또한 API 키는 발급 후 30일 동안 유효하며 만료 시 비활성화된다.

이는 단기간 실험과 장기간 운영 서비스의 인증 관리 방식에 영향을 줄 수 있는 조건이다.

LG AI연구원은 현재 더 높은 성능의 차기 모델도 개발하고 있으며 2027년 1월을 목표로 하고 있다고 밝혔다.

하지만 이 모델은 11월 9일에 실제로 공개된 K-엑사원 2.5와 구분해야 한다.

이번 발표는 한국에서 개발된 AI 모델을 외부 개발자가 직접 시험할 수 있는 기회가 확대됐다는 점에서 의미가 있다.

동시에 모델 성능과 API 가격뿐 아니라 실제 라이선스, 데이터 처리와 서비스 통합 조건도 AI 플랫폼을 선택할 때 중요한 요소라는 점을 보여준다.

---

NVIDIA·Elith, 일본 금융 AI용 합성 인물 데이터 900만 건 공개…실제 고객정보 없이 다양한 금융 상황 시뮬레이션

• 발표일: 2026-11-09 — 정확한 게시 시각 미확인
• 적용 범위: AI 학습 데이터, 합성 데이터, 금융 AI, 일본어 모델, 개인정보 보호, 고객 시뮬레이션, 오픈소스
• 원문: NVIDIA — Nemotron-Personas-Finance-Japan

NVIDIA와 일본 AI 기업 Elith가 일본 금융산업에 특화된 대규모 합성 데이터셋 Nemotron-Personas-Finance-Japan을 공개했다.

이번 발표는 새로운 언어모델을 출시한 소식이 아니다.

실제 고객의 개인정보를 직접 사용하지 않고도 다양한 금융 상황을 학습하고 평가할 수 있도록 만든 가상의 인물 데이터를 공개한 것이다.

금융기관에서 AI 서비스를 개발하려면 실제 사용자의 생활환경과 금융 상황을 고려해야 한다.

예를 들어 자산관리 서비스를 만든다고 가정해 보자.

학생과 은퇴자는 소득과 지출 구조가 다를 수 있다.

같은 연령대라도 거주 지역과 가구 구성, 직업에 따라 금융 상황이 다를 수 있다.

하지만 실제 고객의 계좌정보와 자산을 AI 학습에 사용하려면 개인정보 보호와 규정 준수 문제가 발생한다.

NVIDIA는 이를 해결하기 위해 일본의 공식 통계와 생성형 AI를 결합했다.

900만 개 가상 인물과 50개 정보 필드

이번 데이터셋의 규모는 다음과 같다.

페르소나(Persona)는 특정한 성격과 환경, 행동 특성을 가진 가상의 인물을 의미한다.

예를 들어 한 인물의 직업과 가구 구성, 금융 관심사와 자산관리 습관을 함께 표현할 수 있다.

이번 데이터셋은 일본어로 작성됐다.

또한 연령과 거주 지역, 직업과 소득, 금융자산과 지출 성향 등을 포함한다.

NVIDIA는 일본의 공식 인구·노동 통계에 기반해 이런 정보를 생성했다고 설명한다.

단순히 언어모델에게 가상의 사람을 무작위로 작성하도록 요청한 것이 아니라는 뜻이다.

확률적 그래프 모델로 통계적 관계 반영

이번 데이터 생성에는 NVIDIA의 NeMo SDG-PGMs가 사용됐다.

PGM(Probabilistic Graphical Model, 확률적 그래프 모델)은 여러 변수 사이의 통계적 관계를 표현하는 모델이다.

예를 들어 연령과 직업, 소득과 주거 형태 사이에는 일정한 통계적 관계가 존재할 수 있다.

실제 데이터를 완전히 무작위로 생성한다면 이런 관계가 비현실적으로 나타날 수 있다.

반면 확률적 그래프 모델을 이용하면 공개 통계에 존재하는 주요 관계를 반영할 수 있다.

이후 Gemma 4 기반 모델 등을 이용해 자연스러운 일본어 설명을 생성했다.

이를 Synthetic Data Generation(합성 데이터 생성)이라고 한다.

실제 고객의 기록을 그대로 복사하는 대신 통계적 특성과 규칙을 바탕으로 새로운 가상의 데이터를 만드는 방식이다.

금융 에이전트의 실제 행동을 시험

이 데이터셋은 단순한 대화 학습뿐 아니라 실제 금융 에이전트의 평가에도 활용할 수 있다.

예를 들어 AI 금융 비서가 특정한 저축 계획을 설명한다고 가정해 보자.

대학생에게 적절한 설명과 은퇴자에게 적절한 설명은 다를 수 있다.

또한 소득이 불규칙한 사람과 정기적인 급여를 받는 사람은 지출 계획을 다르게 세울 수 있다.

개발자는 합성 페르소나를 사용해 여러 사용자가 어떤 질문을 하고 AI가 어떻게 응답하는지 시험할 수 있다.

NVIDIA는 이를 위해 NeMo User Sim이라는 사용자 시뮬레이션 프레임워크와의 연동을 제공한다.

사용자 시뮬레이션은 실제 사람이 참여하지 않더라도 가상의 사용자 행동을 생성해 서비스를 시험하는 방법이다.

하지만 합성 페르소나가 실제 일본 금융소비자의 행동을 완벽하게 재현한다는 의미는 아니다.

공개 통계에서 충분히 나타나지 않는 소수 집단이나 특수한 금융 상황은 데이터에 제대로 반영되지 않을 수 있다.

또한 합성 데이터라는 사실만으로 개인정보 유출 가능성이 완전히 사라지는 것도 아니다.

실제 데이터와의 유사성, 통계적 편향과 생성 과정의 보호조치를 별도로 검토해야 한다.

이번 데이터셋은 CC BY 4.0 라이선스로 공개됐으며 상업적 사용도 허용된다.

이번 발표는 금융 AI의 발전에서 모델의 추론 능력뿐 아니라 실제 고객정보를 보호하면서 다양한 사용자 상황을 재현할 수 있는 평가 데이터가 중요해지고 있음을 보여준다.

---

2️⃣ AI 제품·서비스

Microsoft·Northern Trust, 기관투자자 고객 등록 업무에 AI 에이전트 도입…데이터 준비 기간 2.5주에서 3일로 단축

• 발표일: 2026-11-09 — 정확한 게시 시각 미확인
• 적용 범위: 기업용 AI 에이전트, 금융기관, 데이터 정규화, Microsoft Foundry, Azure, Excel, SharePoint
• 원문: Microsoft — Northern Trust and Microsoft collaborate to transform client onboarding through AI

Microsoft와 글로벌 금융기관 Northern Trust가 기관투자자 고객의 등록 절차에 사용하는 새로운 AI 에이전트를 실제 업무에 도입했다고 발표했다.

이번 발표는 일반 소비자를 위한 새로운 AI 챗봇의 출시가 아니다.

고객이 과거에 사용하던 금융 데이터와 거래 기록을 새로운 금융관리 플랫폼에 맞게 변환하는 복잡한 업무를 자동화한 사례다.

기업용 AI를 실제 업무에 도입할 때는 문서를 요약하거나 이메일 초안을 작성하는 기능보다 더 복잡한 문제가 발생할 수 있다.

예를 들어 기관투자자가 새로운 자산관리 플랫폼으로 이동한다고 가정해 보자.

기존에 관리하던 투자자산과 거래 기록, 과거 수익률에 관한 정보가 필요하다.

그런데 데이터가 여러 은행과 자산관리 시스템에 분산돼 있을 수 있다.

또한 각 시스템은 서로 다른 데이터 형식과 계산 규칙을 사용한다.

이런 자료를 새로운 시스템에 입력하려면 데이터의 의미를 이해하고 일관된 형식으로 변환해야 한다.

기관투자자의 과거 거래 데이터를 통합

Northern Trust의 Front Office Solutions는 연기금과 재단, 대형 자산가와 기관투자자에게 투자 성과 분석 기능을 제공한다.

이런 고객의 데이터에는 일반적인 상장주식뿐 아니라 대체투자 자산도 포함될 수 있다.

대체투자에는 사모펀드와 부동산, 인프라 투자 등이 포함될 수 있다.

문제는 일부 자산의 가격과 거래 기록이 일반적인 주식 거래처럼 표준화돼 있지 않을 수 있다는 점이다.

예를 들어 특정한 사모펀드의 투자금 납입 기록과 분배금 기록이 서로 다른 파일에 저장돼 있을 수 있다.

AI 에이전트는 이런 자료를 분석하고 Northern Trust의 시스템에서 사용할 수 있는 표준 형식으로 변환한다.

하지만 이는 단순히 파일의 확장자를 변경하는 작업이 아니다.

서로 다른 원본 자료에서 같은 거래와 자산을 올바르게 연결하고, 실제 투자 기록의 의미가 유지되도록 만드는 데이터 변환 작업이다.

데이터 준비시간 83% 감소

Northern Trust와 Microsoft는 실제 운영 결과를 공개했다.

F1 점수(F1 Score)는 정밀도와 재현율을 함께 고려하는 평가 지표다.

정밀도는 시스템이 올바르다고 판단한 결과 가운데 실제로 올바른 결과의 비율이다.

재현율은 실제로 확인해야 할 올바른 결과 가운데 시스템이 얼마나 많이 찾아냈는지 나타낸다.

F1 점수 96.5%는 두 지표를 결합한 값이다.

따라서 모든 데이터가 96.5%의 확률로 정확하다는 의미는 아니다.

또한 고객 등록 업무 전체가 83% 자동화됐다는 뜻도 아니다.

데이터 준비 단계에 필요한 시간이 83% 감소했다는 회사의 자체 측정 결과다.

실제 고객 등록에는 자료 검증과 승인, 법적·운영상 요구사항을 확인하는 다른 단계도 포함될 수 있다.

사람이 검토할 수 있도록 기존 도구에 연결

이번 에이전트는 Microsoft Azure를 기반으로 개발됐다.

모델과 AI 애플리케이션을 관리하는 데는 Microsoft Foundry가 사용된다.

또한 실제 담당자가 작업 결과를 검토할 수 있도록 Microsoft Excel과 SharePoint를 연결했다.

예를 들어 AI가 과거 거래 기록을 변환한 뒤 일부 금액의 의미를 확정하지 못할 수 있다.

이 경우 담당자는 원본 자료와 변환된 결과를 비교해 문제를 수정할 수 있다.

또한 이전에 승인된 처리 규칙과 사례를 저장해 이후 비슷한 업무에서 재사용하도록 구성했다.

이런 구조에서는 AI가 모든 문제를 혼자 해결하는 것이 아니라 반복적인 데이터 처리와 인간 전문가의 판단을 분리한다.

특히 금융 데이터에서는 작은 오류가 잘못된 성과 분석으로 이어질 수 있다.

예를 들어 투자금 납입을 수익으로 잘못 분류하면 실제 투자 성과가 왜곡될 수 있다.

따라서 데이터의 변환 결과를 검증하고 원본 자료까지 추적할 수 있는 구조가 중요하다.

기업용 AI에서 데이터 표준화의 의미

이번 사례는 생성형 AI를 실제 기업 업무에 적용할 때 필요한 조건을 보여준다.

일반적인 언어모델은 여러 문서에서 관련 정보를 찾아내는 데 도움을 줄 수 있다.

하지만 기업의 업무 시스템에 데이터를 실제로 입력하려면 미리 정의된 구조와 계산 규칙을 따라야 한다.

이를 Data Standardization(데이터 표준화)이라고 한다.

예를 들어 여러 은행의 거래 기록에서 날짜와 통화, 자산 이름과 거래 유형을 하나의 형식으로 정리할 수 있다.

이렇게 하면 이후 분석 프로그램과 보고서가 같은 의미의 데이터를 일관되게 사용할 수 있다.

다만 이번에 발표한 성과는 Northern Trust와 Microsoft가 공개한 자체 운영 결과다.

다른 금융기관에서도 동일한 기간과 비용 절감 효과가 나타난다는 보장은 없다.

이번 발표는 기업용 AI의 활용이 문서 작성과 질문·답변에서 실제 데이터 이전과 정규화, 검증 업무로 확대되고 있음을 보여준다.

---

3️⃣ 개발 도구·에이전트

Google, TPU의 KV 캐시와 모델 가중치를 직접 전송하는 오픈소스 ‘TPU Sync’ 공개…데이터 이동 지연 최대 90% 이상 감소

• 발표일: 2026-11-09 — 정확한 게시 시각 미확인
• 적용 범위: AI 추론, TPU, KV Cache, 분산 추론, 강화학습, C++, vLLM, SGLang, 오픈소스
• 원문: Google Cloud — Introducing TPU Sync
• 관련 원문: GitHub — TPU Sync

Google Cloud가 TPU 기반의 AI 시스템에서 모델의 중간 계산 결과와 가중치를 빠르게 이동시키는 오픈소스 라이브러리 TPU Sync를 공개했다.

이번 기술은 AI 모델의 계산 자체를 더 빠르게 수행하는 새로운 반도체가 아니다.

여러 TPU와 서버 사이에서 반복적으로 이동하는 데이터를 효율적으로 전달해 실제 추론과 강화학습의 대기시간을 줄이는 소프트웨어 기술이다.

최근 AI 에이전트는 하나의 짧은 질문만 처리하지 않는다.

예를 들어 코딩 에이전트가 수십만 토큰의 소스코드와 개발 문서를 읽을 수 있다.

이후 테스트를 실행하고 그 결과를 바탕으로 다시 모델을 호출할 수 있다.

이런 과정에서는 이전 입력을 처리하면서 생성한 중간 계산 결과를 반복해서 사용해야 한다.

문제는 이런 계산 결과를 저장하고 이동하는 데 상당한 메모리와 네트워크 자원이 필요하다는 점이다.

KV Cache는 무엇인가

언어모델이 긴 문장을 처리할 때는 Attention(어텐션)이라는 기술이 사용된다.

Attention은 입력의 여러 부분 사이에서 어떤 정보가 중요한지 계산하는 방법이다.

모델이 이전 입력을 처리할 때 계산한 일부 정보를 저장하면 다음 토큰을 생성할 때 같은 계산을 반복하지 않아도 된다.

이때 저장하는 정보를 KV Cache(Key-Value Cache)라고 한다.

예를 들어 사용자가 AI에게 긴 문서를 제공한 뒤 여러 가지 질문을 한다고 가정해 보자.

모든 질문에서 같은 문서를 처음부터 다시 처리하면 계산 비용이 증가할 수 있다.

하지만 이전 문서에 대한 KV Cache를 재사용하면 중복 계산을 줄일 수 있다.

문제는 입력이 길어질수록 KV Cache의 크기도 증가한다는 것이다.

TPU에는 매우 빠르지만 상대적으로 제한된 HBM(High Bandwidth Memory, 고대역폭 메모리)이 존재한다.

KV Cache가 너무 커지면 TPU 내부에 모든 데이터를 저장하기 어려울 수 있다.

TPU 메모리와 서버 메모리, SSD를 하나의 계층으로 관리

TPU Sync는 데이터를 여러 종류의 저장공간으로 이동시키도록 설계됐다.

대표적으로 다음과 같은 저장공간이 사용된다.

여기서 DRAM은 서버의 일반적인 작업 메모리다.

SSD는 반도체 기반의 저장장치다.

예를 들어 오래전에 사용한 KV Cache를 TPU의 HBM에서 서버 메모리로 옮길 수 있다.

이후 해당 정보가 다시 필요해지면 TPU로 가져올 수 있다.

이런 방식은 빠른 메모리에 모든 정보를 계속 유지해야 하는 부담을 줄인다.

하지만 메모리 사이에서 데이터를 이동시키는 과정에도 시간이 필요하다.

TPU Sync는 이 데이터 이동 과정에서 불필요한 복사와 형식 변환을 줄이도록 설계됐다.

TPU가 계산하는 동안 데이터를 이동

TPU Sync는 DMA(Direct Memory Access)를 사용한다.

DMA는 CPU가 모든 데이터 이동을 직접 처리하지 않아도 다른 하드웨어가 메모리 사이에서 데이터를 전송할 수 있도록 지원하는 기술이다.

예를 들어 TPU가 현재 요청을 계산하는 동안 다음 요청에 필요한 KV Cache를 가져올 수 있다.

이렇게 하면 데이터 이동과 실제 계산을 일부 겹쳐 실행할 수 있다.

이를 Asynchronous Transfer(비동기 전송)라고 한다.

Google은 TPU Sync가 이미 TPU에 저장된 데이터의 배치 형태를 유지하면서 직접 전송하도록 설계됐다고 설명한다.

기존의 일부 방식에서는 데이터를 네트워크로 전달하기 전에 다른 형식으로 변환해야 할 수 있다.

전송 후에는 다시 TPU에 적합한 형태로 변환해야 한다.

TPU Sync는 이런 중간 작업을 줄인다.

대형 MoE 모델에서 지연시간 대폭 감소

Google은 235B~480B 규모의 오픈웨이트 MoE 모델을 이용해 성능을 평가했다.

MoE(Mixture of Experts)는 여러 전문 신경망 가운데 필요한 일부만 선택적으로 사용하는 모델 구조다.

공개된 평가 결과에서는 다음과 같은 개선이 나타났다.

TTFT(Time to First Token)는 사용자가 요청한 뒤 AI가 첫 번째 출력 토큰을 생성하기까지 걸리는 시간이다.

예를 들어 사용자가 매우 긴 문서를 전달한 뒤 질문할 수 있다.

기존에는 모델이 이전 입력을 다시 처리하는 데 상당한 시간이 필요할 수 있다.

반면 TPU Sync가 이전 KV Cache를 효율적으로 재사용하면 첫 번째 토큰이 생성되기까지의 시간이 줄어들 수 있다.

하지만 이번 수치는 Google이 수행한 자체 성능 평가 결과다.

모든 모델과 입력 길이에서 TTFT가 90% 감소한다는 의미는 아니다.

특히 캐시를 처음부터 생성해야 하는 요청에서는 기존 계산 결과를 재사용하는 이점이 제한적일 수 있다.

또한 KV Cache를 서버 메모리나 SSD에 저장하는 작업이 실제로 어떤 비용을 발생시키는지도 고려해야 한다.

강화학습의 모델 가중치 전송에도 활용

TPU Sync는 일반적인 추론뿐 아니라 강화학습에도 활용할 수 있다.

강화학습(Reinforcement Learning)은 모델의 행동이나 답변에 보상을 제공해 더 좋은 행동을 학습시키는 방법이다.

실제 강화학습에서는 학습용 TPU와 답변 생성용 TPU를 별도로 사용할 수 있다.

학습이 진행되면 모델의 가중치가 변경된다.

따라서 새로운 가중치를 답변 생성용 TPU에도 전달해야 한다.

대형 모델에서는 이 데이터 이동 자체가 상당한 시간이 걸릴 수 있다.

TPU Sync는 학습용 시스템과 추론용 시스템 사이에서 모델 가중치를 전송하기 위한 저수준 기능도 제공한다.

Google은 TPU Sync를 PyTorch의 TorchTPU와 JAX, vLLM과 SGLang, llm-d 등의 실행 환경에 연결하도록 설계했다.

이번 발표는 AI 인프라의 성능을 높이는 방법이 계산 자체를 빠르게 만드는 것뿐 아니라 이미 계산한 정보를 얼마나 효율적으로 이동하고 재사용하는가에도 있다는 점을 보여준다.

---

Google Cloud, 분산 AI 실행 환경 ‘Cloud Pathways’ 정식 제공…수천 개 TPU를 하나의 제어 프로그램으로 관리

• 발표일: 2026-11-09 — 정확한 게시 시각 미확인
• 적용 범위: Google Cloud, JAX, GKE, TPU 분산 학습, 강화학습, 장애 복구, AI 인프라 운영
• 원문: Google Cloud — Cloud Pathways, a distributed ML runtime, is GA

Google Cloud가 대규모 AI 학습과 추론을 위한 분산 실행 환경 Cloud Pathways를 정식 제공하기 시작했다.

이번 발표는 새로운 언어모델의 출시가 아니다.

여러 서버에 분산된 수천 개의 TPU를 하나의 관리된 실행 환경으로 묶고, 일부 하드웨어에 문제가 발생해도 전체 작업이 중단되지 않도록 지원하는 인프라 기술이다.

대형 AI 모델을 학습하려면 여러 TPU나 GPU를 동시에 사용해야 한다.

예를 들어 모델의 가중치가 하나의 장치에 모두 들어가지 않을 수 있다.

이 경우 모델을 여러 장치에 나누어 저장하고 계산을 분산해야 한다.

문제는 장치의 수가 많아질수록 실제 실행 환경을 관리하기 어려워진다는 것이다.

여러 제어 프로그램을 하나로 통합

일반적인 분산 JAX 환경에서는 여러 서버가 각각 Python 프로그램을 실행할 수 있다.

JAX는 신경망과 수치 계산을 여러 GPU·TPU에서 효율적으로 수행하도록 지원하는 프레임워크다.

서버마다 별도의 제어 프로그램이 존재하면 여러 장치의 상태를 조정하는 작업이 복잡해질 수 있다.

예를 들어 하나의 서버에서 문제가 발생했을 때 전체 학습을 어떻게 처리해야 하는지 결정해야 한다.

Cloud Pathways는 이를 해결하기 위해 Single-Controller Architecture(단일 제어 프로그램 구조)를 사용한다.

하나의 JAX 클라이언트가 여러 TPU 그룹을 하나의 큰 실행 환경처럼 관리하도록 설계됐다.

이렇게 하면 개발자가 여러 서버의 실행을 직접 조정해야 하는 부담을 줄일 수 있다.

장치 하나의 장애로 전체 학습을 중단하지 않도록 설계

대규모 AI 학습에서는 장시간 실행되는 작업이 많다.

예를 들어 수천 개의 TPU를 사용해 며칠 동안 모델을 학습할 수 있다.

그런데 장치 하나에서 오류가 발생했다고 해서 전체 작업을 처음부터 다시 실행해야 한다면 상당한 비용이 발생한다.

Cloud Pathways는 이를 줄이기 위한 Elastic Fault Tolerance(유연한 장애 복구) 기능을 제공한다.

예를 들어 여러 TPU 그룹 가운데 하나가 중단되면 남은 그룹에 학습 데이터를 다시 배치하도록 지원할 수 있다.

이런 과정을 Resharding(데이터의 재분배)이라고 한다.

Google은 일부 하드웨어 장애가 발생해도 클라이언트 프로그램을 종료하지 않고 작업을 이어서 실행하도록 설계했다고 설명한다.

하지만 모든 종류의 장애에서 데이터 손실이나 실행 중단이 절대 발생하지 않는다는 의미는 아니다.

실제 장애 복구 능력은 모델의 구조와 체크포인트, 실행 설정에 따라 달라질 수 있다.

최근 90일 동안 1억3천만 TPU 칩 시간 처리

Google은 최근 90일 동안 Cloud Pathways를 이용한 작업이 1억3천만 TPU 칩 시간을 넘었다고 밝혔다.

칩 시간은 하나의 TPU 칩을 1시간 사용한 양을 의미한다.

예를 들어 TPU 1,000개를 10시간 사용하면 1만 칩 시간에 해당한다.

따라서 1억3천만 칩 시간이라는 수치는 여러 고객의 대규모 AI 작업에서 실제로 Cloud Pathways가 사용되고 있음을 보여준다.

하지만 이 수치는 시스템의 사용량을 나타낸다.

해당 기술이 다른 분산 실행 환경보다 항상 빠르거나 저렴하다는 증거는 아니다.

이번 발표에서는 GKE를 통한 정식 제공과 함께 Slurm 기반 클러스터 연동의 프리뷰도 소개됐다.

Slurm은 대규모 컴퓨팅 클러스터에서 작업을 배치하고 실행 자원을 관리하는 시스템이다.

이번 발표는 AI 모델의 학습이 대규모로 확대되면서 수천 개 장치의 실행 상태와 장애 복구, 계산 자원의 배분을 관리하는 기술이 중요해지고 있음을 보여준다.

---

Google Cloud, GKE의 ‘Dynamic Slicing’ 정식 출시…TPU 작업 시작 최대 5배 빠르게 하고 장애 복구시간 단축

• 발표일: 2026-11-09 — 정확한 게시 시각 미확인
• 적용 범위: Kubernetes, Google Kubernetes Engine, TPU, AI 학습, 분산 추론, 광학 네트워크, 장애 복구
• 원문: Google Cloud — GKE dynamic slicing for TPUs

Google Cloud가 Google Kubernetes Engine(GKE)의 Dynamic Slicing 기능을 정식 제공하기 시작했다.

이번 기능은 대규모 TPU 클러스터의 계산 자원을 실제 작업에 맞게 더 유연하게 나누고 결합하도록 설계됐다.

Kubernetes는 여러 서버에 프로그램을 배포하고 실행 상태를 관리하는 플랫폼이다.

Google Kubernetes Engine은 Google Cloud가 제공하는 관리형 Kubernetes 서비스다.

AI 모델을 학습할 때는 여러 TPU를 하나의 작업에 배정해야 할 수 있다.

문제는 모든 학습과 추론 작업이 같은 수의 TPU를 필요로 하지는 않는다는 점이다.

예를 들어 하나의 대형 모델은 수백 개의 TPU가 필요할 수 있다.

반면 작은 모델은 훨씬 적은 수의 TPU로 실행할 수 있다.

기존의 고정된 TPU 자원 구성

기존 GKE 환경에서는 특정한 TPU 구성을 사용하기 위해 별도의 Node Pool(노드 풀)을 만들어야 하는 경우가 있었다.

노드 풀은 비슷한 하드웨어와 설정을 가진 서버들을 하나의 그룹으로 관리하는 구조다.

예를 들어 128개의 TPU가 필요한 작업을 위해 별도의 노드 풀을 만들 수 있다.

그런데 이후 64개의 TPU만 필요한 작업을 실행하려면 자원의 구성을 변경해야 할 수 있다.

이 과정에서 기존 노드 풀을 제거하고 새로운 구성을 만들어야 한다면 작업 시작이 지연될 수 있다.

또한 실제로 사용하지 않는 TPU가 발생할 가능성도 있다.

Dynamic Slicing은 이 문제를 해결하기 위해 물리적인 TPU 서버의 구성과 실제 작업에 배정하는 논리적인 TPU 그룹을 분리한다.

광학 네트워크로 TPU 그룹 재구성

Google은 이 기능에 OCS(Optical Circuit Switching, 광회선 교환) 기술을 사용한다.

OCS는 광학적인 연결 경로를 변경해 서로 다른 장치 사이의 통신 구조를 재구성하는 기술이다.

예를 들어 여러 TPU 그룹을 하나의 더 큰 그룹으로 결합할 수 있다.

반대로 큰 TPU 그룹을 여러 작은 작업에 나누어 배정할 수도 있다.

Google은 이를 각각 Super-Slicing과 Sub-Slicing으로 설명한다.

이런 방식에서는 실제 서버를 매번 제거하고 다시 생성할 필요를 줄일 수 있다.

작업 시작과 복구 속도 개선

Google이 공개한 내부 평가 결과는 다음과 같다.

예를 들어 하나의 대규모 학습 작업이 종료되면 해당 TPU를 다른 작업에 배정할 수 있다.

또한 일부 장치에서 장애가 발생했을 때 전체 클러스터를 처음부터 구성하는 부담을 줄일 수 있다.

하지만 이 수치는 Google이 공개한 자체 평가 결과다.

모든 TPU 클러스터에서 작업 시작과 복구가 같은 비율로 빨라진다는 의미는 아니다.

실제 효과는 작업의 크기와 서버 구성, 네트워크 상태와 실행 프로그램에 따라 달라진다.

이번 발표는 AI 인프라의 운영에서 하드웨어를 얼마나 많이 보유하고 있는가뿐 아니라 필요한 순간에 실제 작업에 얼마나 빠르게 배정할 수 있는가도 중요한 성능 요소라는 점을 보여준다.

---

4️⃣ 산업·정책·안전

Google, 차세대 TPU 시스템 ‘8tx·8i Max’ 발표…기밀 데이터 보호와 초장문맥 AI 추론에 특화

• 발표일: 2026-11-09 — 정확한 게시 시각 미확인
• 적용 범위: AI 반도체, TPU, 기밀 컴퓨팅, 데이터센터, 대형 모델 추론, 강화학습, AI 에이전트
• 원문: Google — Our newest TPUs: 8tx and 8i Max

Google이 8세대 TPU 제품군에 TPU 8tx와 TPU 8i Max를 추가한다고 발표했다.

이번 발표에서 중요한 부분은 완전히 새로운 반도체 두 종류를 설계했다는 사실이 아니다.

이미 개발한 TPU 칩을 서로 다른 CPU와 메모리, 네트워크 구성으로 결합해 특정한 AI 작업에 최적화한 새로운 시스템을 발표했다는 점이다.

Google은 2026년 4월에 TPU 8t와 8i를 발표했다.

TPU 8t는 대규모 AI 모델의 학습을 위한 시스템이다.

TPU 8i는 빠른 추론과 복잡한 추론 작업을 위한 시스템이다.

이번에 추가된 8tx와 8i Max는 서로 다른 두 가지 문제를 해결하도록 설계됐다.

하나는 민감한 데이터를 안전하게 처리하는 문제다.

다른 하나는 매우 긴 입력과 많은 에이전트의 동시 작업에 필요한 메모리를 확보하는 문제다.

TPU 8tx: 계산 중인 데이터도 보호

일반적인 서버에서는 데이터를 저장할 때 암호화할 수 있다.

또한 네트워크로 데이터를 전송할 때도 암호화할 수 있다.

하지만 실제 계산을 수행하려면 데이터를 메모리에서 처리 가능한 형태로 읽어야 한다.

이 과정에서 민감한 정보가 노출될 위험을 줄이는 것이 중요하다.

Confidential Computing(기밀 컴퓨팅)은 프로그램이 실제로 데이터를 처리하는 동안에도 하드웨어 수준에서 데이터를 보호하도록 만드는 기술이다.

TPU 8tx는 이런 목적을 위해 설계됐다.

Google에 따르면 TPU 8tx는 TPU 8t와 같은 반도체를 사용하지만 5세대 AMD EPYC CPU와 함께 구성된다.

이를 통해 민감한 데이터와 모델 가중치를 처리하는 동안에도 하드웨어 수준의 보호 기능을 제공하도록 설계됐다.

예를 들어 금융기관이 고객의 민감한 거래 정보를 이용해 자체 모델을 추가 학습하는 상황을 생각할 수 있다.

또는 기업이 외부에 공개하지 않은 모델을 자체 데이터와 함께 실행할 수도 있다.

이런 상황에서는 실제 데이터를 처리하는 메모리와 모델 가중치의 접근을 제한하는 기능이 중요하다.

다만 하드웨어 수준의 기밀 컴퓨팅을 제공한다는 사실만으로 모든 개인정보 보호와 보안 요구사항을 자동으로 충족한다는 의미는 아니다.

실제 프로그램의 접근권한과 로그, 데이터 보관 정책도 별도로 관리해야 한다.

TPU 8tx의 네트워크 지연 개선

TPU 8tx는 Google의 Boardfly 네트워크도 사용한다.

여러 TPU가 하나의 모델을 함께 실행할 때는 서로 데이터를 교환해야 한다.

예를 들어 복잡한 AI 에이전트가 여러 단계의 추론을 수행하는 경우 장치 사이의 통신 지연이 실제 처리 속도에 영향을 줄 수 있다.

Google은 TPU 8tx가 TPU 8t보다 최대 두 배 낮은 통신 지연을 제공한다고 설명했다.

다만 이 수치는 특정한 시스템과 작업 조건에서 얻어진 자체 평가 결과다.

모든 AI 모델의 전체 추론 속도가 두 배 빨라진다는 의미는 아니다.

TPU 8tx는 소규모 추가 학습과 모델 증류, 강화학습도 지원하도록 설계됐다.

모델 증류(Distillation)는 큰 모델이 가진 지식을 더 작은 모델에 전달하는 학습 기술이다.

이렇게 하면 민감한 데이터를 별도의 학습 클러스터로 이동시키는 부담을 줄일 가능성이 있다.

TPU 8i Max: 두 개의 TPU를 하나의 패키지에 배치

TPU 8i Max는 다른 문제를 해결하려 한다.

최근 AI 에이전트는 수십만 토큰 이상의 입력을 처리할 수 있다.

또한 여러 에이전트가 동시에 하나의 코드베이스나 대규모 문서를 분석할 수 있다.

이런 작업에서는 모델의 계산 속도뿐 아니라 메모리의 용량과 대역폭이 중요하다.

메모리 대역폭(Memory Bandwidth)은 일정한 시간 동안 메모리에서 읽고 쓸 수 있는 데이터의 양을 의미한다.

Google은 TPU 8i Max에서 TPU 8i 칩 두 개를 하나의 패키지로 결합했다.

그 결과 기존 TPU 8i와 비교해 다음 사양이 두 배로 증가했다.

SRAM(Static Random Access Memory)은 매우 빠른 데이터 접근을 위해 사용하는 반도체 메모리다.

HBM(High Bandwidth Memory)은 AI 가속기에서 대량의 데이터를 빠르게 처리하도록 설계된 고대역폭 메모리다.

Google은 같은 데이터센터 공간에서 더 많은 계산 자원을 배치할 수 있다는 점도 강조했다.

하지만 계산 자원의 사양이 두 배가 됐다는 사실과 실제 AI 작업의 완료시간이 정확히 절반으로 줄어든다는 사실은 다르다.

실제 성능은 모델의 구조와 입력 길이, 병렬 처리 방식에 따라 달라진다.

새로운 칩과 새로운 시스템을 구분할 필요

이번 발표는 반도체 산업에서 중요한 설계 방향을 보여준다.

새로운 AI 반도체를 개발하려면 많은 시간과 비용이 필요하다.

반면 이미 개발된 칩을 서로 다른 방식으로 결합하면 특정한 작업에 적합한 시스템을 더 빠르게 만들 수 있다.

예를 들어 같은 TPU 칩을 사용하더라도 보안이 중요한 금융기관과 메모리가 중요한 대규모 추론 서비스는 서로 다른 시스템 구성이 필요할 수 있다.

다만 발표 시점의 공식 자료에는 두 시스템의 구체적인 가격과 지역별 제공 일정이 모두 제시되지는 않았다.

따라서 새로운 시스템이 발표됐다는 사실만으로 모든 Google Cloud 사용자가 즉시 이용할 수 있다고 판단해서는 안 된다.

이번 발표는 AI 반도체 경쟁이 연산 성능의 향상뿐 아니라 보안과 메모리, 네트워크 구성에 따라 시스템을 전문화하는 방향으로 발전하고 있음을 보여준다.

---

Meta, Instagram의 AI 연령 추정 기술을 전 세계로 확대…성인 생년월일을 등록한 청소년도 보호 설정 적용

• 발표일: 2026-11-09 — 공식 페이지에 11월 8일 표기도 병기, 정확한 게시 시각 미확인
• 적용 범위: Instagram, 청소년 보호, AI 연령 추정, 개인정보 보호, 콘텐츠 추천, 플랫폼 안전
• 원문: Meta — Expanding Teen Account Protections to Teens Around the World

Meta가 Instagram에서 사용하는 AI 기반 연령 추정 기술을 전 세계로 확대한다고 발표했다.

이번 발표는 새로운 범용 AI 모델의 출시가 아니다.

사용자가 계정을 만들 때 입력한 생년월일과 별도로 실제 청소년일 가능성을 AI가 평가하고, 필요한 경우 청소년 보호 설정을 적용하는 기능의 확대다.

온라인 서비스에서는 사용자의 연령을 정확하게 확인하는 일이 어려울 수 있다.

예를 들어 청소년이 자신의 실제 나이보다 높은 생년월일을 입력할 수 있다.

이 경우 일반적인 계정 생성 정보만 확인하면 실제 청소년에게 적절한 보호 설정이 적용되지 않을 수 있다.

Meta는 이런 문제를 해결하기 위해 AI를 이용해 사용자의 연령대를 추정하고 있다.

사용자가 입력한 생년월일과 별도로 연령 추정

Meta는 기존에도 일부 지역에서 AI 기반 연령 추정 기술을 사용해 왔다.

이번 발표에서는 해당 기술의 적용 범위를 전 세계로 확대한다고 설명했다.

AI가 사용자를 청소년으로 추정하면 계정에 입력된 생년월일이 성인에 해당하더라도 Teen Account(청소년 계정) 보호 설정을 적용할 수 있다.

Teen Account는 청소년에게 적용되는 별도의 보호 설정이다.

주요 기능에는 다음과 같은 항목이 포함된다.

다만 실제로 어떤 보호 설정이 적용되는지는 사용자의 연령과 계정 상태, 지역별 규칙에 따라 달라질 수 있다.

또한 Meta의 발표는 Instagram의 글로벌 확대에 관한 것이다.

Facebook에서도 관련 기술의 확대가 진행되고 있으며 Threads에는 2026년 후반부터 비슷한 기술을 도입할 계획이라고 설명했다.

따라서 모든 Meta 서비스에서 동일한 기능이 이미 전 세계적으로 적용됐다고 볼 수는 없다.

연령 추정의 오류 가능성

이번 기술에서 중요한 부분은 AI가 추정한 나이와 실제 사용자의 나이가 다를 수 있다는 점이다.

예를 들어 실제 성인을 청소년으로 잘못 분류할 수 있다.

반대로 실제 청소년을 성인으로 판단할 가능성도 존재한다.

이런 오류를 평가하려면 두 가지 지표가 중요하다.

첫 번째는 정밀도(Precision)다.

AI가 청소년이라고 판단한 사용자 가운데 실제 청소년이 얼마나 많은지 나타낸다.

두 번째는 재현율(Recall)이다.

실제 청소년 가운데 AI가 얼마나 많은 사용자를 찾아냈는지 나타낸다.

Meta는 이번 발표에서 수백만 명 이상의 청소년에게 추가적인 보호 설정이 적용될 것이라고 설명했다.

하지만 연령 추정 시스템의 전체 정밀도와 재현율, 국가별 오류율을 상세하게 공개하지는 않았다.

따라서 단순히 더 많은 계정에 보호 설정이 적용된다는 사실만으로 실제 연령 추정의 정확성이 충분히 검증됐다고 판단할 수는 없다.

미국에서는 보호자 안내 확대

Meta는 11월부터 미국의 보호자에게 Instagram의 연령 추정과 청소년 보호 설정을 설명하는 안내를 제공할 계획이라고 밝혔다.

이 안내에서는 청소년 계정의 나이를 정확하게 유지하는 방법과 보호자가 확인할 수 있는 설정 등을 설명한다.

또한 호주에서는 Apple이 제공하는 연령대 신호를 추가적인 판단 자료로 사용한다고 밝혔다.

연령대 신호(Age-Range Signal)는 사용자의 정확한 생년월일을 직접 전달하는 대신 특정한 연령 구간에 관한 정보를 제공하는 방식이다.

하지만 이런 방식도 사용자의 실제 나이를 항상 정확하게 확인할 수 있다는 보장은 없다.

또한 AI가 연령을 추정하려면 어떤 사용자 데이터를 처리하는지, 해당 정보가 얼마나 오래 보관되는지도 중요하다.

이런 문제는 개인정보 보호와 연결된다.

Meta는 청소년 보호를 강화하기 위한 기술이라고 설명하지만 실제 서비스에서는 연령 확인의 정확성과 개인정보 처리의 투명성을 함께 검토해야 한다.

이번 발표는 온라인 플랫폼의 AI 활용이 콘텐츠 추천과 광고를 넘어 실제 사용자에게 적용할 보호 정책을 결정하는 영역으로 확대되고 있음을 보여준다.

---

📚 추천 글

Measuring how AI agents handle everyday wet-lab science

• 저자: OpenAI
• 발행: OpenAI Research
• 게시일: 2026-11-06
• 원문: OpenAI — Measuring how AI agents handle everyday wet-lab science

AI가 과학 연구에서 실제로 도움이 되려면 어떤 능력이 필요할까?

일반적인 과학 벤치마크에서는 모델에게 전문 지식과 수학 문제를 질문할 수 있다.

예를 들어 특정한 단백질의 구조나 생물학적 반응을 설명하도록 요청할 수 있다.

하지만 실제 실험실의 업무는 지식을 설명하는 것보다 복잡하다.

실험 결과를 촬영한 사진이 흐릿할 수 있다.

실험 기록에 중요한 정보가 누락됐을 수도 있다.

또한 서로 다른 측정 결과가 모순되는 상황도 발생할 수 있다.

이런 경우에는 단순히 올바른 답변을 생성하는 능력보다 실제 증거를 해석하고, 증거가 불충분할 때 결론을 보류하는 능력이 중요하다.

이번 글은 OpenAI가 생명공학 기업 Ligo와 함께 개발한 BioBasicsBench를 소개한다.

실제 실험실에서 사용하는 자료로 평가

BioBasicsBench에는 100개의 실제 실험실 업무가 포함됐다.

Wet Lab(습식 실험실)은 실제 생물학적·화학적 시료를 이용해 실험을 수행하는 환경이다.

일반적인 과학 벤치마크와 달리 BioBasicsBench는 논문에 사용하기 위해 정리한 깔끔한 그림만 제공하지 않는다.

실제 연구자가 마주하는 원본 자료를 사용한다.

평가에 포함된 자료는 다음과 같다.

하나의 작업에는 여러 종류의 자료가 포함될 수 있으므로 항목별 수를 단순히 합산해서 전체 작업 수를 계산해서는 안 된다.

예를 들어 DNA 실험에서는 전기영동 결과와 시약 정보, 실험 기록을 함께 제공할 수 있다.

전기영동(Electrophoresis)은 전기장을 이용해 DNA나 단백질 등을 크기나 특성에 따라 분리하는 실험 기술이다.

실험 결과에서는 여러 개의 띠가 나타날 수 있다.

연구자는 각 띠의 위치를 참고해 실험이 성공했는지 판단한다.

하지만 띠의 위치만 확인하는 것으로는 충분하지 않을 수 있다.

어떤 시료가 어느 위치에 들어갔는지와 실제로 사용한 시약이 무엇인지도 확인해야 하기 때문이다.

전문가가 직접 채점 기준 작성

OpenAI는 평가 문제를 실제 실험자료를 기반으로 구성했다.

각 작업에는 과학자가 직접 작성한 채점 기준이 포함됐다.

이후 문제를 작성하지 않은 Ligo 연구자와 외부 박사급 연구자가 검토했다.

여기서 중요한 부분은 실험의 정답뿐 아니라 어떤 근거를 확인해야 하는지 평가하도록 설계했다는 점이다.

예를 들어 특정한 실험이 성공했다고 답변하는 것만으로는 충분하지 않을 수 있다.

실험의 대조군이 올바르게 구성됐는지 확인해야 할 수도 있다.

대조군(Control Group)은 실제 실험 결과를 해석하기 위해 비교 기준으로 사용하는 집단이나 시료다.

대조군에 문제가 존재하면 실험의 결과를 신뢰하기 어려울 수 있다.

따라서 AI가 그럴듯한 설명을 작성하더라도 실제 자료의 한계를 놓치면 낮은 점수를 받도록 설계됐다.

GPT-6 Astra도 평균 66.7%에 그쳐

OpenAI는 여러 모델과 추론 설정을 이용해 평가를 진행했다.

총 37개의 모델·추론 설정 조합이 사용됐다.

각 조합에서 100개 작업을 다섯 번씩 실행했다.

전체 평가 결과는 18,500개였다.

가장 높은 추론 설정에서 공개한 주요 결과는 다음과 같다.

이 점수는 전체 작업의 성공률과 정확히 같은 개념이 아니다.

각 작업에 여러 평가 조건이 존재하며, 실제로 충족한 조건에 따라 부분 점수를 부여한다.

따라서 평균 66.7%는 가능한 전체 점수 가운데 평균적으로 66.7%를 획득했다는 의미다.

또한 이번 평가는 OpenAI가 개발한 벤치마크에서 수행됐다.

외부 과학자가 문제를 검토했지만 모든 모델의 전체 성능을 독립적인 기관이 다시 검증한 것은 아니다.

대조군의 시약이 잘못됐다는 사실을 발견

이번 글에서 흥미로운 사례는 실제 실험 이미지의 작은 정보를 읽는 문제다.

어떤 DNA 실험에서는 음성 대조군에서 세균 집락이 발견되지 않았다.

집락(Colony)은 배양된 미생물이 증식해 육안으로 확인할 수 있는 집단이다.

일반적인 모델은 음성 대조군에 집락이 없다는 사실을 근거로 실험이 정상적으로 수행됐다고 판단할 수 있다.

하지만 GPT-6 Astra는 실험 접시의 가장자리에 적힌 항생제 이름을 확인했다.

실제로 사용해야 하는 항생제와 대조군에 사용된 항생제가 달랐던 것이다.

따라서 해당 대조군을 근거로 실험의 성공을 판단하기 어렵다고 설명했다.

이 사례는 작은 시각적 정보 하나가 전체 실험 결과의 해석을 바꿀 수 있다는 점을 보여준다.

GPT-6 Astra도 실제 실험에서 오류를 만들었다

OpenAI는 성공 사례뿐 아니라 모델이 실패한 사례도 공개했다.

예를 들어 한 실험에서는 모델이 DNA 전기영동 결과의 띠를 올바르게 구분했다.

하지만 각 띠가 어떤 DNA에 해당하는지 잘못 해석했다.

그 결과 실제로 선택해야 하는 세균 집락과 다른 집락을 선택했다.

또 다른 사례에서는 현미경 이미지에 나타난 세포 구조를 관찰하고도 일부 반대되는 증거를 최종 결론에서 제외했다.

또한 세균 집락의 개수를 직접 세는 작업에서는 약 12%의 과대 계산이 발생했다.

이런 오류는 단순한 문서 작성과 다르게 실제 실험의 후속 작업에 영향을 줄 수 있다.

예를 들어 잘못된 집락을 선택하면 이후 DNA를 정제하고 분석하는 실험 전체가 잘못된 방향으로 진행될 수 있다.

따라서 이번 평가에서 높은 점수를 기록한 모델도 실제 실험자료를 완전히 독립적으로 해석할 수 있다고 판단해서는 안 된다.

이번 글은 과학 연구용 AI를 평가할 때 전문 지식뿐 아니라 실제 실험자료의 품질과 대조군, 모순되는 관측값을 함께 처리하는 능력이 중요하다는 점을 구체적인 사례로 설명한다.

---

How CrossnoKaye grounds physical AI with Amazon Bedrock AgentCore

• 저자: AWS Artificial Intelligence Blog / CrossnoKaye 공동 기술 사례
• 발행: AWS
• 게시일: 2026-11-09
• 원문: AWS — How CrossnoKaye grounds physical AI with Amazon Bedrock AgentCore

AI 에이전트를 실제 공장이나 산업시설에 연결할 때 가장 위험한 문제는 무엇일까?

일반적인 기업용 AI 에이전트에서는 외부 API를 잘못 호출하거나 문서를 잘못 작성하는 문제가 발생할 수 있다.

하지만 실제 산업시설에서는 잘못된 행동이 기계의 동작에 영향을 줄 수 있다.

예를 들어 냉동시설의 압축기나 밸브를 잘못 제어하면 생산 중단이나 장비 손상으로 이어질 수 있다.

따라서 공장에 AI를 적용할 때는 단순히 자연어 질문에 정확하게 답변하는 것보다 실제 제어 권한을 어떻게 제한하고 계산 결과를 어떻게 검증하는지가 중요하다.

이번 글은 미국의 산업 자동화 기업 CrossnoKaye가 실제 운영 환경에 AI 에이전트를 적용한 사례를 설명한다.

100개 이상의 산업시설에서 수집한 대규모 데이터

CrossnoKaye는 식품과 음료 생산시설, 산업용 냉동시설과 제조 현장 등에 자동화 기술을 제공한다.

회사에 따르면 실제 운영 규모는 다음과 같다.

산업시설에서는 센서가 지속적으로 데이터를 생성한다.

예를 들어 냉동시설에서는 온도와 압력, 밸브 상태와 에너지 사용량 등을 측정한다.

이런 자료를 Time-Series Data(시계열 데이터)라고 한다.

시간에 따라 계속 기록되는 데이터다.

문제는 이런 데이터가 서로 다른 장비와 시스템에 분산돼 있을 수 있다는 점이다.

예를 들어 온도 기록은 하나의 시스템에 저장될 수 있다.

압축기의 상태는 다른 시스템에 저장될 수 있다.

또한 실제 장비를 제어하는 프로그램은 별도의 하드웨어에서 실행될 수 있다.

CrossnoKaye는 이런 정보를 연결하기 위해 ATLAS라는 산업 자동화 플랫폼을 운영하고 있다.

실제 제어 프로그램과 AI의 판단을 분리

ATLAS는 실제 장비의 제어와 운영 데이터를 관리한다.

반면 AURA는 사용자의 질문을 이해하고 관련 데이터를 분석하는 AI 에이전트다.

이렇게 역할을 분리한 이유는 실제 산업시설의 안전성과 관련된다.

예를 들어 사용자가 특정 냉동시설의 에너지 사용량이 증가한 이유를 질문할 수 있다.

AURA는 관련 센서 데이터를 조회하고 문제의 원인을 분석한다.

하지만 AI가 생성한 모든 판단을 실제 장비의 제어 명령으로 직접 전달하는 것은 위험할 수 있다.

따라서 안전에 중요한 제어는 기존의 현장 제어 시스템이 담당한다.

AI는 실제 데이터를 분석하고 운영자가 판단할 수 있는 정보를 제공한다.

CrossnoKaye는 이를 위해 기존의 PLC와 DCS 같은 산업 제어 시스템을 유지한다.

PLC(Programmable Logic Controller)는 공장의 기계와 장비를 제어하는 산업용 컴퓨터다.

DCS(Distributed Control System)는 여러 장비의 제어와 감시를 분산해 수행하는 시스템이다.

이런 제어 시스템은 실제 장비의 안전 조건과 동작 상태를 관리한다.

AI 에이전트는 그 위에서 정보를 조회하고 분석하는 역할을 수행한다.

숫자 계산은 언어모델이 아니라 Python 프로그램에 맡김

이번 시스템에서 중요한 부분은 실제 계산을 수행하는 방식이다.

언어모델은 자연어를 이해하고 관련 데이터를 찾아내는 데 유용하다.

하지만 수백만 개의 센서 값을 직접 읽고 정확한 통계 결과를 계산하는 작업에는 별도의 프로그램이 더 적합할 수 있다.

예를 들어 사용자가 지난 24시간 동안 94개 시설에서 발생한 주요 경보를 분석하도록 요청했다고 가정해 보자.

AI가 수많은 경보 기록을 그대로 입력받아 계산한다면 일부 숫자를 잘못 처리할 가능성이 있다.

CrossnoKaye는 이를 해결하기 위해 Amazon Bedrock AgentCore의 Code Interpreter를 사용했다.

Code Interpreter는 AI가 작성한 Python 코드를 실제로 실행하고 결과를 확인하도록 지원하는 기능이다.

AI는 어떤 데이터를 분석해야 하는지 판단한다.

이후 필요한 Python 프로그램을 생성한다.

실제 숫자 계산은 Python 프로그램이 수행한다.

이렇게 하면 언어모델이 계산한 숫자를 그대로 신뢰하는 대신 실제로 실행된 프로그램의 계산 결과를 사용할 수 있다.

MicroVM으로 코드 실행 격리

AURA가 작성한 Python 프로그램은 별도의 MicroVM(마이크로 가상 머신)에서 실행된다.

마이크로 가상 머신은 프로그램을 격리된 환경에서 실행하도록 만든 상대적으로 가벼운 가상 머신이다.

이런 방식은 AI가 생성한 프로그램이 실제 산업 제어 시스템에 불필요하게 접근하는 일을 제한하는 데 도움이 될 수 있다.

또한 여러 사용자의 분석 작업을 분리할 수 있다.

CrossnoKaye는 실행 방식도 작업의 종류에 따라 다르게 구성했다.

Chats에서는 사용자가 여러 질문을 이어서 할 수 있다.

예를 들어 첫 번째 질문에서 특정 시설의 경보를 분석한다.

이후 사용자는 같은 데이터를 바탕으로 다른 질문을 할 수 있다.

이때 매번 데이터를 처음부터 불러오면 불필요한 계산이 발생할 수 있다.

CrossnoKaye는 이를 위해 하나의 실행 세션을 최대 15분의 유휴시간 동안 유지하도록 구성했다.

반면 Tasks와 Routines에서는 매번 새로운 실행 환경을 생성한다.

이렇게 하면 이전 작업의 데이터와 변수가 다음 작업에 영향을 주는 문제를 줄일 수 있다.

실제 운영 성과와 AI 에이전트의 효과 구분

CrossnoKaye는 기존 산업 제어 애플리케이션을 통해 생산량을 11~17% 증가시키고, 전체 시설의 에너지 비용을 평균 21% 줄였다고 밝혔다.

하지만 이 수치는 CrossnoKaye가 운영 중인 전체 공정 제어 플랫폼의 성과다.

새로운 AURA 에이전트 하나를 도입한 결과 에너지 비용이 21% 감소했다고 설명해서는 안 된다.

또한 이번 수치는 CrossnoKaye와 AWS가 공개한 자체 운영 결과다.

모든 산업시설에서 동일한 성과가 발생한다는 의미도 아니다.

이번 글은 AI를 실제 산업시설에 적용할 때 AI가 모든 계산과 제어를 직접 수행하게 만드는 것보다 기존의 검증된 시스템과 연결하면서 역할과 권한을 분리하는 방식이 중요하다는 점을 보여준다.

특히 실제 장비의 안전성이 중요한 환경에서 에이전트의 계산 결과와 실행 권한을 어떻게 설계해야 하는지 이해하기 좋은 사례다.

---

Your Experts Have Partners. There's HOPE for Keeping Them Together

• 저자: Alex M. Tseng 외 Amazon 연구진
• 발행: Amazon / Hugging Face
• 게시일: 2026-11-09
• 원문: Amazon — Your Experts Have Partners. There's HOPE for Keeping Them Together
• 관련 원문: GitHub — HOPE 오픈소스 구현

대형 언어모델의 메모리 사용량을 줄이려면 어떤 방법이 필요할까?

최근 여러 AI 모델은 MoE(Mixture of Experts) 구조를 사용한다.

MoE는 여러 전문 신경망 가운데 필요한 일부만 선택적으로 실행하는 모델 구조다.

예를 들어 하나의 모델에 256개의 전문가 네트워크가 존재할 수 있다.

하지만 실제로 토큰 하나를 처리할 때는 그 가운데 일부만 사용한다.

이런 구조는 모든 파라미터를 매번 계산하지 않아도 된다는 장점이 있다.

하지만 여전히 많은 전문가 네트워크의 가중치를 메모리에 저장해야 한다는 문제가 남는다.

이번 글은 이런 문제를 해결하기 위해 개발된 HOPE(Higher-Order Pruning of Experts)의 원리와 실제 평가 결과를 설명한다.

관련 논문은 2026년 9월에 먼저 공개됐다. 이번에 추천하는 글은 11월 9일에 새로 공개된 기술 해설로, 기존 연구를 실제 모델에 적용하는 방법과 상세한 평가 결과를 설명한다.

MoE는 일부 전문가만 실행하지만 전체 가중치를 저장

Amazon 연구팀은 Qwen3.5-122B를 예시로 설명한다.

이 모델에는 48개의 MoE 계층이 존재한다.

각 계층에는 256개의 전문가 네트워크가 포함된다.

하지만 토큰 하나를 처리할 때 실제로 선택되는 전문가는 각 계층에서 8개다.

즉 대부분의 전문가는 해당 토큰의 계산에 참여하지 않는다.

그런데 모델의 가중치를 메모리에 저장할 때는 선택되지 않은 전문가의 가중치도 필요하다.

Amazon에 따르면 Qwen3.5-122B 모델의 약 250GB 가중치 메모리 가운데 95%가 전문가 네트워크의 가중치에 해당한다.

이런 상황에서는 전문가의 일부를 제거하면 메모리 사용량을 크게 줄일 수 있다.

이 과정을 Pruning(프루닝, 가지치기)이라고 한다.

프루닝은 모델에서 상대적으로 중요하지 않은 파라미터나 구조를 제거해 크기와 계산 비용을 줄이는 방법이다.

하지만 어떤 전문가를 제거해야 하는지 판단하는 일이 어렵다.

전문가의 중요도를 하나씩 평가하면 실패할 수 있다

기존의 프루닝 방법에서는 전문가를 하나씩 평가하는 경우가 많다.

예를 들어 전문가 A가 얼마나 자주 선택되는지 확인할 수 있다.

전문가 B의 출력이 실제 결과에 얼마나 큰 영향을 주는지도 계산할 수 있다.

이후 중요도가 낮은 전문가부터 제거할 수 있다.

이런 방식을 First-Order Pruning(1차 중요도 기반 가지치기)이라고 한다.

문제는 여러 전문가가 서로 협력할 수 있다는 점이다.

예를 들어 전문가 A와 B가 자주 함께 선택된다고 가정해 보자.

두 전문가는 서로 다른 종류의 정보를 처리하면서 하나의 결과를 만들 수 있다.

그런데 전문가 A의 개별 중요도가 낮다는 이유로 제거하면 B와 함께 수행하던 작업이 제대로 작동하지 않을 수 있다.

즉 전문가의 중요도는 독립적으로만 판단하기 어렵다.

HOPE는 이런 문제를 해결하기 위해 전문가 사이의 상호작용을 함께 계산한다.

전문가 사이의 관계를 행렬로 표현

HOPE는 각 전문가의 중요도뿐 아니라 두 전문가가 함께 선택됐을 때의 관계도 계산한다.

이를 Second-Order Interaction(2차 상호작용)이라고 한다.

예를 들어 전문가가 세 명 있다고 가정해 보자.

각 전문가의 중요도만 계산하는 방법에서는 A와 B, C에 점수를 하나씩 부여한다.

반면 HOPE는 A와 B, A와 C, B와 C 사이의 관계도 계산한다.

이를 행렬로 표현할 수 있다.

행렬(Matrix)은 여러 숫자를 행과 열로 배열한 수학적 구조다.

행렬의 대각선에는 각 전문가의 개별적인 중요도가 나타난다.

대각선 밖의 값에는 전문가 사이의 상호작용이 반영된다.

HOPE는 이런 관계를 이용해 제거할 전문가의 조합을 결정한다.

중요한 점은 개별적으로 가장 덜 중요한 전문가를 제거하는 것과 전체 모델의 성능 손실이 가장 적은 전문가 조합을 찾는 것이 서로 다를 수 있다는 사실이다.

추가 학습 없이 모델 크기 축소

HOPE는 모델을 처음부터 다시 학습하는 방법이 아니다.

연구팀은 먼저 비교적 작은 데이터셋을 이용해 모델의 전문가들이 어떻게 사용되는지 조사한다.

이를 Calibration(보정용 데이터 분석)이라고 한다.

이후 전문가의 중요도와 상호작용을 계산한다.

그 결과를 바탕으로 제거할 전문가를 선택한다.

마지막으로 해당 전문가를 실제 모델의 가중치에서 제거한다.

연구팀에 따르면 추가적인 최적화 계산은 계층당 약 1~2초 정도가 필요했다.

전체 과정에서는 보정용 데이터를 모델에 전달하는 계산이 더 큰 비중을 차지했다.

또한 프루닝된 모델은 기존 Hugging Face 체크포인트 형식으로 저장할 수 있다.

Checkpoint(체크포인트)는 모델의 학습된 가중치를 저장한 자료다.

따라서 기존의 vLLM이나 SGLang 같은 추론 엔진에서 사용할 수 있도록 구성할 수 있다.

전문가 50% 제거 시 성능 손실 감소

Amazon 연구팀은 여러 모델과 데이터셋을 이용해 HOPE를 평가했다.

대상에는 Qwen3.5-122B와 Qwen3.5-35B, GLM-4.5-Air가 포함됐다.

연구팀은 전체 전문가 가운데 10~50%를 제거하는 여러 조건을 시험했다.

공개된 결과에 따르면 HOPE는 비교한 다섯 가지 방법 가운데 전체적으로 가장 높은 평균 순위를 기록했다.

특히 전체 전문가의 50%를 제거하는 조건에서 장점이 크게 나타났다.

다만 6.1%의 개선은 특정한 모델과 작업에서 측정한 결과다.

모든 모델에서 정확도가 6.1%포인트 높아진다는 의미는 아니다.

또한 제거하는 전문가의 비율이 낮은 경우에는 기존 방법과 HOPE의 차이가 작아졌다.

연구팀은 전문가를 10~20%만 제거하는 조건에서는 기존의 단순한 방법도 경쟁력 있는 결과를 기록했다고 설명한다.

모든 전문가 관계를 계산하는 것은 아니다

이번 연구에는 중요한 한계가 있다.

HOPE는 기본적으로 같은 MoE 계층에 속한 전문가 사이의 관계를 계산한다.

하지만 실제 언어모델에서는 서로 다른 계층의 전문가들도 간접적으로 영향을 주고받을 수 있다.

예를 들어 앞쪽 계층에서 제거한 전문가 때문에 뒤쪽 계층의 입력 분포가 달라질 수 있다.

현재 HOPE는 이런 계층 사이의 모든 상호작용을 직접 최적화하지 않는다.

또한 세 개 이상의 전문가가 동시에 협력하는 관계는 기본적인 2차 모델에 완전히 포함되지 않는다.

따라서 HOPE가 모든 가능한 프루닝 조합 가운데 수학적으로 완벽한 최적해를 보장한다고 볼 수는 없다.

이번 글은 AI 모델의 메모리 사용량을 줄일 때 단순히 사용 빈도가 낮은 부분을 제거하는 것보다 모델 내부의 구성요소가 실제로 어떻게 협력하는지 이해하는 방법이 중요하다는 점을 보여준다.

특히 대규모 MoE 모델을 더 적은 GPU 메모리에서 실행하려는 개발자에게 참고할 만한 기술 자료다.