AI 데일리 브리핑 — 2026-11-23
Soshy··조회수 —

기준 시점: 2026-11-23 06:00 KST (Asia/Seoul)
AI 동향 조사 범위: 2026-11-22 06:00 ~ 2026-11-23 06:00 KST
추천 글 범위: 2026-11-16 06:00 ~ 2026-11-23 06:00 KST
1️⃣ 주요 모델·연구
OpenAI 수석과학자, 모델의 지능 발전을 ‘Perplexity’로 측정하는 공통 기준 제안…안전성 검증이 따라잡을 때까지 개발 속도 제한 주장
- 발표일: 2026-11-22 — 정확한 게시 시각 미확인
- 발표자: Jakub Pachocki, OpenAI 수석과학자
- 적용 범위: 프런티어 AI 연구, 사전학습, 언어모델 성능 측정, AI 자기개선, AI 안전 평가, 산업 공동 안전기준
- 원문: OpenAI — Perplexity and Intelligence
OpenAI 수석과학자 Jakub Pachocki가 AI 모델의 지능 발전을 측정하는 새로운 산업 공통 기준을 제안했다.
이번 발표는 새로운 언어모델을 출시하거나 기존 API의 기능을 변경한 소식이 아니다.
AI 모델의 능력이 얼마나 빠르게 발전하고 있는지 평가하기 위해 사전학습 과정에서 사용하는 Perplexity를 공통 지표로 삼고, 안전성 검증 능력이 일정 수준에 도달하기 전에는 개발기업들이 합의된 성능 한계를 넘지 않도록 하자는 제안이다.
OpenAI는 이번 글에서 GPT-3.5 이후 내부적으로 측정해 온 사전학습 손실 수치도 일부 공개했다.
특히 AI 모델이 코딩과 수학, 사이버보안에서 예상을 뛰어넘는 능력을 보이기 시작하면서 기존 벤치마크만으로는 새로운 위험을 충분히 예측하기 어렵다는 문제의식이 담겨 있다.
다만 중요한 점은 이번 내용이 Pachocki의 연구적 해석과 정책 제안이라는 사실이다.
실제로 새로운 국제 AI 안전 표준이 채택됐거나 OpenAI가 새로운 개발 중단 기준을 시행하기 시작했다는 의미는 아니다.
AI 모델을 거대한 예측·압축 시스템으로 이해
Pachocki는 현대 AI의 발전을 이해하기 위해 대규모 언어모델의 사전학습 과정에 주목해야 한다고 주장한다.
사전학습(Pretraining)은 대규모 텍스트와 코드 등 여러 데이터를 이용해 모델이 언어와 정보의 패턴을 학습하는 과정이다.
대표적인 언어모델은 주어진 문맥을 바탕으로 다음에 등장할 토큰을 예측하도록 학습한다.
토큰(Token)은 모델이 텍스트를 처리하는 기본 단위다.
예를 들어 다음과 같은 문장이 있다고 가정해 보자.
오늘 아침에는 비가
모델은 이후에 어떤 단어나 표현이 등장할 가능성이 높은지 예측한다.
이런 예측을 대규모 데이터에서 반복하는 과정에서 모델은 문법과 단어의 관계뿐 아니라 프로그래밍 구조, 논리적 추론에 필요한 표현과 여러 분야의 지식도 학습할 수 있다.
Pachocki는 이런 과정을 일종의 데이터 압축(Compression)으로 설명한다.
여기서 압축은 ZIP 파일처럼 원본 데이터를 그대로 작게 저장한다는 의미가 아니다.
방대한 자료에서 반복적으로 나타나는 구조와 관계를 학습해 처음 보는 데이터도 잘 예측할 수 있도록 만드는 개념이다.
예를 들어 프로그래밍 언어의 구조를 학습한 모델은 기존에 본 적 없는 코드에서도 다음에 등장할 구문을 예측할 수 있다.
이런 예측 능력이 발전하는 과정에서 처음부터 특정한 목적으로 직접 설계하지 않았던 새로운 능력이 등장할 수 있다는 것이 Pachocki의 주장이다.
Perplexity는 무엇을 측정하는가
Perplexity(퍼플렉서티)는 언어모델이 실제 다음 토큰을 얼마나 잘 예측하는지 평가하는 지표다.
쉽게 말하면 모델이 실제로 등장한 단어나 표현을 얼마나 예상하고 있었는지 측정하는 것이다.
실제로 등장한 토큰에 높은 확률을 부여하면 좋은 예측에 해당한다.
반대로 실제 등장한 토큰에 매우 낮은 확률을 부여했다면 예측이 좋지 않았다고 평가한다.
일반적으로 Perplexity가 낮을수록 모델의 예측 능력이 높다고 해석할 수 있다.
OpenAI는 이번 글에서 실제로는 Log-Perplexity(로그 퍼플렉서티)를 사용해 여러 모델의 발전을 비교했다.
이는 일반적으로 교차 엔트로피 손실(Cross-Entropy Loss)과 연결되는 지표다.
교차 엔트로피는 모델이 실제 정답에 얼마나 낮은 확률을 부여했는지를 평균적으로 측정하는 수학적 방법이다.
Pachocki는 특정한 모델의 실제 문제 해결 능력을 평가하는 방법과 사전학습의 예측 정확도를 측정하는 방법을 구분한다.
예를 들어 하나의 코딩 벤치마크에서 높은 점수를 기록했다고 해서 모든 분야의 지능이 높아졌다고 판단할 수는 없다.
반면 사전학습의 예측 성능은 여러 세대의 언어모델을 비교하는 데 지속적으로 사용해 온 지표라는 것이다.
GPT-3.5부터 현재까지의 내부 측정값 공개
OpenAI는 GPT-3.5부터 최신 연구 모델에 이르는 사전학습 손실 추이를 공개했다.
대표적인 수치는 다음과 같다.
| 모델·연구 단계 | Log-Perplexity |
|---|---|
| GPT-3.5 | 약 0.99 |
| GPT-4 | 약 0.91 |
| 최근의 고성능 연구 모델 | 약 0.76 수준 |
| 향후 주목하는 구간 | 약 0.68~0.70 |
중요한 점은 위 수치를 일반적인 공개 Perplexity 점수와 혼동해서는 안 된다는 것이다.
OpenAI는 이 결과를 자사의 내부 코드베이스에서 추출한 고정 평가 데이터셋으로 측정했다고 설명했다.
또한 서로 다른 회사의 모델을 동일한 방식으로 평가한 결과도 아니다.
따라서 OpenAI 모델의 Log-Perplexity 0.76과 다른 기업이 별도의 데이터셋에서 측정한 0.76을 직접 비교할 수 없다.
평가 데이터의 종류와 토크나이저, 모델의 학습 자료에 따라 점수가 달라질 수 있기 때문이다.
Pachocki는 GPT-3.5가 약 0.99 수준에 도달했을 때 자연스러운 대화 능력이 발전했다고 설명했다.
GPT-4의 약 0.91 수준에서는 단계적인 추론 능력을 활용할 수 있는 기반이 강화됐다고 해석한다.
최근 0.8 아래의 손실 수준에서는 수학과 사이버보안 등에서 기존에 예상하지 못했던 능력이 나타났다고 주장한다.
그러나 특정한 손실 수치에 도달하면 반드시 정해진 새로운 능력이 등장한다는 법칙이 검증된 것은 아니다.
실제로 어떤 능력이 어떤 수치에서 등장하는지는 모델의 구조와 학습 데이터, 후속 학습 방식 등에 영향을 받을 수 있다.
모델의 능력은 사전학습 이후에도 달라진다
Pachocki는 Perplexity의 장점을 강조하면서도 중요한 한계를 인정한다.
AI 모델은 사전학습만으로 완성되지 않는다.
예를 들어 사전학습한 모델에 특정한 업무를 수행하도록 추가 학습할 수 있다.
이를 미세조정(Fine-Tuning)이라고 한다.
또한 모델이 생성한 답변을 평가하고 더 좋은 행동을 학습시키는 강화학습도 사용할 수 있다.
강화학습(Reinforcement Learning)은 모델이 수행한 행동이나 답변에 보상을 제공해 더 좋은 행동을 선택하도록 학습시키는 방법이다.
이런 후속 학습은 사전학습에서 측정한 Perplexity를 크게 변경하지 않더라도 실제 문제 해결 능력을 개선할 수 있다.
예를 들어 같은 사전학습 모델을 바탕으로 일반적인 대화용 모델과 코딩 에이전트용 모델을 각각 개발할 수 있다.
두 모델은 같은 기본적인 언어 능력을 공유하지만 실제 코딩 작업의 성공률은 다를 수 있다.
따라서 Perplexity 하나만으로 모든 AI 모델의 실질적인 성능과 위험을 평가할 수는 없다.
Pachocki도 이를 인정하며 Perplexity를 실제 업무 벤치마크를 대체하는 지표가 아니라 AI의 기초적인 능력 발전을 장기적으로 추적하는 공통 지표로 활용하자고 제안한다.
2027년에 AI 연구 자동화가 급격히 발전할 가능성 제기
이번 글에서 가장 주목할 부분은 AI가 자신의 후속 모델 개발에 기여하는 상황에 관한 전망이다.
Pachocki는 최근 AI 모델이 수학 연구에서 새로운 결과를 생성하는 능력이 크게 개선됐다고 평가한다.
특히 이전에는 해결하기 어려웠던 문제들이 비교적 짧은 시간에 해결되는 연구 사례를 소개했다.
그는 비슷한 변화가 AI 모델의 사전학습 알고리즘 연구에서도 발생할 수 있다고 전망한다.
예를 들어 AI가 새로운 학습 알고리즘을 제안할 수 있다.
이후 연구자가 해당 알고리즘을 검증하고 실제 다음 세대 모델에 적용할 수 있다.
그 결과 더 강한 모델이 개발된다면 새로운 AI 모델이 또 다른 학습 알고리즘을 연구하는 데 활용될 수 있다.
이를 재귀적 자기개선(Recursive Self-Improvement)과 연결해 이해할 수 있다.
다만 AI가 후속 모델의 연구를 지원한다는 사실과 AI가 인간의 감독 없이 스스로 모델을 개발하고 배포한다는 사실은 다르다.
Pachocki는 인간의 감독이 완전히 사라지는 자기개선 상태는 피해야 한다는 입장을 밝힌다.
또한 2027년에 새로운 사전학습 기술의 발전이 급격하게 증가할 가능성을 제시하지만, 이는 미래에 관한 연구적 전망이다.
실제로 2027년에 해당 변화가 발생한다고 확정할 수는 없다.
0.68~0.70 구간에서 새로운 능력이 등장할 가능성
Pachocki는 최근 모델의 발전 추세를 바탕으로 향후 Log-Perplexity가 약 0.68~0.70에 도달하는 구간을 주목해야 한다고 주장한다.
그는 이 구간에서 현재 충분히 예상하지 못한 새로운 능력이 등장할 가능성을 제시한다.
그러나 어떤 능력이 등장할지는 알 수 없다고 명시했다.
예를 들어 현재의 평가체계는 모델이 실제로 어떤 분야에서 새로운 문제 해결 방법을 발견할 수 있는지 충분히 측정하지 못할 수 있다.
새로운 능력이 등장한 이후에야 이를 측정하기 위한 벤치마크가 개발될 가능성도 있다.
따라서 실제로 존재하지 않는 새로운 능력을 미리 가정하기보다 현재 측정 가능한 사전학습 지표를 이용해 발전 속도를 지속적으로 확인하자는 것이 핵심 주장이다.
하지만 실제 능력과 위험의 관계가 검증되지 않은 특정 수치를 규제의 직접적인 기준으로 사용하는 데는 한계가 있을 수 있다.
예를 들어 같은 Log-Perplexity를 기록한 두 모델이 실제 사이버보안이나 생물학 분야에서 서로 다른 능력을 보일 수 있기 때문이다.
개발기업들이 공동으로 성능 한계를 정하자는 제안
이번 글의 정책적 핵심은 AI 기업 사이의 공통 안전기준이다.
Pachocki는 프런티어 AI 개발기업들이 모델의 발전을 측정하는 공통 지표에 합의할 필요가 있다고 주장한다.
또한 실제 모델의 행동을 이해하고 감시하는 능력이 일정 수준에 도달하기 전까지 미리 합의한 성능 한계를 넘지 않도록 제한하는 산업 규범을 제안했다.
예를 들어 모델의 위험한 행동을 감시하는 기술이 현재 모델의 능력을 충분히 평가하지 못한다면 새로운 세대 모델의 개발이나 배포에 추가적인 제한을 적용하는 방식이다.
여기서 중요한 개념은 CoT Monitoring(추론 과정 감시)이다.
CoT는 Chain of Thought의 약자로, 모델이 문제를 해결할 때 사용하는 중간 추론 과정과 관련된 용어다.
추론 과정 감시는 모델이 실제로 어떤 방향으로 문제를 해결하려 하는지 살펴보고 위험한 행동을 조기에 발견하려는 기술이다.
Pachocki는 현재의 감시 방식이 미래의 더 강한 모델에서도 충분히 작동할 것이라고 보장할 수 없다고 설명한다.
따라서 실제 모델의 능력이 커지기 전에 더 강력한 감시 기술을 개발해야 한다는 것이다.
그는 다음과 같은 공통 기준의 필요성을 제시했다.
- 모델의 발전을 여러 기업이 비교할 수 있는 측정 지표
- 새로운 모델의 위험을 검증하는 공통 평가 절차
- 개발기업이 합의한 단계별 능력 한계
- 다음 단계로 발전하기 전에 반드시 충족해야 하는 안전성 조건
다만 이 내용은 아직 국제적으로 합의된 규칙이 아니다.
이번 발표에서 실제 산업 공동체가 새로운 개발 제한을 채택한 것도 아니다.
Perplexity를 규제 기준으로 사용하기 어려운 이유
Pachocki는 자신의 제안에 여러 기술적 문제가 존재한다는 사실을 인정한다.
첫 번째는 데이터셋의 차이다.
각 회사가 서로 다른 자료로 모델을 학습하고 평가한다면 같은 기준으로 Perplexity를 비교하기 어렵다.
두 번째는 실제 업무 능력과의 거리다.
Perplexity가 낮다고 해서 특정한 코딩 작업이나 연구 문제를 반드시 더 잘 해결하는 것은 아니다.
세 번째는 후속 학습의 영향이다.
강화학습과 도구 사용 능력이 발전하면 사전학습 손실이 비슷하더라도 실제 모델의 능력이 크게 달라질 수 있다.
네 번째는 이론적으로 도달할 수 있는 최소 손실을 알 수 없다는 점이다.
실제 자연어와 코드에는 여러 가능한 표현이 존재한다.
따라서 모든 다음 토큰을 완벽하게 예측하는 모델을 만들 수 있다고 가정할 수 없다.
특히 실제 데이터에 존재하는 불확실성이 어느 정도인지 정확히 알기 어렵다.
이런 한계를 고려하면 Perplexity를 공통 지표로 활용하기 위해서는 실제 평가 데이터와 측정 절차, 모델의 종류를 명확하게 정의해야 한다.
연구 공개와 실제 정책 채택은 구분해야 한다
이번 발표는 OpenAI가 내부적으로 오랫동안 사용한 사전학습 지표를 일부 공개했다는 점에서도 의미가 있다.
하지만 평가에 사용한 전체 데이터셋과 모델별 학습 구조가 공개된 것은 아니다.
또한 이 글에 등장하는 AI 능력의 급격한 발전에 관한 설명과 향후 안전성 위험은 Pachocki의 해석을 포함한다.
독립적인 연구기관이 모든 미래 전망을 검증한 것은 아니다.
이번 발표는 AI 안전을 평가하는 방법이 현재 모델이 얼마나 위험한 행동을 수행할 수 있는가를 개별적으로 검사하는 방식에서 나아가, 기초적인 모델 능력의 발전 속도를 공동으로 측정하고 안전성 기술의 발전과 연결하는 방식으로 확대될 수 있음을 보여준다.
동시에 향후 AI 개발을 제한할 기준을 마련하려면 어떤 지표가 실제 위험을 충분히 설명할 수 있는지에 관한 추가적인 연구가 필요하다는 점도 드러낸다.
2️⃣ AI 제품·서비스
이번 조사 범위에서 포함할 만한 주요 신규 발표를 확인하지 못했습니다.
3️⃣ 개발 도구·에이전트
이번 조사 범위에서 포함할 만한 주요 신규 발표를 확인하지 못했습니다.
4️⃣ 산업·정책·안전
이번 조사 범위에서 포함할 만한 주요 신규 발표를 확인하지 못했습니다.
📚 추천 글
AI R&D-relevant model capabilities are improving rapidly and are getting harder to measure — AI 에이전트의 실제 연구 능력과 인간 전문가의 판단을 비교한 METR의 장기 평가
- 저자: Megan Kinniment, Manish Shetty, Brian Goodrich, Matt Putz, Spruce Bondera 외 METR 연구진
- 발행: METR
- 게시일: 2026-11-20
- 원문: METR — AI R&D-relevant model capabilities are improving rapidly and are getting harder to measure
AI 에이전트가 실제 연구자의 업무를 얼마나 많이 수행할 수 있을까?
이번 글은 AI 능력 평가 연구기관인 METR가 공개한 새로운 장기 작업 평가 보고서다.
특히 AI가 실제로 정답을 확인할 수 있는 코딩 작업에서는 인간 전문가와 비슷하거나 더 높은 성능을 보이지만, 정답이 명확하지 않은 판단 중심의 연구 업무에서는 여전히 인간 전문가보다 약한 모습을 보일 수 있다는 점을 구체적으로 분석한다.
이번 연구는 단순한 코딩 벤치마크 하나의 결과를 비교하지 않는다.
여러 세대의 공개 AI 모델을 같은 평가체계에서 비교하고, 실제 인간 전문가가 작업을 완료하는 데 필요한 시간과 모델의 성공 가능성을 연결한다.
AI 에이전트의 Time Horizon이란 무엇인가
METR는 Time Horizon(작업 시간 지평)이라는 지표를 사용한다.
이 지표는 AI가 실제 작업을 수행하는 데 걸린 시간이 아니다.
사람이 완료하는 데 일정한 시간이 필요한 작업을 AI가 어느 정도의 성공률로 처리할 수 있는지 나타내는 지표다.
예를 들어 사람이 네 시간 동안 수행해야 하는 작업이 있다고 가정해 보자.
AI가 해당 작업의 절반을 성공적으로 완료할 수 있다면 해당 작업의 난이도와 관련해 50% 성공 가능성을 기록했다고 볼 수 있다.
METR는 이런 방식으로 여러 작업의 길이와 성공률을 분석한다.
이번 연구에서는 기존의 TH1.1 평가와 새로운 TH2 평가를 함께 사용했다.
TH2는 이전보다 더 복잡한 연구와 판단, 장기적인 문제 해결을 포함한다.
일부 검증 가능한 작업에서는 최대 27시간 수준
METR가 공개한 결과에 따르면 현재 평가한 프런티어 모델들은 새로운 TH2 평가 가운데 정답을 비교적 명확하게 검증할 수 있는 작업에서 최대 약 27시간의 Time Horizon을 기록했다.
이 수치는 해당 조건에서 50% 성공률을 기준으로 추정한 작업 시간 지평이다.
하지만 AI가 실제 연구자의 27시간 노동을 언제나 대신할 수 있다는 의미는 아니다.
또한 실제 AI가 해당 작업을 완료하는 데 27시간을 사용했다는 의미도 아니다.
실제로 어떤 작업을 평가했는지가 중요하다.
예를 들어 모델은 실행시간과 정확도를 명확하게 측정할 수 있는 프로그램 최적화 문제에서 높은 성능을 보일 수 있다.
하지만 새로운 연구 방향을 선택하거나 실험 결과의 의미를 평가하는 작업에서는 더 큰 어려움을 겪을 수 있다.
METR는 이러한 차이를 구체적으로 분석했다.
정답을 확인할 수 있는 작업에서 모델의 강점
연구팀은 여러 종류의 코딩과 최적화 작업을 사용했다.
예를 들어 다음과 같은 문제를 평가할 수 있다.
- 프로그램의 실행 속도를 개선하는 작업
- 정해진 목표에 맞는 코드를 작성하는 작업
- 알고리즘의 성능을 높이는 작업
- 실제 테스트 결과를 이용해 새로운 해결 방법을 찾는 작업
이런 업무에서는 결과를 비교적 명확하게 평가할 수 있다.
예를 들어 코드가 실제 테스트를 통과했는지 확인할 수 있다.
또는 프로그램의 실행시간이 얼마나 감소했는지 측정할 수 있다.
METR는 일부 작업에서 직접 모집한 전문 인력보다 AI 모델이 높은 성능을 기록했다고 밝혔다.
하지만 해당 비교에는 제한이 있다.
연구팀이 모집한 사람이 실제 해당 분야의 모든 최고 전문가를 대표하지는 않을 수 있다.
또한 일부 공개된 전문가 기록에서는 AI가 매우 높은 순위를 기록했지만 최상위 전문가를 항상 앞서지는 못했다.
따라서 이번 결과를 AI가 모든 소프트웨어 엔지니어나 연구자보다 뛰어나다는 의미로 해석해서는 안 된다.
정답이 모호한 연구 판단에서는 여전히 한계
이번 연구에서 가장 중요한 부분은 명확한 피드백이 존재하지 않는 작업의 평가다.
예를 들어 새로운 AI 모델의 학습 방법을 개발한다고 가정해 보자.
어떤 방법이 좋은지 판단하려면 실제 실험이 필요할 수 있다.
하지만 실험에 상당한 시간이 걸리거나 계산 자원이 부족하다면 모든 가설을 검증할 수 없다.
연구자는 제한된 정보만으로 어떤 접근을 먼저 시도할지 결정해야 한다.
이런 상황에서는 단순한 코드 생성 능력과 다른 종류의 판단이 필요하다.
METR는 이런 작업에서 AI 에이전트가 인간 전문가보다 약한 성능을 보이는 경향을 관찰했다.
또한 AI 모델을 평가자로 사용할 때의 문제도 확인했다.
예를 들어 어떤 모델이 연구 결과를 생성했다고 가정해 보자.
다른 모델이 해당 결과를 평가할 수 있다.
하지만 평가자 모델은 자기 자신과 비슷하거나 더 강력한 모델이 생성한 결과의 품질을 실제 전문가보다 높게 평가할 수 있었다.
이런 현상은 실제 연구 자동화에서 중요하다.
AI가 잘못된 결과를 생성했는데 다른 AI가 이를 올바르다고 판단하면 잘못된 연구 방향이 계속 유지될 가능성이 있기 때문이다.
작업 시간 지평은 약 3.6개월마다 두 배
METR는 기존 TH1.1과 새로운 TH2를 결합해 AI 모델의 발전 추세도 분석했다.
공개된 결과는 다음과 같다.
| 평가 항목 | 결과 |
|---|---|
| 결합 평가의 Time Horizon 두 배 증가 기간 | 약 3.61개월 |
| 95% 신뢰구간 | 약 2.08~4.94개월 |
| TH2의 검증 가능한 작업만 사용한 추정 | 약 1.65개월 |
| 일부 검증 가능한 TH2 작업의 최대 시간 지평 | 약 27시간 |
신뢰구간(Confidence Interval)은 표본 데이터를 이용해 실제 통계적 효과가 존재할 가능성이 있는 범위를 추정하는 방법이다.
METR는 전체 평가에서 작업 시간 지평이 약 3.6개월마다 두 배로 증가하는 경향을 관찰했다.
하지만 이런 추세를 미래에 그대로 적용하는 데는 주의가 필요하다.
예를 들어 평가 데이터의 난이도가 달라질 수 있다.
또한 모델이 특정한 벤치마크에 특화될 가능성도 존재한다.
연구팀은 일부 평가에서 더 빠른 발전 추세가 나타났지만 이를 AI 능력의 전반적인 가속으로 단정하기는 어렵다고 설명했다.
특히 새로운 평가 데이터가 이전보다 어려운 경우 동일한 모델의 Time Horizon이 더 낮게 계산될 수 있다.
따라서 여러 평가를 연결해 장기적인 추세를 분석할 때는 실제 작업의 난이도 차이를 고려해야 한다.
실제 연구 환경을 재현하는 비용도 문제
이번 글은 AI 평가에서 상대적으로 적게 다뤄지는 문제도 소개한다.
바로 평가 환경을 만드는 비용이다.
예를 들어 단순한 코딩 문제는 정답을 자동으로 검사할 수 있다.
하지만 실제 연구에서는 문제를 해결하기 위한 환경을 만들고 결과를 평가하는 데 많은 비용이 필요할 수 있다.
METR는 이를 Lifecycle Cost(작업 생애주기 비용)라는 개념으로 분석했다.
여기에는 평가 작업을 준비하고 실행하며 결과를 검토하는 데 필요한 비용이 포함된다.
연구팀은 같은 길이의 작업이라도 평가 환경을 만들고 검증하기 어려운 경우 AI의 성공률이 낮아지는 경향을 발견했다.
다만 평가 환경을 만드는 비용과 실제 작업의 지적 난이도가 완전히 같은 개념은 아니다.
이번 연구에서는 이 둘 사이에 관계가 존재할 가능성을 제시했지만 모든 작업에서 동일하게 적용되는 법칙으로 확정하지 않았다.
여러 AI 에이전트를 연결하면 항상 좋은가
METR는 에이전트 스웜(Agent Swarm)도 평가했다.
스웜은 여러 AI 에이전트를 동시에 실행해 하나의 문제를 해결하는 구조다.
예를 들어 여러 에이전트가 서로 다른 해결 방법을 시도할 수 있다.
이후 실제로 가장 좋은 결과를 선택할 수 있다.
연구팀은 정답을 빠르게 검증할 수 있는 작업에서 이런 방식이 도움이 될 수 있다고 밝혔다.
반면 결과의 품질을 판단하기 어렵거나 피드백이 느린 작업에서는 효과가 불확실하거나 오히려 부정적인 결과가 나타났다.
예를 들어 여러 에이전트가 서로 다른 연구 방향을 제안하더라도 실제로 어떤 방법이 좋은지 판단할 수 없다면 단순히 후보의 수가 많아지는 것으로는 충분하지 않다.
이번 연구는 여러 에이전트를 병렬로 실행하는 기술과 실제로 좋은 연구 판단을 수행하는 능력이 서로 다를 수 있음을 보여준다.
AI 연구 자동화의 실제 한계
METR는 AI가 연구와 개발 업무를 빠르게 수행하는 능력이 발전하고 있다는 점을 인정한다.
하지만 이것만으로 모든 AI 연구가 곧 완전히 자동화된다고 판단하지는 않는다.
특히 실제로 중요한 연구 방향을 선택하고 불확실한 결과를 해석하는 작업에서는 추가적인 능력이 필요할 수 있다.
이번 글은 AI 에이전트의 발전을 이해할 때 실제 검증 가능한 작업의 성공률과 불확실한 상황에서의 판단 능력을 별도로 평가해야 한다는 점을 보여준다.
또한 단순한 벤치마크 점수보다 평가 데이터의 구성과 인간 기준점, 통계적 불확실성을 함께 확인하는 것이 중요하다는 점도 설명한다.
Forget Freely, Grep Later: Lossless, Index-Free Memory for Long-Horizon LLM Agents — 복잡한 벡터 DB 대신 전체 작업 기록과 grep으로 에이전트의 기억을 복원하는 방법
- 저자: Ziyan Yang, Taiwei Shi, Jieyu Zhao
- 발행: University of Southern California / arXiv
- 게시일: 2026-11-18 (arXiv 제출 시각: 2026-11-19 05:02 KST)
- 원문: arXiv — Forget Freely, Grep Later: Lossless, Index-Free Memory for Long-Horizon LLM Agents
AI 에이전트가 긴 작업을 수행할 때 이전 정보를 기억하도록 만드는 가장 간단한 방법은 무엇일까?
일반적으로는 메모리 데이터베이스나 임베딩 검색 시스템을 사용하는 방식을 생각할 수 있다.
하지만 이번 논문은 훨씬 단순한 접근을 제안한다.
에이전트의 전체 작업 기록을 일반 텍스트 파일에 계속 저장하고, 필요할 때 grep으로 검색하도록 만드는 것만으로도 일부 장기 메모리 작업에서 복잡한 메모리 시스템보다 높은 성능을 얻을 수 있다는 연구다.
특히 실제 작업 기록을 요약해 저장하는 방식이 중요한 정보를 잃어버릴 수 있다는 문제를 다룬다.
긴 컨텍스트와 실제 기억은 서로 다르다
대형 언어모델은 하나의 요청에서 많은 토큰을 처리할 수 있다.
이를 컨텍스트 윈도(Context Window)라고 한다.
하지만 실제 에이전트가 여러 날 동안 작업한다고 가정해 보자.
파일을 읽고 프로그램을 실행한다.
이후 외부 웹페이지를 검색하고 여러 도구를 호출한다.
이런 과정에서는 실제 컨텍스트보다 더 많은 실행 기록이 생성될 수 있다.
따라서 모든 이전 내용을 매번 모델에 전달하기 어렵다.
기존 시스템에서는 오래된 내용을 요약하거나 일부를 제거할 수 있다.
이런 방식을 컨텍스트 압축(Context Compaction)이라고 한다.
문제는 어떤 정보가 나중에 필요한지 미리 알기 어렵다는 점이다.
예를 들어 에이전트가 수백 개의 로그를 분석했다고 가정해 보자.
현재는 특정한 오류 코드가 중요하지 않아 보일 수 있다.
하지만 실제 문제가 발생한 이후에는 그 오류 코드가 중요한 증거가 될 수 있다.
이미 요약 과정에서 해당 코드가 사라졌다면 다시 복원하기 어렵다.
GrepMem은 전체 기록을 버리지 않는다
연구팀은 GrepMem이라는 단순한 메모리 구조를 제안했다.
GrepMem은 두 가지 구성요소를 사용한다.
첫 번째는 Append-Only Log(추가 전용 로그)다.
기존 기록을 삭제하거나 덮어쓰지 않고 새로운 기록을 계속 추가하는 방식이다.
예를 들어 에이전트가 파일을 읽거나 도구를 호출한 결과를 시간순으로 저장할 수 있다.
두 번째는 grep 검색 도구다.
grep은 텍스트 안에서 특정한 문자열이나 패턴이 포함된 부분을 검색하는 프로그램이다.
예를 들어 실제 로그에서 오류 코드나 파일 이름을 검색할 수 있다.
GrepMem에서는 에이전트가 필요할 때 grep_history라는 도구를 호출하도록 설계했다.
이렇게 하면 모든 이전 내용을 컨텍스트에 유지할 필요가 없다.
필요한 정보만 다시 불러올 수 있기 때문이다.
일반적인 RAG와 무엇이 다른가
RAG(Retrieval-Augmented Generation, 검색 증강 생성)는 외부 문서를 검색해 관련 정보를 언어모델에 제공하는 기술이다.
일반적인 RAG에서는 텍스트를 여러 구간으로 나누고 임베딩을 계산할 수 있다.
임베딩은 텍스트의 의미를 여러 숫자로 표현한 것이다.
이후 사용자 질문과 의미적으로 비슷한 구간을 검색한다.
하지만 이런 구조에는 추가적인 데이터 처리와 검색 인프라가 필요할 수 있다.
GrepMem은 이런 검색 인덱스를 만들지 않는다.
원본 기록을 그대로 저장하고 텍스트 검색을 수행한다.
예를 들어 특정한 오류 코드나 함수 이름이 필요한 경우에는 정확한 문자열 검색이 오히려 유리할 수 있다.
하지만 자연어로 의미가 비슷한 내용을 찾는 작업에서는 단순한 문자열 검색이 불리할 수도 있다.
연구팀도 이 한계를 인정한다.
Qwen3.5-9B로 다섯 가지 메모리 방식 비교
연구팀은 Qwen3.5-9B 모델을 사용해 실제 실험을 수행했다.
비교한 주요 방식은 다음과 같다.
| 방식 | 메모리 관리 방법 |
|---|---|
| ReAct | 별도의 장기 메모리 없이 기존 문맥 활용 |
| SUPO | 오래된 문맥을 요약해 유지 |
| Masking | 오래된 도구 출력 일부 제거 |
| MemGPT | 작업 메모리와 외부 메모리를 구조적으로 관리 |
| GrepMem | 전체 원본 기록을 유지하고 grep 검색 |
연구팀은 각 방식에 대해 강화학습도 수행했다.
강화학습(Reinforcement Learning)은 모델이 수행한 행동의 결과에 보상을 제공해 더 좋은 행동을 선택하도록 학습시키는 방법이다.
이후 여러 종류의 장기 정보 검색과 다중 질문 처리 작업에서 모델을 평가했다.
정확한 기록 복원에서 95% 이상
대표적인 결과는 다음과 같다.
| 평가 | GrepMem | 비교 결과 |
|---|---|---|
| ContextBench KV | 97.4% | SUPO 13.9%, Masking 20.7% |
| ContextBench Log | 95.3% | SUPO·Masking 각각 6.6% |
| BCP-Multi | 46.9% | SUPO 38.1%, MemGPT 39.9% |
GrepMem은 정확한 정보를 복원하는 ContextBench에서 높은 성능을 기록했다.
특히 로그 기반 평가에서는 95.3%의 정확도를 기록했다.
반면 요약이나 오래된 정보 제거를 사용하는 일부 방법은 훨씬 낮은 점수를 기록했다.
하지만 모든 기존 메모리 방식보다 항상 높은 성능을 기록한 것은 아니다.
예를 들어 MemGPT는 ContextBench KV에서 99.9%를 기록했다.
또한 다른 종류의 작업에서는 GrepMem과 비교 대상 사이의 차이가 상대적으로 작았다.
따라서 GrepMem이 모든 종류의 장기 메모리 문제에서 가장 좋은 방법이라고 판단해서는 안 된다.
토큰 비용도 함께 비교
연구팀은 실제로 사용한 전체 토큰도 측정했다.
여기에는 원래 모델 호출과 요약, 메모리 검색에 사용한 토큰이 포함된다.
GrepMem은 일부 정확한 기록 복원 작업에서 MemGPT보다 높은 성능을 기록하면서 더 적은 토큰을 사용했다.
대표적으로 ContextBench의 로그 분석 작업에서는 MemGPT가 사용한 토큰의 약 29%만 사용했다.
이는 전체 기록을 매번 모델에 전달하는 대신 필요할 때 문자열을 검색하는 방식이 비용을 줄일 수 있음을 보여준다.
하지만 모든 작업에서 검색이 필요하다고 판단해서는 안 된다.
예를 들어 기존 요약에 이미 충분한 정보가 있다면 추가적인 grep 호출이 불필요한 비용을 만들 수도 있다.
저장 비용과 개인정보 문제는 별도로 고려해야 한다
GrepMem의 가장 큰 장점은 원본 정보를 잃어버리지 않는다는 것이다.
하지만 실제 서비스에서는 이 특징이 별도의 문제를 만들 수도 있다.
예를 들어 에이전트가 고객의 개인정보나 인증정보를 읽었다고 가정해 보자.
모든 실행 기록을 영구적으로 저장하면 민감한 정보도 로그에 남을 가능성이 있다.
따라서 실제 기업용 서비스에서는 접근권한과 암호화, 데이터 보존 기간을 함께 관리해야 한다.
또한 저장된 전체 기록을 어떤 사용자가 검색할 수 있는지도 제한해야 한다.
이번 논문은 이런 실제 운영 보안과 개인정보 보호를 완전히 해결한 시스템을 제시한 것은 아니다.
주로 장기 메모리의 정확성과 토큰 효율을 비교한 연구다.
단순한 기술이 복잡한 기술보다 유리할 수 있는 이유
이번 연구의 핵심은 메모리 관리에서 원본 정보의 보존과 현재 작업에 필요한 정보의 선택을 분리했다는 점이다.
기존 요약 방식은 앞으로 필요한 정보를 현재 시점에서 미리 판단해야 한다.
하지만 GrepMem은 일단 전체 기록을 보존한다.
이후 실제 질문이 등장했을 때 필요한 정보를 검색한다.
이렇게 하면 미래의 질문을 미리 예상하지 않아도 된다.
물론 이 방법은 검색할 수 있는 문자열이나 패턴이 존재할 때 특히 유용하다.
관련 정보의 표현을 전혀 모르는 상황에서는 더 복잡한 의미 검색 시스템이 필요할 수 있다.
이번 논문은 AI 에이전트의 메모리를 설계할 때 복잡한 데이터베이스나 임베딩 시스템을 도입하기 전에 원본 로그를 보존하고 간단하게 검색하는 방식부터 평가할 가치가 있다는 관점을 제공한다.
Duopra: From Full-Duplex Conversation to Full-Duplex Agency — 자연스럽게 대화하는 음성 AI를 실제 도구 실행 에이전트로 학습시키는 방법
- 저자: Chiyu Chen, Pengzhou Cheng, Yuezhao Ma 외 공동 연구진
- 발행: Shanghai Jiao Tong University·Tencent·Shanghai University·University of Bristol / arXiv
- 게시일: 2026-11-19
- 원문: arXiv — Duopra: From Full-Duplex Conversation to Full-Duplex Agency
AI 음성 비서가 실제 사람처럼 자연스럽게 대화할 수 있다면 사용자가 요청한 업무도 정확하게 완료할 수 있을까?
이번 연구는 자연스러운 음성 대화 능력과 실제 도구를 이용해 업무를 완료하는 능력이 서로 다를 수 있다는 점을 실제 실험으로 분석한다.
특히 사용자가 말하는 도중 요청을 수정하거나 여러 단계의 작업을 지시하는 상황에서 AI가 어떻게 대응해야 하는지 다룬다.
자연스러운 대화와 업무 수행의 차이
최근의 음성 AI는 실제 사람의 대화와 비슷한 상호작용을 지원한다.
예를 들어 사용자가 말을 멈추면 AI가 적절한 시점에 답변할 수 있다.
또한 사용자가 AI의 답변 도중 끼어들면 기존 발화를 중단하고 새로운 말을 들을 수도 있다.
이런 능력을 Full-Duplex Conversation(전이중 대화)이라고 한다.
일반적인 순차 대화에서는 한쪽이 말을 마친 뒤 다른 쪽이 말한다.
반면 전이중 대화에서는 서로의 발화가 겹칠 수 있고 짧은 반응과 끼어들기도 발생한다.
하지만 실제 업무를 수행하려면 추가적인 능력이 필요하다.
예를 들어 사용자가 쇼핑 에이전트에게 다음과 같이 말한다고 가정해 보자.
처음에는 노트북 두 대를 장바구니에 담아 달라고 요청할 수 있다.
그런데 중간에 태블릿 한 대로 변경해 달라고 말할 수 있다.
이 경우 AI는 이전의 노트북 두 대라는 정보를 새로운 태블릿 한 대라는 요청으로 바꿔야 한다.
또한 실제 상품의 ID를 검색한 뒤 장바구니에 추가해야 한다.
즉 단순히 자연스럽게 대화하는 것만으로는 충분하지 않다.
실제 요청의 최신 상태와 도구의 의존관계를 관리해야 한다.
기존 Frontend-Backend 구조의 문제
일반적인 음성 에이전트는 두 가지 부분으로 나눌 수 있다.
첫 번째는 Frontend(대화 담당 모델)이다.
사용자의 음성을 듣고 현재 대화를 관리한다.
두 번째는 Backend(작업 실행 담당 모델)이다.
실제 검색과 예약, 장바구니 수정 같은 도구를 호출한다.
이 구조에서는 Frontend가 실제 사용자의 요청을 Backend에 전달해야 한다.
문제는 Frontend가 실제로 필요한 정보를 제대로 전달하지 못할 수 있다는 점이다.
예를 들어 사용자가 요청한 상품의 종류와 수량이 여러 번 변경됐을 수 있다.
하지만 Frontend가 오래된 요청을 Backend에 전달하면 잘못된 상품이 선택될 수 있다.
또한 Frontend가 실제로 도구를 호출해야 하는 시점을 놓칠 수도 있다.
이 경우 Backend가 아무리 높은 성능을 가지고 있어도 실제 작업을 수행할 수 없다.
연구팀은 이를 Task Initiation(작업 시작) 문제라고 설명한다.
기존 시스템에서는 도구 실행 이전에 많은 작업이 실패
연구팀은 Full-Duplex-Bench v3라는 평가를 사용했다.
이 벤치마크는 실제 음성 대화에서 여러 단계의 도구 사용과 요청 수정이 올바르게 처리되는지 측정한다.
기존 Realtime-Venus-Audio와 Harness를 연결한 구조에서는 전체 세션 가운데 11.0%만 Backend에 작업을 전달했다.
최종 작업 성공률은 4.7%였다.
이 결과는 실제 도구가 잘못된 답변을 반환했기 때문에만 발생한 문제가 아니다.
실제로 도구를 사용해야 하는 요청이 Backend에 전달되지 않은 경우가 많았다는 점이 중요하다.
따라서 단순히 Backend의 언어모델을 더 강력한 모델로 변경하는 것만으로는 문제를 해결하기 어려울 수 있었다.
연구팀은 Frontend 자체가 실제 업무 수행을 이해하도록 학습시키는 방법을 제안했다.
Duopra는 대화와 실행을 함께 학습
이번 연구에서 제안한 모델이 Duopra다.
Duopra는 실제 대화의 흐름과 작업 실행을 하나의 학습 과정에서 함께 다룬다.
연구팀은 세 단계의 학습을 수행했다.
첫 번째는 SFT(Supervised Fine-Tuning, 지도 미세조정)다.
실제 도구 호출을 어떤 형식으로 생성해야 하는지 예시를 이용해 학습한다.
두 번째는 전이중 대화 기반 강화학습이다.
실제 사용자의 요청을 올바른 시점에 처리하고 필요한 도구를 호출하면 보상을 제공한다.
세 번째는 음성 생성 능력의 복구다.
작업 수행 능력을 강화하는 과정에서 실제 말하기의 자연스러움이 저하될 수 있다.
이를 줄이기 위해 음성 생성과 관련된 일부 구성요소만 별도로 조정했다.
작업 성공률 4.7%에서 44.7%로 증가
연구팀이 공개한 주요 결과는 다음과 같다.
| 평가 구성 | Pass@1 |
|---|---|
| Realtime-Venus-Audio + Harness | 4.7% |
| Duopra, 직접 도구 실행 | 47.7% |
| Duopra, Qwen3-8B Backend | 44.7% |
| Duopra, DeepSeek Backend | 49.3% |
Pass@1은 작업을 첫 번째 시도에서 올바르게 완료한 비율이다.
같은 Qwen3-8B Backend를 사용하는 조건에서 성공률은 4.7%에서 44.7%로 증가했다.
즉 Backend의 능력을 그대로 유지하더라도 Frontend가 올바르게 작업을 시작하고 필요한 정보를 전달하도록 학습하면 실제 결과가 크게 달라질 수 있었다.
하지만 이 수치는 연구팀이 구성한 음성 작업 벤치마크에서 얻어진 결과다.
모든 실제 전화 예약과 고객지원 업무에서 성공률이 같은 수준으로 증가한다는 의미는 아니다.
또한 연구팀은 실제로 사람이 끼어드는 상황과 발화의 자연스러움도 평가했다.
일부 대화 관리 능력은 개선됐지만 자발적인 짧은 반응처럼 완전히 유지되지 않은 기능도 존재했다.
대화 능력을 유지하면서 작업 능력을 추가하는 문제
이번 연구에서 중요한 점은 음성 AI의 기능이 두 가지로 분리된다는 사실이다.
첫 번째는 대화 능력이다.
상대방의 말을 이해하고 자연스럽게 듣고 말하는 능력이다.
두 번째는 작업 능력이다.
실제 사용자의 요청을 정확하게 파악하고 외부 도구를 이용해 결과를 만드는 능력이다.
예를 들어 AI가 매우 자연스럽게 대화하더라도 잘못된 날짜에 예약할 수 있다.
반대로 정확하게 예약할 수 있더라도 대화 중 여러 번 사용자의 말을 끊을 수 있다.
따라서 실제 음성 AI 에이전트에서는 두 능력을 함께 평가해야 한다.
이번 논문은 음성 AI가 단순한 대화형 서비스에서 실제 예약과 검색, 업무 자동화를 수행하는 에이전트로 발전하기 위해 어떤 학습과 평가가 필요한지 이해하는 데 유용한 자료다.
Reducing Rollout Bottlenecks in Reinforcement Learning with NVIDIA Dynamo — 강화학습에서 GPU를 낭비하는 세 가지 병목을 해결하는 방법
- 저자: Amr Elmeleegy, Harry Kim, Kyle Kranen
- 발행: NVIDIA Technical Blog
- 게시일: 2026-11-19
- 원문: NVIDIA — Reducing Rollout Bottlenecks in Reinforcement Learning with NVIDIA Dynamo
대형 언어모델을 강화학습할 때 GPU를 추가하면 학습 속도도 같은 비율로 빨라질까?
이번 글은 실제 강화학습 시스템에서 발생하는 세 가지 병목을 분석한다.
특히 모델이 새로운 행동을 생성하는 과정과 실제 가중치를 업데이트하는 과정 사이에 발생하는 대기시간, 중복 계산과 데이터 전송 비용을 어떻게 줄일 수 있는지 설명한다.
강화학습은 추론과 학습이 반복되는 구조
일반적인 사전학습에서는 모델이 대규모 데이터를 처리하고 가중치를 변경한다.
반면 강화학습에서는 실제로 모델이 행동을 수행한 뒤 그 결과를 평가할 수 있다.
예를 들어 코딩 에이전트에게 특정한 오류를 수정하도록 요청할 수 있다.
에이전트는 파일을 읽고 코드를 변경한다.
이후 테스트를 실행한다.
테스트가 통과하면 좋은 결과로 평가할 수 있다.
이런 실행 과정을 Rollout(롤아웃)이라고 한다.
Rollout은 모델이 하나의 환경에서 여러 단계의 행동을 수행하고 결과를 생성한 기록이다.
강화학습에서는 다음 과정이 반복된다.
- 현재 모델이 여러 Rollout을 생성한다.
- 실제 결과를 평가해 보상을 계산한다.
- 보상을 바탕으로 모델의 가중치를 업데이트한다.
- 업데이트된 모델로 새로운 Rollout을 생성한다.
문제는 여러 단계가 서로 다른 계산 자원을 사용하며, 하나의 단계가 지연되면 전체 학습이 느려질 수 있다는 점이다.
첫 번째 병목: 느린 Rollout 하나가 전체 학습을 지연
예를 들어 GPU 여러 개가 서로 다른 코딩 작업을 처리한다고 가정해 보자.
대부분의 작업은 1분 안에 완료될 수 있다.
하지만 하나의 작업은 복잡한 테스트 때문에 10분이 걸릴 수 있다.
강화학습 시스템에서 모든 작업의 결과가 필요하다면 나머지 GPU는 오래 걸리는 작업이 끝나기를 기다려야 할 수 있다.
따라서 실제로 요청을 GPU마다 동일한 수로 배분하는 것이 가장 효율적인 방식은 아닐 수 있다.
NVIDIA는 이런 문제를 해결하기 위해 Dynamo라는 분산 추론 실행 계층을 사용한다.
Dynamo는 실제 실행 중인 GPU의 상태와 요청량을 확인해 작업을 배분한다.
이렇게 하면 특정한 GPU에 작업이 몰리는 상황을 줄일 수 있다.
두 번째 병목: 같은 문맥의 반복 계산
강화학습에서는 같은 문제를 여러 번 해결하도록 모델에 요청할 수 있다.
예를 들어 하나의 코딩 문제에 대해 여러 가지 수정 방법을 생성할 수 있다.
이때 모든 요청은 같은 프로젝트의 파일과 사용자 지침을 포함할 수 있다.
하지만 요청마다 해당 입력을 다시 처음부터 계산하면 GPU 자원이 낭비될 수 있다.
이를 해결하기 위해 Dynamo는 KV Cache-Aware Routing을 사용한다.
KV Cache(Key-Value Cache)는 언어모델이 이전에 처리한 입력의 일부 계산 결과를 저장해 재사용하는 기능이다.
예를 들어 특정한 GPU가 이미 프로젝트의 공통 입력을 계산했다고 가정해 보자.
이후 비슷한 요청을 같은 GPU에 전달하면 기존 계산 결과를 재사용할 가능성이 있다.
하지만 모든 요청을 하나의 GPU에 집중하면 오히려 대기시간이 증가할 수 있다.
따라서 Dynamo는 캐시 재사용 가능성과 실제 GPU의 부하를 함께 고려한다.
세 번째 병목: 새로운 가중치의 전달 비용
강화학습에서는 모델의 가중치가 계속 변경된다.
문제는 실제 Rollout을 생성하는 GPU에도 새로운 가중치를 전달해야 한다는 점이다.
예를 들어 대형 모델의 전체 가중치를 매번 모든 GPU에 다시 전달하면 많은 네트워크 자원과 시간이 필요할 수 있다.
NVIDIA는 이를 줄이기 위해 ModelExpress라는 기술을 사용한다.
ModelExpress는 기존에 GPU 메모리에 저장된 가중치를 최대한 재사용한다.
또한 모델 전체가 아니라 실제 변경된 부분의 정보를 전달할 수 있다.
이를 Delta Weight Transfer(가중치 변경분 전송)라고 한다.
예를 들어 전체 모델을 다시 전달하는 대신 이전 버전과 새 버전 사이의 차이만 전송할 수 있다.
이렇게 하면 네트워크 트래픽과 실제 전송시간을 줄일 가능성이 있다.
하지만 변경분만 전송하려면 대상 GPU가 올바른 이전 버전의 가중치를 가지고 있어야 한다.
그렇지 않으면 실제 모델의 가중치가 서로 달라질 수 있다.
따라서 실제 가중치 버전을 확인하는 절차가 필요하다.
GPU가 고장 났을 때의 복구
대규모 학습에서는 특정한 GPU 서버가 종료되거나 네트워크 문제가 발생할 수 있다.
이 경우 모든 학습 작업을 처음부터 다시 실행하면 비용이 증가한다.
Dynamo는 실행 중인 작업자의 상태를 확인한다.
특정한 작업자가 응답하지 않으면 새로운 요청을 다른 GPU로 전달할 수 있다.
또한 새롭게 추가된 GPU가 기존 체크포인트와 가중치 변경분을 이용해 현재 학습 상태를 따라잡도록 만들 수 있다.
체크포인트(Checkpoint)는 모델의 가중치와 학습 상태를 특정한 시점에 저장한 자료다.
이렇게 하면 정상적으로 작동하는 GPU가 불필요하게 대기하는 상황을 줄일 수 있다.
다만 모든 실행 중인 작업을 실제 중단 지점에서 완벽하게 이어갈 수 있는 것은 아니다.
지원하는 실행 엔진과 작업 상태에 따라 일부 작업은 다시 실행해야 할 수 있다.
실제 기업의 운영 성과
NVIDIA는 여러 기업이 Dynamo를 사용한 사례도 소개했다.
| 기업 | 공개한 활용 결과 |
|---|---|
| Microsoft AI | 모델의 강화학습 이후 Rollout 추론 인프라에 사용 |
| CoreWeave | ModelExpress를 이용해 가중치 갱신 최대 15배 가속 |
| Cognition | SWE-1.7 추가 학습의 추론 작업 관리 |
| H Company | 학습 단계 평균시간 최대 20%, GPU 사용시간 최대 5% 감소 |
다만 이 수치는 각 기업과 NVIDIA가 공개한 운영 결과다.
같은 구성을 모든 AI 학습 시스템에 적용하면 동일한 성능 개선이 발생한다는 의미는 아니다.
또한 강화학습의 실제 결과는 모델의 구조와 Rollout의 길이, GPU 사이의 통신 방식에 따라 달라진다.
이번 글은 AI 모델 학습의 비용을 이해할 때 모델이 수행하는 연산량뿐 아니라 여러 GPU 사이의 작업 배분과 중복 문맥 처리, 새로운 가중치의 전달과 장애 복구가 중요하다는 점을 설명한다.
특히 실제 대규모 AI 인프라와 강화학습 시스템이 어떻게 연결되는지 이해하기 좋은 기술 자료다.
Combatting adversarial distillation — 다른 AI가 프런티어 모델의 능력을 복제하면서 안전장치를 제거하는 문제와 대응 방법
- 저자: OpenAI
- 발행: OpenAI
- 게시일: 2026-11-20
- 원문: OpenAI — Combatting adversarial distillation
AI 모델이 생성한 답변을 이용해 다른 모델을 학습시키는 것은 일반적인 머신러닝 기술이다.
하지만 원래 모델이 보유한 능력을 복제하면서 안전장치를 충분히 적용하지 않는다면 어떤 문제가 발생할까?
이번 글은 OpenAI가 Adversarial Distillation(적대적 증류)에 대응하는 방법과 실제 내부 평가 결과를 공개한 기술 보고서다.
특히 모델이 답변을 생성하기 전에 수행하는 내부 추론을 보호하는 방법과 여러 계정에 걸친 대규모 정보 추출 시도를 탐지하는 방법을 함께 설명한다.
지식 증류는 원래 정상적인 머신러닝 기술
지식 증류(Knowledge Distillation)는 강력한 교사 모델의 지식을 상대적으로 작은 학생 모델에 전달하는 기술이다.
예를 들어 매우 큰 언어모델이 특정한 질문에 대한 답변을 생성할 수 있다.
이후 작은 모델이 해당 답변을 학습할 수 있다.
이런 과정을 통해 작은 모델의 성능을 개선하는 것이다.
지식 증류 자체가 반드시 불법적이거나 위험한 기술인 것은 아니다.
실제로 모델 개발자가 자신의 모델을 더 효율적으로 실행하기 위해 증류를 사용할 수 있다.
문제는 다른 기업의 모델을 허가 없이 사용해 능력을 복제하거나 안전장치를 적용하지 않은 모델을 만드는 경우다.
OpenAI는 이를 적대적 증류라고 설명한다.
실제 위험한 능력은 안전장치 없이 복제될 수 있다
예를 들어 어떤 모델이 사이버보안 전문가가 취약점을 찾고 수정하는 작업을 지원한다고 가정해 보자.
해당 모델에는 위험한 공격을 제한하기 위한 안전장치가 존재할 수 있다.
하지만 다른 모델이 해당 모델의 결과를 대량으로 학습한다면 실제 보안 기술의 일부를 습득할 수 있다.
이후 원래 모델과 같은 안전장치를 적용하지 않은 상태로 배포할 수 있다.
이 경우 정상적인 방어 연구에 사용되는 기술이 실제 공격에도 악용될 가능성이 있다.
하지만 이번 글의 분석은 OpenAI의 자체 안전 평가와 운영 경험을 바탕으로 한다.
모든 종류의 증류가 같은 위험을 발생시킨다는 의미는 아니다.
또한 어떤 모델의 출력만으로 원래 모델의 모든 능력을 완전히 복제할 수 있다고 입증한 것도 아니다.
최종 답변보다 내부 추론 과정이 더 많은 정보를 제공할 수 있다
OpenAI가 특히 중요하게 다루는 대상은 Chain of Thought(CoT)다.
CoT는 모델이 복잡한 문제를 해결할 때 사용하는 중간 추론 과정과 관련된 용어다.
예를 들어 모델이 특정한 코딩 문제를 해결할 수 있다.
최종적으로는 수정된 코드와 간단한 설명만 제공할 수 있다.
하지만 내부적으로는 여러 종류의 해결 방법을 비교하고 잘못된 접근을 제외하는 과정이 존재할 수 있다.
OpenAI는 이런 중간 추론 정보가 다른 모델을 학습시키는 데 유용한 자료가 될 수 있다고 설명한다.
실제 내부 연구에서는 같은 학생 모델을 이용해 두 가지 학습 데이터를 비교했다.
첫 번째는 최종 답변과 사용자에게 보이는 추론 요약을 포함한 자료다.
두 번째는 더 자세한 실제 추론 기록을 포함한 자료다.
연구팀은 두 번째 자료를 사용한 학생 모델이 일부 사이버보안 평가에서 더 높은 성능을 기록했다고 밝혔다.
다만 후속 강화학습의 계산 예산이 작은 조건에서는 추론 요약을 사용한 모델이 더 좋은 결과를 기록한 경우도 있었다.
따라서 자세한 추론 기록이 모든 상황에서 항상 더 높은 성능을 제공한다고 단정해서는 안 된다.
내부 추론 유출 공격 성공률 감소
OpenAI는 GPT-6 Astra와 GPT-6.2 Astra의 안전장치를 비교했다.
평가에서는 AI를 이용한 공격자가 모델의 내부 추론 정보를 추출하도록 시도했다.
이를 Red Teaming(적대적 안전성 시험)이라고 한다.
시스템의 약점과 보안 취약점을 찾기 위해 실제 공격과 유사한 시도를 수행하는 평가 방법이다.
대표적인 결과는 다음과 같다.
| 공격 유형 | 기존 GPT-6 Astra | GPT-6.2 Astra |
|---|---|---|
| 이전 요청의 비공개 추론 추출 | 54.0% | 0.2% |
| 현재 요청의 비공개 추론 추출 | 22.9% | 0.9% |
ASR(Attack Success Rate, 공격 성공률)은 평가한 공격 가운데 실제 목표를 달성한 비율이다.
두 평가에서 공격 성공률이 크게 감소했다.
하지만 이는 OpenAI가 수행한 적응형 블랙박스 평가 결과다.
블랙박스 평가(Black-Box Evaluation)는 평가자가 시스템의 내부 구현을 직접 보지 않고 외부에서 사용할 수 있는 인터페이스로 공격하는 방식이다.
따라서 해당 수치가 모든 종류의 공격을 포함한다고 판단해서는 안 된다.
또한 비교 대상 모델 자체가 다르므로 실제 모든 개선 효과를 특정한 하나의 안전장치에만 귀속할 수는 없다.
OpenAI는 GPT-6.2의 방어 기능을 기존 Astra에도 일부 적용하고 있다고 밝혔다.
요청 수준과 계정 네트워크 수준의 방어
OpenAI는 두 종류의 방어 체계를 사용한다고 설명한다.
첫 번째는 개별 요청 수준의 검사다.
예를 들어 사용자가 모델의 비공개 추론을 직접 출력하도록 요청할 수 있다.
모델은 이런 요청을 거부하도록 학습할 수 있다.
또한 입력과 출력에 별도의 분류기를 적용할 수 있다.
분류기(Classifier)는 입력된 자료가 정해진 범주에 해당하는지 판단하는 모델 또는 프로그램이다.
예를 들어 실제 출력에 내부 추론 내용이 포함돼 있는지 검사할 수 있다.
OpenAI는 일반적인 최종 답변뿐 아니라 도구 호출에 전달되는 인수도 검사한다고 밝혔다.
두 번째는 여러 계정에 걸친 대규모 공격 탐지다.
예를 들어 한 사람이 여러 계정을 이용해 조금씩 다른 요청을 반복할 수 있다.
이 경우 개별 요청만 보면 정상적인 사용과 구분하기 어려울 수 있다.
하지만 여러 계정의 요청 패턴을 함께 분석하면 조직적인 정보 추출 시도를 발견할 가능성이 있다.
OpenAI는 이런 공격을 탐지한 뒤 관련 계정에 제한을 적용한다고 설명했다.
API에서 이전 추론 상태의 재사용 제한
이번 글에는 모델 API의 내부 추론 관리에 관한 내용도 포함돼 있다.
예를 들어 모델이 이전 요청에서 생성한 추론 정보를 암호화된 상태로 보관할 수 있다.
이후 새로운 요청에서 해당 정보를 재사용하면 이전 작업의 맥락을 유지하는 데 도움이 될 수 있다.
하지만 이런 정보가 다른 사용자나 다른 모델에 전달된다면 보안 문제가 발생할 수 있다.
OpenAI는 이를 줄이기 위해 GPT-6.2 Astra와 Sol의 비공개 추론을 원래 대화 기록과 연결하도록 설계했다고 설명한다.
예를 들어 이전 메시지가 수정되면 해당 메시지 이후에 생성된 비공개 추론은 더 이상 재사용하지 않도록 만든다.
또한 상대적으로 약한 보호 기능을 가진 구형 모델이 새로운 모델의 비공개 추론을 읽지 못하도록 제한한다.
이렇게 하면 추론 정보를 다른 대화나 모델로 전달하는 과정에서 발생할 수 있는 유출 위험을 줄일 수 있다.
증류 제한과 기술 발전 사이의 논쟁
이번 글은 안전성 문제뿐 아니라 AI 산업의 기술 경쟁과도 연결된다.
지식 증류는 작은 모델을 개발하고 비용을 낮추는 데 유용한 기술이다.
또한 공개 모델의 발전에 기여할 수 있다.
반면 특정 기업의 비공개 모델을 무단으로 복제하거나 안전장치를 제거하는 방식에는 지식재산권과 보안 문제가 발생할 수 있다.
따라서 실제 논의에서는 정상적인 모델 학습과 무단 복제, 안전장치를 제거한 고위험 능력의 이전을 구분해야 한다.
OpenAI는 더 강력한 안전장치와 기업 간 정보 공유, 무단 증류에 대한 법적 대응이 필요하다는 입장을 제시했다.
다만 그 입장은 OpenAI의 기술적·상업적 이해관계와도 관련돼 있다.
따라서 새로운 규제의 적절성을 평가하려면 모델의 안전성뿐 아니라 연구와 경쟁, 오픈소스 생태계에 미칠 영향도 함께 고려해야 한다.
이번 글은 AI 모델의 안전성을 유지하는 일이 모델 자체의 출력 제한뿐 아니라 API의 상태 관리와 실제 사용 패턴의 분석, 여러 모델 제공업체 사이의 보안 협력까지 포함하는 문제로 발전하고 있음을 보여준다.