AI 데일리 브리핑 — 2026-11-22
Soshy··조회수 —

기준 시점: 2026-11-22 06:00 KST (Asia/Seoul)
AI 동향 조사 범위: 2026-11-21 06:00 ~ 2026-11-22 06:00 KST
추천 글 범위: 2026-11-15 06:00 ~ 2026-11-22 06:00 KST
1️⃣ 주요 모델·연구
Lean·Mathlib 공동체, Claude가 참여한 ‘리만 가설’ 형식 증명에 대한 독립 검증 완료 발표…1,700만 줄의 증명 코드 확인
- 발표일: 2026-11-21 — 정확한 게시 시각 미확인
- 적용 범위: AI 수학 연구, 형식 증명, 정리 증명기, Anthropic Claude, 수론, AI 연구 검증, 과학적 발견
- 원문: Lean Community — Lean verification of the Riemann Hypothesis
Lean과 Mathlib 공동체가 수학자 Levent Alpöge가 공개한 리만 가설(Riemann Hypothesis)의 형식 증명을 독립적으로 검증했다고 공식 발표했다.
이번 발표는 새로운 AI 모델의 출시가 아니다.
또한 리만 가설의 증명을 처음 공개한 사건도 아니다.
Alpöge는 11월 20일 Anthropic의 Claude와 협력해 리만 가설의 증명을 발견했다고 발표했다.
11월 21일의 새로운 변화는 해당 증명을 작성한 연구자와 별개로, Lean과 Mathlib 공동체가 실제 증명 코드와 증명 대상의 일치 여부를 검사하고 공식적인 검증 결과를 발표했다는 점이다.
이번 공동 성명은 Lean FRO와 Mathlib Initiative의 지지를 받았다.
공동체는 증명의 정확성에 대해 높은 확신을 가지고 있다고 밝혔으며, 리만 가설을 올바르게 표현한 수학적 명제가 실제로 증명됐다는 사실을 인증했다.
다만 이 결과를 이해하려면 컴퓨터가 검증한 형식 증명과 수학계의 최종적인 학술적 인정, 클레이 수학연구소의 밀레니엄 문제 해결 인정은 서로 다른 절차라는 점을 구분해야 한다.
리만 가설은 무엇인가
리만 가설은 1859년 수학자 베른하르트 리만이 제시한 문제다.
이 문제는 자연수 가운데 1과 자기 자신으로만 나누어지는 수인 소수(Prime Number)의 분포와 깊은 관계가 있다.
예를 들어 2, 3, 5, 7, 11, 13은 모두 소수다.
소수는 수가 커질수록 상대적으로 드물게 등장하지만, 정확히 어디에 등장하는지는 단순한 규칙으로 설명하기 어렵다.
수학자들은 소수의 분포를 연구하기 위해 리만 제타 함수(Riemann Zeta Function)를 사용한다.
이 함수는 복소수를 입력으로 받는 함수다.
복소수(Complex Number)는 일반적인 실수에 허수 단위를 결합한 수다.
예를 들어 3 + 2i와 같은 형태로 표현할 수 있다.
리만 제타 함수가 0이 되는 특정한 복소수를 함수의 영점(Zero)이라고 한다.
리만 가설은 이 가운데 비자명한 영점들의 실수부가 모두 정확히 1/2이라는 주장이다.
수학적으로는 다음과 같이 표현할 수 있다.
ζ(s) = 0인 모든 비자명한 영점 s에 대해 Re(s) = 1/2
여기서 Re(s)는 복소수 s의 실수부를 의미한다.
리만 가설이 중요한 이유는 이 영점들의 위치가 소수의 분포를 얼마나 정확하게 이해할 수 있는지와 연결되기 때문이다.
리만 가설은 클레이 수학연구소의 밀레니엄 문제(Millennium Prize Problems) 일곱 개 가운데 하나다.
이 문제의 해결에는 100만 달러의 상금이 걸려 있다.
하지만 실제 상금 인정에는 엄격한 별도 절차가 존재한다.
1,700만 줄의 Lean 증명 코드
Alpöge가 공개한 증명은 일반적인 수학 논문과 다른 형식이다.
통상적인 수학 논문에서는 연구자가 정의와 정리, 증명의 과정을 자연어와 수식으로 설명한다.
다른 수학자들이 이를 읽고 논리적인 오류가 존재하는지 검토한다.
반면 이번 증명은 Lean이라는 형식 증명 시스템으로 작성됐다.
Lean은 수학적 명제와 증명의 각 단계를 컴퓨터가 엄격한 논리 규칙에 따라 검사할 수 있도록 하는 프로그램이다.
이를 형식 검증(Formal Verification)이라고 한다.
예를 들어 어떤 수학자가 새로운 정리를 증명했다고 주장할 수 있다.
하지만 실제 증명 과정에 필요한 가정이 빠졌을 수도 있다.
또는 앞선 단계에서 다음 결론이 논리적으로 따라오지 않을 수도 있다.
Lean은 이러한 논리적 관계를 컴퓨터가 검사하도록 만든다.
이번 증명의 규모는 다음과 같다.
| 항목 | 공개된 내용 |
|---|---|
| 최초 공개 | 2026년 11월 20일 |
| 공식 독립 검증 성명 | 2026년 11월 21일 |
| 증명 코드 | 약 1,700만 줄 |
| 증명 검증 도구 | Lean 및 독립 검증 프로그램 |
| 기본 수학 라이브러리 | Mathlib |
| 검증 대상 | 리만 가설의 수학적 명제 |
Mathlib는 Lean에서 사용하는 대규모 수학 라이브러리다.
기본적인 수학 개념과 이미 검증된 여러 정리, 관련 정의가 포함돼 있다.
이번 증명은 Mathlib를 직접적인 의존성으로 사용한다.
즉 증명을 검증하는 데 임의의 외부 프로그램이 생성한 결과를 새로운 수학적 공리처럼 추가하지 않았다는 점이 중요하다.
무엇을 어떻게 검증했는가
Lean과 Mathlib 공동체는 네 가지 기준을 검사했다고 밝혔다.
첫 번째는 증명하려는 수학적 명제가 실제 리만 가설과 일치하는가라는 문제다.
예를 들어 컴퓨터가 어떤 명제의 증명을 완료했다고 가정해 보자.
하지만 그 명제가 실제로 증명하려던 문제와 조금 다르다면 원래 문제를 해결했다고 볼 수 없다.
따라서 단순히 코드가 컴파일되는지 확인하는 것으로는 충분하지 않다.
공동체는 Mathlib에 정의된 RiemannHypothesis와 Alpöge의 증명에서 실제로 사용한 명제가 일치하는지 검사했다.
두 개의 독립적인 비교 도구를 이용해 같은 명제를 증명한다는 결과를 확인했다고 밝혔다.
두 번째는 전체 증명 코드가 정상적으로 컴파일되는가라는 문제다.
공동체에 따르면 여러 연구자가 독립적인 환경에서 실제 증명 코드를 컴파일했다.
수십 명의 검증자가 오류 없이 컴파일에 성공했고 동일한 원시 증명 자료를 생성했다고 보고했다.
세 번째는 실제로 증명한 명제가 의도한 명제와 같은가라는 문제다.
이는 첫 번째 검사의 단순한 반복이 아니다.
실제 증명 파일에서 다른 정의나 가정이 사용돼 원래 의도와 다른 명제가 증명되는 상황을 배제하기 위한 검사다.
네 번째는 증명 자체가 논리 규칙에 따라 유효한가라는 문제다.
공동체는 Lean의 공식 증명 검사기뿐 아니라 여러 독립적인 프로그램을 사용했다.
대표적으로 con-leche와 con-ron 등의 검사기가 포함됐다.
또한 일부 검증 프로그램은 서로 다른 프로그래밍 언어로 작성됐다.
이렇게 하면 하나의 증명 검사기에 존재할 수 있는 구현 오류가 모든 검증 결과에 똑같이 영향을 주는 위험을 줄일 수 있다.
형식 증명도 실제 명제와의 일치 검사가 중요하다
이번 발표에서 특히 중요한 부분은 단순히 Lean이 증명을 받아들였다는 사실만 공개하지 않았다는 점이다.
실제 검증 대상과 수학적 명제의 일치 여부를 별도로 확인했다.
예를 들어 프로그램의 테스트가 모두 통과했다고 가정해 보자.
하지만 테스트가 실제 제품의 요구사항을 잘못 표현하고 있다면 프로그램은 여전히 잘못된 결과를 제공할 수 있다.
형식 증명에서도 비슷한 문제가 발생할 수 있다.
따라서 다음 두 가지를 모두 확인해야 한다.
- 컴퓨터가 작성된 명제를 논리적으로 증명했는가?
- 작성된 명제가 실제로 해결하려던 문제를 정확하게 표현하는가?
Lean 공동체는 이번에 두 가지를 모두 검증했다고 밝혔다.
이는 일반적인 AI 생성 수학 결과보다 훨씬 강한 검증 근거다.
다만 이런 기계적 검증이 증명에 사용된 새로운 수학적 아이디어를 인간이 모두 이해했다는 의미는 아니다.
컴퓨터가 검증했는데 왜 수학계의 추가 검토가 필요한가
이번 증명은 약 1,700만 줄의 코드로 구성돼 있다.
이 정도 규모의 증명을 사람이 처음부터 끝까지 일반적인 논문처럼 읽고 이해하기는 매우 어렵다.
Lean의 형식 증명은 논리적인 정확성을 검사하는 데 강력한 도구다.
하지만 수학계에서는 증명의 정확성뿐 아니라 새로운 수학적 원리와 기존 이론 사이의 관계를 이해하는 과정도 중요하다.
예를 들어 어떤 정리가 참이라는 사실을 확인했다고 가정해 보자.
이후 수학자들은 다음과 같은 질문을 연구할 수 있다.
- 실제 증명의 핵심적인 아이디어는 무엇인가?
- 어떤 새로운 수학적 개념이 사용됐는가?
- 기존 이론에서 어떤 부분을 개선했는가?
- 비슷한 구조를 다른 문제에도 적용할 수 있는가?
- 훨씬 짧고 이해하기 쉬운 증명으로 정리할 수 있는가?
실제로 Lean 공동체도 새로운 증명에서 사용한 수학적 아이디어를 설명하는 후속 연구가 이어질 것으로 기대한다고 밝혔다.
또한 클레이 수학연구소의 밀레니엄 문제 해결 인정에는 별도의 조건이 존재한다.
일반적으로 적격 학술 매체에 증명이 출판돼야 하고, 출판 이후 최소 2년이 지나야 하며, 국제 수학계에서 널리 인정받아야 한다.
따라서 이번 형식 검증을 클레이 수학연구소의 공식적인 최종 인정이나 상금 수여와 동일하게 취급해서는 안 된다.
Claude의 역할과 인간 연구자의 역할
이번 증명은 Anthropic 소속 수학자 Levent Alpöge가 Claude와 협력해 개발했다고 설명한 결과다.
하지만 이 표현을 Claude가 인간의 지시와 검토 없이 처음부터 끝까지 독립적으로 리만 가설을 해결했다는 의미로 해석해서는 안 된다.
실제 연구에는 문제의 설정과 수학적 접근의 선택, 결과의 검토와 검증 환경을 구성하는 과정이 포함된다.
또한 모델이 어떤 아이디어를 어느 단계에서 생성했고 인간 연구자가 어떤 부분을 수정했는지에 대한 세부적인 연구 기록은 별도로 검토할 필요가 있다.
이번 발표에서 독립적으로 확인된 것은 형식화된 리만 가설의 증명에 대한 Lean·Mathlib 공동체의 검증 결과다.
이와 별개로 실제 연구의 기여도와 증명의 수학적 해설은 후속 연구 대상이다.
AI 수학 연구의 평가 방식에 생기는 변화
이번 사건은 AI 수학 연구에서 새로운 문제를 제시한다.
기존에는 논문에 작성한 수학적 증명을 인간 전문가가 읽고 검토하는 방식이 중심이었다.
하지만 AI가 매우 긴 형식 증명을 빠르게 생성할 수 있다면 인간이 모든 중간 단계를 읽어 검토하기 어려워질 수 있다.
이런 상황에서는 두 종류의 검증이 중요해진다.
첫 번째는 형식 검증이다.
컴퓨터가 실제 명제의 논리적인 정확성을 확인한다.
두 번째는 수학적 설명과 이해다.
연구자가 증명에서 사용한 핵심적인 아이디어를 이해하고 다른 연구에 활용할 수 있도록 정리한다.
이번 발표는 AI가 수학 연구의 속도를 높이는 과정에서 정답의 논리적 검증과 그 결과를 인간이 이해할 수 있도록 설명하는 작업이 서로 다른 중요한 연구 분야로 분화될 수 있다는 점을 보여준다.
특히 Lean 공동체가 공식적으로 증명 검증을 완료했다고 밝힌 것은 AI가 참여한 수학 연구의 신뢰성을 평가하는 방식에 큰 영향을 줄 수 있는 사건이다.
2️⃣ AI 제품·서비스
이번 조사 범위에서 포함할 만한 주요 신규 발표를 확인하지 못했습니다.
3️⃣ 개발 도구·에이전트
이번 조사 범위에서 포함할 만한 주요 신규 발표를 확인하지 못했습니다.
4️⃣ 산업·정책·안전
국제적십자위원회, 유엔 자율살상무기 규제 협상 실패에 우려 표명…2028년까지 추가 논의하되 법적 구속력은 미확정
- 발표일: 2026-11-21 — 정확한 게시 시각 미확인
- 사건 발생일: 2026-11-21, 유엔 회의의 최종 합의
- 적용 범위: AI 군사 활용, 자율무기, 국제인도법, 유엔 무기 규제, 인간의 통제와 책임, AI 안전정책
- 원문: International Committee of the Red Cross — ICRC renews urgent call for legally binding rules on autonomous weapons
- 관련 원문: United Nations Geneva — Seventh Review Conference of the Convention on Certain Conventional Weapons
- 원문 보도: Reuters — States agree to UN talks aiming to regulate 'killer robots' by 2028
국제적십자위원회(ICRC)가 11월 21일 유엔의 자율무기 관련 국제회의 결과에 우려를 표명하는 공식 성명을 발표했다.
이번 회의는 스위스 제네바에서 진행된 특정재래식무기금지협약(CCW)의 제7차 평가회의다.
11월 16일부터 20일까지 예정된 회의는 마지막 협상이 밤을 넘기면서 21일 새벽까지 이어졌다.
참여국들은 자율살상무기를 규제하기 위한 논의를 계속하고 2028년까지 새로운 규칙을 마련하는 방향으로 합의했다.
하지만 법적 구속력이 있는 국제조약을 즉시 협상한다는 명확한 위임에는 합의하지 못했다.
ICRC는 여러 국가가 국제적인 규제의 필요성에 공감하고 있음에도 이번 회의에서 실질적인 협상 개시가 이뤄지지 않은 점을 비판했다.
자율살상무기는 무엇인가
자율무기시스템(Autonomous Weapon System)은 일정한 조건에서 사람의 개별적인 지시 없이 목표물을 선택하거나 공격할 수 있는 무기체계를 의미한다.
모든 자동화된 무기가 동일한 수준의 자율성을 가지는 것은 아니다.
예를 들어 어떤 시스템은 사람이 목표를 직접 선택한 뒤 무기가 자동으로 추적하도록 만들 수 있다.
반면 더 높은 수준의 자율성을 가진 시스템은 센서로 주변 환경을 분석하고 공격할 목표를 스스로 선택할 수 있다.
최근에는 AI의 이미지 인식과 객체 추적, 경로 계획 기술이 발전하면서 이런 능력을 구현할 수 있는 범위가 확대되고 있다.
컴퓨터 비전(Computer Vision)은 카메라와 센서에서 얻은 영상 정보를 컴퓨터가 분석하고 이해하도록 만드는 기술이다.
예를 들어 모델은 영상에서 차량과 사람, 건물 등의 물체를 구분할 수 있다.
하지만 실제 군사적 환경에서는 이러한 분류 결과가 잘못될 가능성이 있다.
또한 민간인과 군인, 전투에 참여하지 않는 사람을 구분하는 문제는 단순한 이미지 분류보다 복잡하다.
AI가 사람의 생사를 결정해도 되는가
이번 국제회의에서 중요한 쟁점 가운데 하나는 인간의 의미 있는 통제(Meaningful Human Control)다.
인간의 의미 있는 통제는 무기가 실제로 공격 대상을 선택하고 무력을 사용할 때 사람이 적절한 판단과 감독을 유지해야 한다는 원칙과 관련된다.
예를 들어 AI가 특정한 차량을 군사적 목표라고 판단할 수 있다.
하지만 해당 차량이 실제로 민간인의 차량일 수도 있다.
또는 이전에는 군사적으로 중요한 대상이었지만 현재는 공격해서는 안 되는 상황일 수 있다.
이런 경우 실제 공격의 정당성을 판단하려면 단순히 물체의 형태를 식별하는 것만으로 충분하지 않다.
국제인도법에 따른 판단이 필요하다.
국제인도법(International Humanitarian Law)은 무력충돌에서 민간인과 전투에 참여하는 사람, 공격 방법과 수단을 규율하는 국제법이다.
대표적인 원칙에는 다음이 포함된다.
| 원칙 | 의미 |
|---|---|
| 구별 원칙 | 민간인과 군사적 목표를 구분해야 함 |
| 비례성 원칙 | 예상되는 민간 피해가 기대되는 구체적·직접적 군사적 이익에 비해 과도해서는 안 됨 |
| 예방조치 | 공격 전에 민간인 피해를 줄이기 위한 실현 가능한 조치를 취해야 함 |
| 인간의 책임 | 무력 사용에 관한 법적 책임을 인간의 판단과 통제로 유지해야 함 |
문제는 실제 AI 시스템이 이러한 원칙을 모든 상황에서 신뢰할 수 있게 판단할 수 있는지 명확하지 않다는 점이다.
특히 학습 데이터에 포함되지 않았던 새로운 전장 환경에서는 모델의 판단이 달라질 수 있다.
또한 실제 무력 사용에는 군사적 상황과 정보의 불확실성, 인간의 책임과 법적 검토가 함께 필요하다.
이번 회의에서 실제로 합의한 내용
이번 회의에서 참여국들은 자율무기 규제에 관한 논의를 중단하지는 않았다.
Reuters에 따르면 참여국들은 향후 2년 동안 추가적인 논의를 진행해 새로운 규칙을 마련하는 방향으로 타협했다.
하지만 해당 규칙이 실제로 법적 구속력이 있는 국제조약이 될지는 확정하지 않았다.
이 차이는 중요하다.
법적 구속력이 있는 국제조약은 실제로 가입한 국가에 법적 의무를 부과할 수 있다.
반면 자발적인 지침이나 권고는 국가가 따르도록 권장할 수 있지만 동일한 수준의 법적 강제력을 가지지는 않는다.
이번 회의의 결과를 다음처럼 구분할 수 있다.
| 쟁점 | 결과 |
|---|---|
| 자율무기 규제의 필요성 | 다수 국가가 인정 |
| 추가적인 국제 논의 | 계속 진행하기로 합의 |
| 2028년까지 규칙 마련을 위한 논의 | 추진 방향에 합의 |
| 즉각적인 구속력 있는 조약 협상 | 합의 실패 |
| 새로운 국제적인 자율무기 금지조약 | 채택되지 않음 |
따라서 2028년까지 반드시 국제적인 금지조약이 체결된다고 설명하는 것은 정확하지 않다.
실제로 어떤 규칙을 만들고 법적 구속력을 부여할지는 향후 협상 결과에 따라 달라진다.
국가별 입장이 다른 이유
Reuters에 따르면 약 100개 국가가 비교적 빠른 법적 규제의 추진을 지지했다.
하지만 미국과 러시아, 이스라엘 등 주요 군사기술 보유국은 이와 다른 입장을 보였다.
이들 국가는 즉각적인 국제조약보다는 국가별 지침이나 자율적인 관리 방식을 선호했다.
이러한 차이는 군사기술의 개발과 실제 전장 활용, 국제적인 규제의 필요성에 관한 판단이 서로 다르기 때문에 발생한다.
규제를 지지하는 국가와 시민사회단체는 인간의 감독이 불충분한 무기가 실제 민간인 피해를 증가시킬 수 있다고 우려한다.
또한 무기가 예상하지 못한 상황에서 공격을 수행했을 때 누구에게 책임을 물을지 불명확해질 수 있다는 점을 지적한다.
반면 즉각적인 국제조약에 신중한 국가들은 자율기술의 범위가 매우 넓고 실제 군사적 활용 방식도 다양하다는 점을 강조한다.
예를 들어 자동화된 방어 시스템과 공격 대상을 스스로 결정하는 무기를 모두 같은 규칙으로 다룰 수 있는지 문제가 될 수 있다.
또한 국제적인 금지 규정을 실제로 검증하고 이행하도록 만드는 문제도 존재한다.
따라서 논쟁은 단순히 AI 무기를 허용할지 금지할지의 문제가 아니다.
어떤 종류의 자율성을 가진 무기를 어떤 조건에서 제한하고, 실제 법적 책임과 검증 체계를 어떻게 구성할 것인가라는 문제와 연결된다.
유엔 협약의 합의 방식도 영향을 미침
특정재래식무기금지협약은 현재 128개 당사국을 가진 국제협약이다.
이 협약은 지나친 상해나 무차별적인 피해를 일으킬 수 있는 특정 무기의 사용을 금지하거나 제한하는 역할을 한다.
예를 들어 일부 종류의 지뢰와 소이무기, 실명 레이저 무기 등에 관한 규정이 존재한다.
CCW에서는 국가 간의 합의가 중요한 역할을 한다.
문제는 일부 국가가 강하게 반대하면 구속력 있는 새로운 규칙을 마련하기 어려워질 수 있다는 점이다.
이번 협상에서도 러시아 등의 반대가 최종 결과에 영향을 주었다.
ICRC는 협상 과정에서 다수 국가가 규제의 필요성에 공감했음에도 명확한 법적 협상 위임을 확보하지 못했다고 설명했다.
다만 ICRC의 공식 성명은 인도주의적 관점에서 작성된 자료다.
따라서 각국이 실제로 어떤 문구를 제안하고 반대했는지에 관한 세부 사항은 유엔의 최종 회의 문서와 후속 기록을 통해 확인할 필요가 있다.
ICRC가 요구하는 구체적인 규제
ICRC는 자율무기에 관한 새로운 국제조약이 두 가지 종류의 규정을 포함해야 한다고 주장한다.
첫 번째는 특정한 유형의 자율무기를 금지하는 것이다.
예를 들어 실제로 어떤 목표를 공격할지 예측하기 어려운 무기나 사람을 직접 공격 대상으로 선택하는 자율무기를 제한해야 한다는 입장이다.
두 번째는 금지 대상에 해당하지 않는 다른 자율무기도 실제 사용 조건을 엄격하게 관리해야 한다는 것이다.
예를 들어 사용 가능한 환경과 공격 대상을 제한하거나 실제 운용 과정에 인간의 감독을 유지하도록 요구하는 방식을 생각할 수 있다.
ICRC는 이런 구체적인 규정을 법적으로 구속력 있는 국제조약에 포함해야 한다고 주장한다.
하지만 이러한 요구가 이번 회의에서 공식적인 국제법으로 채택된 것은 아니다.
AI 안전 규제가 실제 군사적 행동으로 확대
이번 사건은 AI 안전 정책의 적용 범위가 얼마나 넓어지고 있는지 보여준다.
일반적인 AI 안전 논의에서는 챗봇이 잘못된 정보를 생성하거나 개인정보를 유출하는 문제를 다룰 수 있다.
하지만 실제 군사적 시스템에서는 AI의 판단이 직접적인 물리적 피해로 이어질 수 있다.
예를 들어 잘못된 이미지 인식이나 목표 선택이 실제 공격에 반영될 수 있다.
따라서 모델의 정확성뿐 아니라 실제 운영환경의 제약과 인간의 감독, 법적 책임을 함께 관리해야 한다.
이번 발표는 AI 시스템에 실제 행동을 맡길 수 있는 범위와 인간이 반드시 유지해야 하는 판단의 영역을 어떻게 정의할 것인가라는 문제에 국제적인 합의가 아직 충분하지 않다는 점을 보여준다.
향후 2028년까지의 논의에서는 기술적인 안전성과 국제인도법, 군사적 필요와 국가 간의 신뢰 문제를 함께 해결해야 할 것으로 보인다.
📚 추천 글
Data Contracts
- 저자: Simon Harrer, Arif Wider
- 발행: Martin Fowler
- 게시일: 2026-11-18
- 원문: Martin Fowler — Data Contracts
AI 에이전트가 실제 기업의 데이터를 분석할 때 어떤 정보를 믿어야 할까?
예를 들어 AI에게 여러 데이터베이스의 고객정보를 연결해 새로운 분석 보고서를 만들도록 요청했다고 가정해 보자.
첫 번째 데이터베이스에는 고객 ID가 저장돼 있다.
두 번째 데이터베이스에도 고객 ID라는 이름의 열이 존재한다.
하지만 두 열이 실제로 같은 의미를 가지는지는 알 수 없다.
또한 어떤 테이블의 금액은 원 단위로 저장돼 있을 수 있다.
다른 테이블에서는 원보다 작은 단위까지 정수로 저장할 수 있다.
AI가 이런 차이를 이해하지 못하고 데이터를 결합하면 실제로 잘못된 분석 결과를 생성할 가능성이 있다.
이번 글은 이런 문제를 해결하기 위한 Data Contract(데이터 계약)을 자세하게 설명한다.
특히 일반적인 데이터 엔지니어링의 관점뿐 아니라 AI 에이전트가 실제로 신뢰할 수 있는 데이터를 발견하고 사용하기 위한 기술적 기반이라는 새로운 관점을 제시한다.
데이터 계약은 데이터베이스의 스키마보다 넓은 개념
일반적인 데이터베이스에는 테이블의 구조가 정의돼 있다.
이를 스키마(Schema)라고 한다.
예를 들어 고객 테이블에는 다음과 같은 열이 존재할 수 있다.
| 열 | 데이터 유형 | 실제 의미 |
|---|---|---|
customer_id | 문자열 | 고객의 고유 식별자 |
customer_name | 문자열 | 고객 이름 |
annual_premium | 정수 | 연간 보험료 |
customer_status | 문자열 | 고객 계약 상태 |
하지만 스키마가 존재한다는 사실만으로 실제 데이터의 의미를 충분히 이해할 수 있는 것은 아니다.
예를 들어 annual_premium이라는 열이 있다고 가정해 보자.
이 열의 값이 1,000,000이라면 실제로 100만 원인지, 1만 원을 작은 단위로 저장한 것인지 알기 어려울 수 있다.
또한 고객 상태를 나타내는 값이 active와 cancelled 가운데 하나인지, 다른 값도 존재할 수 있는지 확인해야 한다.
데이터 계약은 이런 정보를 명확하게 기록한다.
실제 데이터의 구조와 의미뿐 아니라 품질과 접근권한, 갱신 주기와 이용 조건까지 포함할 수 있다.
Open Data Contract Standard를 사용
이번 글은 ODCS(Open Data Contract Standard)를 중심으로 설명한다.
ODCS는 Linux Foundation의 Bitol 프로젝트에서 관리하는 공개 표준이다.
이 표준은 데이터의 구조와 사용 조건을 YAML 형태로 표현하도록 지원한다.
YAML은 사람이 비교적 쉽게 읽고 수정할 수 있는 구조화된 데이터 형식이다.
예를 들어 데이터 계약에는 다음 정보를 기록할 수 있다.
| 정보 | 주요 내용 |
|---|---|
| Schema | 실제 테이블과 열의 구조 |
| Data Quality | 데이터의 정확성과 품질 조건 |
| Owner | 실제 데이터를 관리하는 팀 |
| SLA | 데이터 갱신과 제공 조건 |
| Security | 접근 가능한 사용자와 권한 |
| Usage | 실제 허용되는 사용 목적 |
| AI Context | AI 에이전트가 데이터 사용 시 참고할 지침 |
SLA(Service Level Agreement)는 서비스 제공자가 유지하기로 약속한 서비스 수준을 의미한다.
예를 들어 어떤 데이터베이스의 고객정보는 24시간 이내에 갱신돼야 할 수 있다.
이런 조건을 계약에 기록하면 실제 데이터가 해당 조건을 만족하는지 자동으로 검사할 수 있다.
데이터 품질 규칙을 실제 프로그램으로 검증
이번 글에서 중요한 부분은 데이터 계약이 단순한 설명문이 아니라는 점이다.
실제로 검사할 수 있는 품질 규칙을 포함한다.
예를 들어 고객 이름이 비어 있는 행의 비율이 1% 미만이어야 한다고 정의할 수 있다.
이 경우 데이터 계약에는 실제 SQL 검사문을 포함할 수 있다.
SQL(Structured Query Language)은 관계형 데이터베이스에서 자료를 조회하고 변경하는 데 사용하는 언어다.
시스템은 해당 SQL을 실행한 뒤 실제 빈 값의 비율을 계산한다.
이후 비율이 1% 이상이면 계약의 품질 조건을 만족하지 못했다고 판단한다.
또한 전체 데이터의 수가 최소 10만 행 이상이어야 한다는 규칙을 설정할 수도 있다.
이렇게 하면 데이터의 구조가 올바르더라도 실제 내용에 문제가 발생하는 상황을 발견할 수 있다.
하지만 품질 검사를 통과했다는 사실만으로 모든 데이터가 실제 현실을 정확하게 반영한다는 의미는 아니다.
예를 들어 고객의 이름이 비어 있지 않더라도 실제로 잘못된 이름이 저장돼 있을 수 있기 때문이다.
따라서 검증 가능한 데이터 품질 규칙은 실제 데이터의 신뢰성을 높이는 하나의 방법이다.
AI 에이전트에게 별도의 사용 지침 제공
이번 글에서 가장 흥미로운 부분은 ODCS에 포함된 AI Context다.
AI Context는 데이터의 실제 의미와 사용 제약을 AI 에이전트에게 전달하기 위한 정보다.
예를 들어 보험회사의 고객 데이터에 다음 조건을 기록할 수 있다.
첫 번째는 연간 보험료가 작은 화폐 단위로 저장돼 있으므로 실제 보고서에 사용할 때 100으로 나누어야 한다는 것이다.
두 번째는 해당 자료를 전체 고객의 통계 분석에는 사용할 수 있지만 개별 고객의 보험료를 결정하는 데 사용해서는 안 된다는 것이다.
세 번째는 자주 사용하는 질문에 대해 이미 검증된 SQL을 제공하는 것이다.
예를 들어 현재 활성 상태인 고객 수를 계산하려면 어떤 열과 조건을 사용해야 하는지 명시할 수 있다.
이렇게 하면 에이전트가 매번 데이터의 의미를 추측할 필요를 줄일 수 있다.
하지만 AI Context에 사용 제한을 문장으로 작성했다는 사실만으로 실제 접근권한이 기술적으로 강제된다는 의미는 아니다.
중요한 개인정보와 데이터에 대한 접근은 실제 인증 시스템에서도 제한해야 한다.
접근 허가와 데이터 계약은 다른 개념
이번 글은 데이터 계약과 접근 동의(Access Agreement)를 구분한다.
데이터 계약은 데이터 제공자가 해당 데이터에 관해 어떤 조건을 보장하는지 설명한다.
반면 접근 동의는 특정한 사용자가 어떤 목적으로 해당 데이터에 접근할 수 있는지 정의한다.
예를 들어 AI 에이전트가 고객 데이터를 분석하려 한다고 가정해 보자.
데이터 계약에는 고객정보의 구조와 품질, 사용 조건이 기록돼 있다.
하지만 해당 에이전트가 실제로 고객정보를 읽을 권한을 가진 것은 아니다.
에이전트는 접근을 요청해야 한다.
이후 관리자가 승인하면 정해진 기간 동안 관련 데이터에 접근할 수 있다.
예를 들어 5분 동안만 사용할 수 있는 임시 접근권한을 제공할 수도 있다.
이는 실제 에이전트가 필요 이상으로 오랫동안 개인정보에 접근하는 위험을 줄이는 데 도움이 될 수 있다.
데이터 계약을 Git과 CI/CD에 포함
저자들은 데이터 계약을 실제 소스코드와 함께 Git 저장소에서 관리하도록 권장한다.
Git은 파일의 변경 이력과 여러 개발자의 작업을 관리하는 버전 관리 시스템이다.
CI/CD(Continuous Integration/Continuous Delivery)는 코드 변경 이후 자동으로 테스트하고 배포하는 개발 과정이다.
예를 들어 개발자가 데이터베이스의 특정 열 이름을 변경했다고 가정해 보자.
기존의 분석 프로그램은 해당 열 이름을 사용하고 있을 수 있다.
따라서 열 이름이 변경되면 실제 분석 서비스에 문제가 발생할 수 있다.
이 경우 데이터 계약의 테스트가 실패하도록 만들 수 있다.
그 결과 개발자는 실제 배포 전에 다른 프로그램이 영향을 받을 가능성을 확인할 수 있다.
이런 방식을 Contract Testing(계약 테스트)이라고 한다.
실제 제공되는 데이터가 사전에 정의된 조건을 만족하는지 검사하는 방법이다.
이번 글은 API의 설계와 버전 관리에 사용하던 원칙을 데이터에도 적용하는 것이 중요하다고 설명한다.
AI 시대의 데이터 인프라
이번 글에서 중요한 관점은 AI 에이전트가 실제로 데이터를 사용할 때 사람과 다른 행동을 보일 수 있다는 것이다.
예를 들어 사람이 데이터의 의미를 이해하지 못하면 담당자에게 질문할 수 있다.
하지만 에이전트는 불확실한 상황에서도 직접 SQL을 생성해 분석을 진행할 수 있다.
이때 데이터의 의미가 명확하지 않다면 잘못된 결론을 만들 가능성이 있다.
데이터 계약은 이런 문제를 줄이기 위해 실제 데이터에 관한 의미와 품질, 사용조건을 기계가 읽을 수 있는 형태로 명시하는 기술이다.
이번 글은 AI 에이전트를 실제 기업 시스템에 도입하려는 개발자에게 데이터베이스의 스키마 설계와 권한 관리, 데이터 품질 검증이 왜 중요한지 자세하게 설명한다.
특히 AI 모델의 성능을 높이는 것만으로 기업 데이터 분석의 신뢰성을 확보할 수 없다는 점을 이해하는 데 유용하다.
New approach enables physically consistent AI models of chaotic systems
- 저자: David Chandler / MIT 연구진 Sunbochen Tang, Navid Azizan, Themistoklis Sapsis
- 발행: MIT News
- 게시일: 2026-11-20
- 원문: MIT — New approach enables physically consistent AI models of chaotic systems
AI 모델이 실제 기상과 기후, 유체의 움직임을 예측할 때 물리적으로 불가능한 결과를 생성한다면 어떻게 방지할 수 있을까?
이번 글은 MIT 연구진이 개발한 물리적 제약을 직접 강제하는 머신러닝 모델의 기술과 실험 결과를 설명한다.
특히 단순히 물리법칙을 위반한 결과에 불이익을 주는 학습 방식과 달리 실제 추론 과정에서도 물리적인 제약을 반드시 만족하도록 만드는 구조를 제안했다는 점이 중요하다.
혼돈계는 예측하기 어렵지만 아무렇게나 변하지는 않는다
기상과 기후, 유체의 흐름은 매우 복잡한 물리현상이다.
예를 들어 태풍의 이동 경로를 예측할 수 있다.
하지만 실제 대기의 온도와 압력, 습도와 바람이 복잡하게 영향을 주고받는다.
이런 시스템에서는 초기 상태가 조금만 달라져도 시간이 지나면서 매우 다른 결과가 나타날 수 있다.
이를 혼돈계(Chaotic System)라고 한다.
혼돈계는 처음의 작은 차이가 이후의 결과에 크게 영향을 주는 동적 시스템을 의미한다.
하지만 예측이 어렵다는 사실과 실제로 어떤 상태든 발생할 수 있다는 사실은 다르다.
실제 물리현상은 에너지와 질량, 운동량과 같은 여러 물리적 조건의 영향을 받는다.
예를 들어 모델이 실제로 가능하지 않은 수준까지 온도나 유속이 계속 증가하는 결과를 생성한다면 문제가 발생한 것이다.
MIT 연구진은 이런 비현실적인 예측을 제한하는 방법을 개발했다.
기존 방식은 학습 중에만 물리법칙 준수를 유도
기존의 일부 물리 기반 머신러닝 모델에서는 학습 과정에 별도의 손실 함수를 추가한다.
손실 함수(Loss Function)는 모델의 예측과 실제 목표 사이의 차이를 계산하는 함수다.
예를 들어 모델이 물리법칙을 위반하면 손실 점수를 높일 수 있다.
이렇게 하면 모델이 물리법칙을 준수하도록 학습할 가능성이 높아진다.
하지만 여기에는 한계가 있다.
모델이 학습 과정에서 해당 제약을 잘 따랐더라도 실제로 새로운 입력을 처리할 때는 제약을 위반할 수 있다.
이를 Soft Constraint(약한 제약)라고 한다.
모델이 해당 조건을 만족하도록 유도하지만 항상 만족한다고 보장하지는 않는 방식이다.
MIT 연구진은 이를 해결하기 위해 Hard Constraint(강한 제약)를 사용했다.
모델의 출력이 정해진 조건을 만족하도록 실제 계산 구조에서 제한하는 방법이다.
에너지와 비슷한 함수를 학습
연구팀은 먼저 시스템의 상태를 나타내는 새로운 함수를 학습시켰다.
이를 Energy-like Function(에너지 유사 함수)라고 한다.
실제 물리적 에너지와 완전히 동일한 양을 의미하는 것은 아니다.
시스템이 어떤 상태에 있는지 평가하기 위해 사용하는 수학적인 함수다.
예를 들어 특정한 시스템에서 안정적인 상태의 범위를 정의할 수 있다.
이후 모델이 해당 범위를 벗어나려 한다면 에너지 유사 함수의 값이 감소하도록 만들 수 있다.
이렇게 하면 모델이 비현실적인 방향으로 무한히 벗어나는 문제를 줄일 수 있다.
연구팀은 이를 위해 Projection Layer(투영 계층)를 사용했다.
투영 계층은 모델이 생성한 계산 결과를 정해진 조건을 만족하는 영역으로 조정하는 구성요소다.
예를 들어 모델이 특정한 상태의 변화를 예측했다고 가정해 보자.
해당 변화가 물리적으로 허용한 범위를 벗어나려 한다면 투영 계층이 실제 출력 방향을 조정한다.
이렇게 하면 모델이 학습 데이터에 없던 새로운 상태를 처리하더라도 정해진 수학적 조건을 만족하도록 만들 수 있다.
모델의 예측이 무한히 발산하지 않는다는 보장
이번 연구에서 중요한 결과는 유계성(Boundedness)에 관한 수학적 보장이다.
유계성은 시스템의 값이 정해진 범위 안에 유지되는 성질을 의미한다.
예를 들어 AI가 유체의 속도를 예측한다고 가정해 보자.
실제 시스템에서는 속도가 특정한 조건에 따라 제한될 수 있다.
하지만 잘못된 AI 모델은 오차가 누적되면서 속도가 계속 증가하는 결과를 생성할 수 있다.
이를 발산(Divergence)이라고 한다.
MIT 연구진은 학습한 에너지 유사 함수와 투영 계층을 이용해 이런 발산을 제한했다.
특히 정해진 수학적 조건 아래에서는 매우 긴 예측 기간에도 모델의 상태가 제한된 영역 안에 머문다는 보장을 제공한다.
하지만 여기서 중요한 차이가 있다.
예측이 정해진 범위 안에 유지된다는 사실과 실제 미래의 날씨를 정확하게 예측한다는 사실은 다르다.
예를 들어 모델이 실제로 발생할 수 있는 온도 범위 안에서 예측하더라도 어느 날의 실제 기온을 잘못 예측할 수 있다.
따라서 이번 연구의 핵심은 장기 예측의 안정성을 강화한 것이지 혼돈계의 미래를 완벽하게 예측하게 됐다는 의미는 아니다.
실제 여러 물리 시스템에서 시험
MIT 연구진은 단순한 혼돈계부터 고차원적인 물리 시스템까지 여러 대상에 적용했다.
대표적인 예시는 Lorenz-63 시스템이다.
Lorenz-63은 대기의 움직임과 관련된 간단한 수학적 모델로, 혼돈계의 대표적인 예시다.
시스템의 상태를 3차원 공간에 표시하면 나비의 날개와 비슷한 궤적이 나타날 수 있다.
연구진은 기존의 머신러닝 모델이 장기간 실행되는 동안 실제로 가능하지 않은 상태로 벗어나는 현상을 확인했다.
반면 새로운 방법을 적용한 모델은 정해진 범위 안에서 복잡한 움직임을 유지했다.
또한 더 복잡한 고차원 시스템에서도 유사한 효과를 확인했다.
하지만 이번 연구가 실제 전 지구 기후 모델의 모든 문제를 해결한 것은 아니다.
연구팀은 향후 더 큰 실제 기상 모델에 적용하는 연구를 진행할 계획이라고 설명했다.
정확성뿐 아니라 반드시 지켜야 하는 조건
이번 연구의 중요한 관점은 AI 모델의 안전성과 신뢰성을 평가하는 방법이다.
일반적인 머신러닝에서는 모델이 평균적으로 얼마나 좋은 결과를 제공하는지 측정한다.
예를 들어 평균 예측 오차를 계산할 수 있다.
하지만 항공기와 발전소, 물리 시뮬레이션처럼 중요한 분야에서는 평균적인 성능만으로 충분하지 않을 수 있다.
실제로 절대로 발생해서는 안 되는 결과를 제한해야 할 수 있기 때문이다.
이번 연구는 이런 문제를 해결하기 위해 반드시 만족해야 하는 물리적 제약을 모델의 계산 구조에 직접 포함하는 방법을 제안한다.
이는 AI의 신뢰성을 단순히 테스트에서 얼마나 자주 정답을 맞히는가로 평가하는 방식에서 벗어나 특정한 조건을 수학적으로 보장하는 방향으로 확대할 수 있다는 점을 보여준다.
How Google Duplex evolved to also call businesses for you in Gemini
- 저자: Yossi Matias, Yaniv Leviathan, Janet Zhou
- 발행: Google Research
- 게시일: 2026-11-20
- 원문: Google Research — How Google Duplex evolved to also call businesses for you in Gemini
AI가 실제 사람과 전화 통화를 하면서 예약을 진행하려면 어떤 기술이 필요할까?
이번 글은 Google이 2018년 공개한 음성 통화 AI인 Duplex가 현재 Gemini 기반의 개인 AI 에이전트로 발전한 과정을 설명한다.
특히 단순한 음성인식과 음성 생성 기술뿐 아니라 실제 전화 통화에서 상대방이 말하는 도중 끼어들지 않고, 예상하지 못한 질문에 대응하고, 필요한 업무를 완료하는 기술을 함께 설명한다는 점에서 읽어볼 가치가 있다.
전화 통화는 정해진 질문과 답변의 반복이 아니다
예를 들어 사용자가 식당을 예약한다고 가정해 보자.
AI는 식당에 전화를 걸 수 있다.
이후 원하는 날짜와 시간, 인원수를 설명할 수 있다.
하지만 실제 사람은 항상 예상한 순서대로 대답하지 않는다.
예를 들어 식당 직원이 원하는 시간에 예약이 어렵다고 말할 수 있다.
다른 시간에 방문할 수 있는지 질문할 수도 있다.
또는 잠시 전화를 보류하고 다른 직원에게 확인할 수 있다.
AI는 이런 상황을 이해해야 한다.
단순히 상대방이 말한 문장을 텍스트로 변환하는 것만으로 충분하지 않다.
실제 대화의 목표와 현재 진행 상태를 이해해야 한다.
또한 언제 말을 시작하고 언제 기다려야 할지도 결정해야 한다.
처음에는 업무별로 별도의 대화 모델이 필요했다
Google Duplex는 2018년 처음 공개됐다.
당시에는 현재와 같은 대규모 범용 언어모델이 일반적으로 사용되기 전이었다.
따라서 Google은 특정한 업무에 특화된 대화 모델을 만들었다.
예를 들어 식당 예약과 영업시간 확인은 서로 다른 종류의 대화로 취급했다.
식당 예약에는 인원수와 방문 시간에 관한 정보가 필요하다.
반면 영업시간 확인에는 특정 날짜에 실제로 영업하는지 확인하는 작업이 중요하다.
Google은 이런 업무마다 별도의 대화 데이터와 규칙을 사용했다.
이를 Closed-Domain Model(제한된 영역의 모델)이라고 한다.
정해진 종류의 작업과 대화에 특화된 모델을 의미한다.
이 방식은 정해진 업무에서는 높은 안정성을 제공할 수 있었다.
하지만 새로운 업무를 지원하려면 별도의 학습과 프로그램 개발이 필요했다.
초기 생성형 모델과 기존 규칙을 결합
Google은 2022년부터 Duplex에 LaMDA 같은 생성형 언어모델을 적용했다.
생성형 언어모델(Generative Language Model)은 입력을 바탕으로 새로운 문장과 답변을 생성하는 모델이다.
이런 모델은 기존의 정해진 대화 모델보다 다양한 표현을 이해하는 데 유리할 수 있다.
예를 들어 식당 직원이 예약과 직접 관계없는 짧은 설명을 추가할 수 있다.
또는 고객의 요청을 다른 표현으로 다시 확인할 수 있다.
생성형 언어모델은 이런 상황에 더 유연하게 대응할 수 있다.
하지만 초기의 생성형 모델은 실제 응답시간과 정확성에 제한이 있었다.
따라서 Google은 생성형 언어모델과 기존의 대화 상태 관리 프로그램을 함께 사용했다.
이를 Hybrid Architecture(혼합형 아키텍처)라고 한다.
예를 들어 실제 예약 날짜와 시간은 별도의 프로그램이 관리한다.
언어모델은 상대방의 발화를 이해하고 자연스러운 답변을 작성한다.
이렇게 하면 생성형 모델의 유연성을 활용하면서 실제 업무의 중요한 조건은 별도로 관리할 수 있다.
Gemini 기반의 범용 작업으로 확대
최근에는 Gemini를 이용해 별도의 업무별 대화 모델을 모두 개발할 필요를 줄였다.
예를 들어 사용자가 자동차 정비 예약을 요청할 수 있다.
AI는 정비업체를 검색한다.
이후 실제로 전화해 예약 가능한 시간을 확인한다.
또한 사용자의 캘린더를 확인해 일정이 겹치는지 분석할 수 있다.
이런 작업에는 여러 단계의 계획과 도구 호출이 필요하다.
Google은 Gemini를 이용해 대화 이해와 계획, 답변 생성을 통합했다고 설명한다.
이를 통해 기존에 정해진 업무뿐 아니라 새로운 종류의 전화 통화에도 대응할 수 있도록 설계했다.
다만 이 기능이 모든 종류의 실제 전화 통화를 완벽하게 수행할 수 있다는 의미는 아니다.
특히 법률과 의료, 금융처럼 복잡한 판단이 필요한 업무에서는 별도의 제한과 검증이 필요할 수 있다.
실제 전화 통화의 가장 큰 문제는 지연시간
이번 글에서 가장 중요한 기술적 부분은 실시간 대화의 지연시간(Latency)이다.
지연시간은 입력을 받은 뒤 실제 결과를 제공하기까지 걸리는 시간이다.
예를 들어 사람이 전화로 질문했다고 가정해 보자.
AI가 답변을 생성하는 데 너무 오래 걸리면 상대방은 통화가 끊겼다고 생각할 수 있다.
반대로 상대방이 말을 끝내기 전에 AI가 답변을 시작하면 대화가 어색해질 수 있다.
또한 실제 전화 통화에는 여러 종류의 배경 소음이 존재한다.
예를 들어 식당에서는 식기 소리와 커피머신 소리, 주변 사람의 대화가 들릴 수 있다.
이런 환경에서 상대방의 말을 정확하게 이해해야 한다.
Google은 이를 해결하기 위해 실시간 스트리밍 추론과 별도의 음향 모델, 대화의 발화 시점을 조절하는 모델을 함께 사용했다.
스트리밍 추론(Streaming Inference)은 전체 입력이나 출력이 완성될 때까지 기다리지 않고 일부 결과를 순차적으로 처리하는 방식이다.
이렇게 하면 실제 응답을 시작하는 시간을 줄일 수 있다.
상대방이 실제로 거절한 것인지 판단
실제 대화에서는 사람이 직접적으로 거절하지 않을 수 있다.
예를 들어 식당 직원이 특정한 시간의 예약이 어렵다고 완곡하게 설명할 수 있다.
또는 다른 시간을 제안하면서 실제로는 예약이 가능한지 확인해 봐야 한다고 말할 수 있다.
AI는 이런 표현의 실제 의도를 이해해야 한다.
Google은 이를 Pragmatic Grounding(실제 대화 맥락에 기반한 의미 이해)과 연결해 설명한다.
예를 들어 같은 문장이라도 어떤 상황에서 사용됐는지에 따라 의미가 달라질 수 있다.
따라서 모델은 단어의 의미뿐 아니라 실제 대화의 목적과 상대방의 이전 발화를 함께 참고해야 한다.
Google은 약 10년에 걸친 실제 통화 경험을 활용해 이런 상황을 처리하는 능력을 개선했다고 설명한다.
다만 이 기술의 정확성에 관한 새로운 독립적인 정량 평가 결과를 이번 글에서 상세하게 제공하지는 않았다.
따라서 실제 모든 종류의 통화에서 같은 안정성을 보장한다고 판단해서는 안 된다.
전화를 받는 사람도 고려해야 한다
이번 글에서 주목할 부분은 AI를 사용하는 사람뿐 아니라 전화를 받는 실제 업체의 경험도 고려했다는 점이다.
Google은 Duplex가 전화를 시작할 때 자동화된 Google AI 시스템이라는 사실을 알리도록 설계했다.
또한 업체는 자동화된 통화를 받지 않도록 설정할 수 있다.
실제 통화에서 더 이상 자동화된 전화를 받고 싶지 않다고 요청할 수도 있다.
이는 AI가 사람을 대신해 실제 행동을 수행할 때 제3자의 권리와 편의도 고려해야 한다는 점을 보여준다.
또한 Google은 하나의 통화에서 확인한 일부 정보를 다른 사용자에게 제공할 수 있도록 시스템을 구성했다.
예를 들어 특정 업체의 주차 가능 여부나 반려동물 동반 여부를 전화로 확인할 수 있다.
이후 해당 정보가 Google Maps의 업체 정보에 반영될 수 있다.
하지만 업체의 정책과 실제 영업 조건은 시간이 지나면서 변경될 수 있다.
따라서 과거에 확인한 정보를 항상 최신 상태로 유지하려면 별도의 갱신 과정이 필요하다.
이번 글은 AI 음성 에이전트의 성능이 음성을 얼마나 자연스럽게 생성하는가보다 실제 대화의 목적과 맥락을 이해하고, 적절한 시점에 발화하며, 상대방의 의사를 존중하는 방식으로 업무를 완료하는가에 의해 결정된다는 점을 보여준다.
Q&A: Enabling more human-like interactions and understanding in multimodal foundation models
- 저자: Lauren Hinkel / Jim Glass 인터뷰
- 발행: MIT-IBM Computing Research Lab / MIT News
- 게시일: 2026-11-20
- 원문: MIT — Enabling more human-like interactions and understanding in multimodal foundation models
AI가 이미지와 음성을 함께 처리할 수 있다면 실제로 사람처럼 세상을 이해한다고 볼 수 있을까?
이번 글은 MIT와 IBM의 공동 연구진이 멀티모달 AI의 한계를 조사한 여러 연구를 설명한다.
특히 AI가 음성 문제의 정답을 맞혔지만 실제로는 음성을 거의 듣지 않고 답변의 선택지만 분석했다는 실험 결과가 흥미롭다.
이 연구는 모델의 벤치마크 점수가 높다는 사실과 실제로 입력을 이해했다는 사실을 구분해야 한다는 점을 보여준다.
멀티모달 AI의 의미
멀티모달 AI(Multimodal AI)는 텍스트와 이미지, 음성, 영상처럼 서로 다른 형태의 정보를 함께 처리하는 기술이다.
예를 들어 사용자가 새가 우는 소리를 들려줄 수 있다.
이후 어떤 종류의 새가 울고 있는지 질문할 수 있다.
AI는 실제 소리의 특징을 분석해야 한다.
또한 해당 소리와 관련된 언어적 지식도 활용해야 한다.
하지만 이런 작업을 수행하려면 단순히 여러 종류의 입력을 받을 수 있다는 사실만으로 충분하지 않다.
실제로 각 입력 사이의 관계를 이해해야 한다.
예를 들어 새의 사진과 새소리를 함께 제공한다면 해당 소리가 실제 사진 속 새와 관련돼 있는지 분석할 수 있어야 한다.
정답을 맞혔지만 실제 소리를 듣지 않은 모델
MIT-IBM 연구진은 음성 기반 언어모델의 실제 평가 방법에 문제가 존재할 수 있다는 점을 발견했다.
예를 들어 다음과 같은 문제가 있다고 가정해 보자.
어떤 동물의 소리가 녹음됐는지 질문한다.
선택지는 다람쥐와 사자, 악어와 작은 새다.
실제 녹음에서는 사자의 울음소리가 들린다.
그런데 언어모델은 실제 음성을 충분히 분석하지 않아도 사자라는 답을 선택할 가능성이 있다.
예를 들어 질문의 표현이나 선택지의 구성에서 정답을 추측할 수 있기 때문이다.
연구진은 이를 확인하기 위해 실제 음성 대신 무작위 잡음을 제공하는 실험을 수행했다.
놀랍게도 일부 모델은 이런 상황에서도 비교적 높은 점수를 기록했다.
즉 실제로 중요한 음성 정보를 제공하지 않았는데도 정답을 맞히는 경우가 발생했다.
이런 현상은 벤치마크의 편향(Benchmark Bias)과 연결된다.
모델이 실제로 평가하려는 능력 대신 문제의 부수적인 특징을 이용해 높은 점수를 얻는 현상이다.
객관식 평가의 한계
일반적인 AI 평가에서는 객관식 문제를 자주 사용한다.
이 방식은 정답을 자동으로 검사하기 쉽다는 장점이 있다.
예를 들어 모델이 네 개 선택지 가운데 하나를 고르면 실제 정답과 비교할 수 있다.
하지만 실제 사용자의 질문은 항상 객관식으로 제공되지 않는다.
예를 들어 사용자가 주변에서 어떤 소리가 들리는지 설명해 달라고 요청할 수 있다.
이 경우 모델은 실제 음성을 듣고 내용을 설명해야 한다.
정답 선택지의 특징만으로 결과를 추측하기 어렵다.
문제는 이런 자유로운 답변을 평가하는 일이 더 어렵다는 것이다.
예를 들어 서로 다른 문장으로 같은 소리를 설명할 수 있다.
또한 실제 답변이 어느 정도 정확한지 사람이 평가해야 할 수도 있다.
최근에는 다른 언어모델을 평가자로 사용하는 방식도 존재한다.
하지만 평가자 모델도 실제로 오류를 만들 수 있다.
따라서 연구진은 여러 종류의 평가 방식을 함께 사용해야 한다고 설명한다.
익숙하지 않은 이름을 사용해 진짜 시각 이해 확인
이번 인터뷰는 IPLoc이라는 연구도 소개한다.
이 연구는 AI가 실제 이미지 속 특정한 물체를 얼마나 정확하게 찾을 수 있는지 평가한다.
예를 들어 모델에게 비행기를 찾도록 요청한다고 가정해 보자.
모델은 이미 수많은 비행기 사진을 학습했을 수 있다.
따라서 실제로 사용자의 새로운 설명을 충분히 이해하지 않아도 기존 지식을 이용해 답을 찾을 수 있다.
이를 구분하기 위해 연구진은 익숙한 물체 이름을 전혀 다른 이름으로 바꾸는 실험을 수행했다.
예를 들어 비행기를 Elizabeth라고 부르도록 학습시켰다.
이후 이미지에서 Elizabeth를 찾도록 요청한다.
이렇게 하면 모델이 단순히 기존 단어의 의미에만 의존하기 어려워진다.
실제로 제공된 예시와 이미지 사이의 관계를 학습해야 하기 때문이다.
연구진은 이 방법으로 기존 멀티모달 모델의 시각적 위치 추정 능력에 존재하는 한계를 확인했다.
많은 정답 데이터 없이 학습하는 방법
MIT-IBM 연구진은 실제로 사람이 정답을 모두 작성하지 않아도 학습할 수 있는 방법을 연구하고 있다.
예를 들어 하나의 영상과 실제 해당 영상에서 발생한 소리를 제공할 수 있다.
이후 서로 관계없는 영상과 소리도 함께 제공한다.
모델은 실제로 어떤 영상과 소리가 연결되는지 학습하도록 만들 수 있다.
또한 이미지나 음성의 일부를 가린 뒤 해당 부분을 복원하도록 학습할 수 있다.
이를 자기지도학습(Self-Supervised Learning)이라고 한다.
데이터에 존재하는 구조를 이용해 모델이 학습에 필요한 신호를 얻는 방식이다.
예를 들어 영상의 일부 프레임을 가리고 다음 프레임을 예측하도록 만들 수 있다.
이 과정에서 사람이 모든 장면에 별도의 정답 라벨을 작성할 필요를 줄일 수 있다.
하지만 자기지도학습으로 모델이 유용한 표현을 학습했다고 해서 모든 종류의 실제 의미를 정확하게 이해한다는 뜻은 아니다.
동시에 듣고 말하는 Full-Duplex AI
이번 인터뷰에서는 향후 연구 방향도 소개했다.
연구진은 Full-Duplex Spoken Dialogue(전이중 음성 대화) 시스템에 주목하고 있다.
일반적인 음성 AI에서는 사용자가 말을 마친 뒤 AI가 답변하는 방식이 사용될 수 있다.
하지만 실제 사람의 대화는 그렇게 엄격하게 구분되지 않는다.
상대방이 말하는 도중 짧게 반응할 수도 있다.
또는 서로의 말을 잠시 겹치면서 대화할 수도 있다.
전이중 음성 대화는 AI가 말을 하는 동안에도 상대방의 음성을 계속 듣고 반응하도록 만드는 기술이다.
이런 방식은 실제 대화를 더 자연스럽게 만들 가능성이 있다.
하지만 동시에 여러 종류의 문제가 발생한다.
예를 들어 AI는 어떤 소리가 실제 상대방의 목소리인지 구분해야 한다.
또한 언제 자신의 발화를 멈춰야 하는지 결정해야 한다.
이런 문제는 단순한 음성인식과 음성 생성 기능을 따로 연결하는 것보다 복잡하다.
이번 글은 멀티모달 AI의 발전을 평가할 때 모델이 높은 점수를 기록했는가보다 실제로 입력된 이미지와 소리의 정보를 이해해 그 결과를 생성했는지 확인해야 한다는 점을 보여준다.
특히 AI의 실제 이해 능력과 단순한 패턴 기반 정답 추측을 어떻게 구분할 수 있는지 이해하는 데 유용한 자료다.