AI 데일리 브리핑 — 2026-10-19

기준 시점: 2026-10-19 06:00 KST (Asia/Seoul)
AI 동향 조사 범위: 2026-10-18 06:00 ~ 2026-10-19 06:00 KST
추천 글 범위: 2026-10-12 06:00 ~ 2026-10-19 06:00 KST

---

1️⃣ 주요 모델·연구

이번 조사 범위에서 포함할 만한 주요 신규 발표를 확인하지 못했습니다.

---

2️⃣ AI 제품·서비스

이번 조사 범위에서 포함할 만한 주요 신규 발표를 확인하지 못했습니다.

---

3️⃣ 개발 도구·에이전트

이번 조사 범위에서 포함할 만한 주요 신규 발표를 확인하지 못했습니다.

---

4️⃣ 산업·정책·안전

Anthropic, 기업 지분 5%를 공익기금에 배정하는 계획 발표…기업가치 상승에 따라 공익 지분 추가 확대

• 발표일: 2026-10-18 — 정확한 게시 시각 미확인
• 적용 범위: AI 기업 거버넌스, 공익법인, AI 노동시장 영향, AI 안전 연구, 기업의 사회적 책임, 공익기금 운영
• 원문: Anthropic — Investing in the public benefit

Anthropic이 회사 지분의 일부를 공익 목적으로 활용하는 새로운 조직인 Anthropic Public Benefit Fund를 설립한다고 발표했다.

이번 발표의 핵심은 일반적인 기부금이나 단기적인 사회공헌 예산을 배정하는 것이 아니라, 회사의 소유 지분 자체를 공익 목적에 연결하는 구조를 만들었다는 점이다.

Anthropic은 주주 승인을 전제로 회사 전체 주식의 5%를 새 공익기금에 배정할 계획이다.

또한 회사의 가치가 증가하면 공익기금에 배정되는 지분도 추가로 늘릴 수 있도록 설계했다.

다만 이번 발표가 곧바로 전체 지분 이전이 완료됐다는 의미는 아니다. 최초 5% 배정에는 주주 승인이 필요하며, 추가 지분 배정에도 별도의 조건이 적용된다.

AI 기업의 성장과 공익을 연결하는 구조

Anthropic은 PBC(Public Benefit Corporation) 형태의 기업이다.

PBC는 일반적인 영리기업과 마찬가지로 사업을 운영하고 이익을 창출하지만, 기업의 의사결정에서 특정한 공익 목적도 함께 추구하도록 설계된 법인 형태다.

Anthropic은 AI 시스템의 안전성과 해석 가능성에 관한 연구, 생물의학 연구, 비영리기관과 과학 연구기관에 대한 Claude 이용 지원 등을 공익 활동의 사례로 제시했다.

Interpretability(해석 가능성)는 AI 모델이 내부적으로 어떤 정보를 처리하고 어떤 과정을 거쳐 특정한 행동을 하는지 이해하려는 연구 분야다.

그러나 회사 내부에서 수행하는 공익 활동에는 복잡한 문제가 있다.

예를 들어 AI 안전 연구는 사회적으로 유익하면서 동시에 Anthropic의 모델 경쟁력과 사업 가치에도 도움이 될 수 있다.

회사 차원에서 이런 활동을 수행하는 것은 자연스럽지만, 공익 목적의 재원을 기업의 일반적인 사업 운영과 명확하게 구분하기는 어려울 수 있다.

Anthropic은 이를 해결하기 위해 별도의 Public Benefit Fund(공익기금)를 설립하기로 했다.

이 조직은 회사 지분을 보유하고, 그 자산을 공익 목적에 활용할 수 있도록 설계된다.

기존 사업 활동과는 별도로 사회적 문제에 대응할 수 있는 재원을 확보하려는 접근이다.

기업가치가 50% 증가할 때마다 지분 2% 추가 가능

이번 계획에는 공익기금에 배정할 지분이 회사의 성장에 따라 증가할 수 있는 구조가 포함됐다.

Anthropic이 발표한 기본 원칙은 다음과 같다.

여기서 중요한 것은 기업가치가 50% 증가하면 지분 2%가 반드시 자동으로 이전되는 구조는 아니라는 사실이다.

공식 발표에 따르면 추가 배정은 이사회의 재량에 따라 결정된다.

또한 실제 기준으로 사용할 기업가치와 지분 추가 배정의 구체적인 운영 방식은 아직 공개되지 않았다.

Anthropic은 향후 몇 개월 안에 공익기금의 거버넌스와 기업가치 기준을 더 자세하게 설명할 계획이라고 밝혔다.

Governance(거버넌스)는 조직이 중요한 의사결정을 어떤 구조와 절차에 따라 수행하고, 그 결정에 대해 누가 책임지는지를 규정하는 체계다.

공익기금에서는 어떤 사업을 지원할지, 지분을 언제 활용할지, 운영 결과를 어떻게 검증하고 공개할지 등이 중요한 거버넌스 문제가 될 수 있다.

이번 발표는 이러한 기본 방향을 공개한 단계이며, 구체적인 의사결정 구조 전체가 확정된 것은 아니다.

일반적인 비영리재단 대신 LLC를 선택

Anthropic은 공익기금을 회사 전체가 소유하는 LLC(Limited Liability Company, 유한책임회사)로 설립하기로 했다.

이는 미국에서 흔히 사용되는 비영리법인인 501(c)(3) 형태와 다르다.

501(c)(3)은 미국 연방 세법상 일정한 공익 목적을 충족하는 비영리기관에 적용되는 지위다.

일반적으로 교육, 자선, 과학 연구와 같은 공익 활동을 수행하는 조직에서 활용한다.

반면 LLC는 소유권과 운영 구조를 비교적 유연하게 설계할 수 있는 법인 형태다.

Anthropic은 이 구조를 선택한 이유로 서로 다른 종류의 공익 지원 방식을 유연하게 운영할 수 있다는 점을 제시했다.

예를 들어 전통적인 비영리기관에 대규모 기부금을 지급할 수 있다.

또한 특정 사회적 영향을 받는 집단에 직접 자금을 지원하는 방식도 검토할 수 있다.

이는 단순히 특정 연구기관이나 자선단체에 기부하는 것과는 다른 접근이다.

AI 기술이 사회 전체에 미치는 영향에 따라 지원 대상을 변경하거나 새로운 지원 방식을 설계할 수 있도록 하려는 것이다.

다만 LLC라는 법인 형태 자체가 공익적 운영을 보장하는 것은 아니다.

어떤 의사결정 기준을 적용하고 실제 지원 결과를 어떻게 공개하는지에 따라 운영의 투명성과 책임성이 달라질 수 있다.

Anthropic은 공익기금이 보유한 회사 지분을 미국 안팎의 정치적 로비나 정치 기부에 사용하지 않겠다고 명시했다.

이는 공익기금이 정치적인 영향력을 행사하기 위한 수단으로 사용되는 것을 제한하겠다는 약속이다.

AI가 노동시장에 미치는 영향도 지원 대상으로 검토

Anthropic은 새로운 공익기금이 활용될 수 있는 대표적인 분야로 AI의 노동시장 영향을 제시했다.

최근 AI 모델은 문서 작성과 데이터 분석, 코드 생성처럼 사람이 수행하던 여러 작업을 자동화하고 있다.

AI 에이전트는 여기에서 더 나아가 외부 도구를 사용하고 여러 단계의 업무를 직접 수행할 수 있다.

이런 변화는 기업의 생산성을 높일 수 있지만, 모든 노동자가 같은 혜택을 얻는다는 보장은 없다.

예를 들어 일부 직무에서는 반복적인 업무가 줄어들면서 새로운 종류의 업무가 생길 수 있다.

반면 다른 직무에서는 신규 채용 수요가 감소하거나 기존에 필요했던 기술의 가치가 낮아질 가능성도 있다.

특히 새로운 기술을 배우거나 다른 직무로 이동하는 과정에는 시간과 비용이 필요하다.

Anthropic은 이미 2억 달러를 AI의 노동시장 영향 연구와 대응에 투입하기로 약속한 바 있다고 설명했다.

이는 이번 발표에서 새롭게 2억 달러를 추가 배정했다는 의미가 아니다.

기존에 진행해 온 노동시장 관련 활동을 설명하기 위해 제시한 수치다.

새 공익기금은 향후 이런 활동을 더 큰 규모로 확대하거나, 연구를 넘어 실제 영향을 받는 사람들에게 직접 지원을 제공하는 방식으로 활용될 수 있다.

다만 구체적인 지원 대상과 금액, 신청 절차는 아직 확정되지 않았다.

따라서 AI로 인해 일자리를 잃은 노동자에게 특정 금액의 지원금이 지급된다고 해석해서는 안 된다.

창업자·직원의 기존 기부 약속과 결합

이번 발표에는 Anthropic의 창업자와 직원들이 이전부터 진행한 지분 기부 약속도 포함됐다.

Anthropic에 따르면 공동창업자들은 회사 설립 당시 자신들이 보유한 지분의 80%를 기부하기로 약속했다.

이 수치를 회사 전체 지분의 80%와 혼동해서는 안 된다.

창업자 개인이 보유한 주식 가운데 80%를 공익 목적으로 기부하겠다는 의미다.

또한 Anthropic은 직원들이 보유 지분의 일부를 기부하기로 약속하면 회사가 일정 부분을 함께 기부하는 지분 기부 매칭 프로그램을 운영해 왔다.

회사는 현재 직원의 약 절반이 이 프로그램에 참여하고 있다고 밝혔다.

Anthropic은 이번 공익기금 계획과 이러한 기존 약속을 모두 합치면 회사 전체 주식의 약 20%가 공익 목적에 배정될 예정이라고 설명했다.

여기에도 중요한 구분이 있다.

약 20%라는 수치는 새 공익기금에 즉시 이전되는 지분을 의미하지 않는다.

창업자와 직원의 기존 기부 약속, 회사의 매칭 프로그램과 새 공익기금 계획을 함께 고려한 수치다.

따라서 해당 지분이 모두 실제로 이전됐거나 현금화돼 공익사업에 사용됐다는 의미는 아니다.

향후 기업가치 상승 조건이 충족되고 이사회가 추가 배정을 결정한다면 공익 목적 지분의 비중은 더 높아질 수 있다.

공익적 약속과 실제 집행을 구분해야 한다

이번 발표는 AI 기업의 성장으로 발생하는 경제적 가치를 어떻게 사회에 환원할지에 관한 새로운 거버넌스 실험이다.

일반적인 기업 기부는 이미 확보한 현금이나 이익의 일부를 특정 사업에 사용하는 방식이 많다.

반면 Anthropic은 미래에 기업이 성장할 경우 발생할 수 있는 주식 가치까지 공익 목적에 연결하려는 구조를 제안했다.

이는 AI 기술이 급격하게 발전할 때 소수 기업에 경제적 가치가 집중될 가능성과도 연결된다.

하지만 이번 발표만으로 Anthropic이 실제로 어느 정도의 자금을 언제 공익사업에 사용할지 확정할 수는 없다.

회사의 미래 기업가치와 주주 승인, 이사회의 결정, 주식의 처분 방식과 공익기금의 운영 규칙 등이 영향을 미칠 수 있기 때문이다.

Anthropic은 앞으로 공익기금의 구체적인 운영 구조와 지분 확대 기준을 공개할 예정이다.

또한 기업의 공익적 목표에 대해 지금까지 어떤 성과를 냈는지 설명하는 Public Benefit Report(공익 성과 보고서)도 발행할 계획이라고 밝혔다.

이번 발표에서 확인할 수 있는 것은 AI 기업의 사회적 책임을 일회성 기부가 아닌 소유권과 기업 지배구조의 일부로 연결하려는 시도가 시작됐다는 점이다.

실제 공익 효과는 앞으로 공개될 운영 규칙과 집행 결과를 통해 판단해야 한다.

---

📚 추천 글

How employment is changing at Anthropic

• 저자: Nathan Wilmers, Regina Catipon, Maxim Massenkoff, Peter McCrory
• 발행: Anthropic Institute
• 게시일: 2026-10-16
• 원문: Anthropic — How employment is changing at Anthropic

AI가 개발자와 사무직의 업무를 바꾸고 있다는 이야기는 많지만, 실제 기업 안에서 직원 수와 채용 방식, 업무량이 어떻게 변화했는지를 구체적인 데이터로 확인하기는 쉽지 않다.

이 글은 Anthropic이 자사의 내부 인사 데이터와 AI 에이전트 사용 기록, 업무 성과와 직원 인터뷰를 분석한 연구 보고서다.

특히 AI를 적극적으로 사용하는 회사에서 개발자의 생산성이 높아지는 것과 신입 개발자의 채용이 줄어드는 현상이 동시에 발생할 수 있는지 살펴본다는 점에서 흥미롭다.

연구에는 직원의 역할과 채용 기록, 코드 커밋, AI 사용량과 사내 업무 변화가 포함됐다.

또한 17명의 직원을 직접 인터뷰해 데이터에 나타난 변화를 실제 업무 경험과 연결했다.

다만 Anthropic은 AI 모델을 개발하고 사용하는 기업 가운데서도 AI 활용 수준이 매우 높은 조직이다.

따라서 이번 결과를 모든 기업의 평균적인 상황으로 해석해서는 안 된다.

신입 기술직의 비중이 감소하고 있다

연구팀이 확인한 변화 가운데 하나는 초급 기술직 직원과 신규 채용자의 비중 감소다.

Anthropic의 기술 조직에서 초급 직원이 차지하는 비율은 2025년 초 21%에서 14%로 감소했다.

같은 기간 기술직 신규 채용 가운데 초급 인력이 차지하는 비율은 27%에서 9%로 더 크게 감소했다.

여기서 중요한 것은 초급 인력의 비중이 감소했다는 사실과 회사가 기술 인력을 전혀 채용하지 않는다는 주장은 다르다는 점이다.

Anthropic은 빠르게 성장하는 기업이기 때문에 전체 기술 인력의 절대적인 수는 계속 증가했다.

다만 숙련된 직원과 초급 직원의 채용 비중이 달라지고 있었다.

연구팀은 이러한 변화가 AI 코딩 에이전트의 활용 증가와 같은 시기에 발생했다고 설명한다.

과거에는 신입 개발자가 담당하던 비교적 정형화된 코딩 작업과 오류 수정, 테스트 작성 등의 일부를 AI 에이전트가 처리할 수 있게 됐기 때문이다.

하지만 이것만으로 초급 인력의 채용 감소가 전부 AI 때문에 발생했다고 단정할 수는 없다.

기업의 성장 단계나 조직 구조, 인건비와 채용 전략 등 다른 요인도 영향을 미쳤을 수 있다.

AI 에이전트의 실행 시간이 사람의 근무시간을 초과

Anthropic은 직원들이 직접 사용하는 AI 에이전트의 실행 시간도 분석했다.

2026년 3월에는 회사 전체에서 AI 에이전트가 수행한 작업 시간이 사람의 전체 근무시간을 처음으로 넘어섰다.

이후 8월에는 직원이 직접 사용하는 대화형 AI 에이전트만 계산해도 에이전트의 작업 시간이 사람의 근무시간보다 약 6배 많았다.

이 수치는 흥미롭지만 해석에 주의해야 한다.

연구팀은 에이전트가 모델 추론이나 도구 실행을 수행하는 시간을 작업 시간으로 계산했다.

반면 사람의 근무시간은 직원 수에 주당 40시간을 적용해 추정했다.

따라서 AI가 사람보다 여섯 배 많은 업무 성과를 만들어냈다는 의미는 아니다.

에이전트 여러 개를 병렬로 실행하면 각 에이전트의 실행 시간이 합산되기 때문이다.

예를 들어 개발자가 AI 에이전트 다섯 개를 한 시간 동안 동시에 실행했다면 에이전트의 전체 작업 시간은 다섯 시간으로 계산될 수 있다.

사람이 실제로 업무를 수행한 시간과 여러 프로그램이 동시에 실행된 시간을 직접 비교하는 데는 한계가 있다.

그럼에도 이러한 수치는 Anthropic에서 AI 에이전트가 일상적인 업무 도구를 넘어 상당한 양의 작업을 실제로 수행하는 실행 주체가 됐다는 사실을 보여준다.

개발자 한 명이 작성하는 코드의 양 증가

Anthropic은 개발자 한 명이 생성하는 코드의 양도 분석했다.

연구팀에 따르면 엔지니어 한 명당 코드 커밋 수는 약 6개월 전과 비교해 5배 수준으로 증가했다.

하지만 코드 커밋 수가 늘었다고 해서 생산성이 정확히 다섯 배 높아졌다고 판단할 수는 없다.

하나의 기능을 구현하는 데 필요한 코드의 양은 프로젝트마다 다르다.

또한 코드가 많이 생성되더라도 실제 사용자에게 도움이 되는 기능이 아니라면 생산성이 높아졌다고 보기 어렵다.

AI가 생성한 코드가 잘못된 설계나 유지보수 문제를 만들 가능성도 존재한다.

연구팀은 이를 고려해 AI 도구를 도입한 개발자와 아직 도입하지 않은 개발자의 변화를 비교했다.

분석 대상은 에이전트 코딩 도구를 도입한 엔지니어 192명과 해당 기간에 도입하지 않은 엔지니어 74명이었다.

에이전트를 도입한 개발자는 도입 이후 코드 생산량이 크게 증가하는 경향을 보였다.

그러나 AI 도구를 선택하는 사람이 무작위로 정해진 것은 아니다.

원래 복잡한 프로젝트를 진행하던 개발자가 AI 도구를 적극적으로 사용하기 시작했을 가능성도 있다.

따라서 이러한 비교만으로 AI의 순수한 인과적 효과를 완전히 분리할 수는 없다.

연구팀은 코드 품질을 간접적으로 평가하기 위해 이후 삭제된 코드의 비율이나 커밋을 되돌린 비율도 확인했다.

그 결과 같은 개발자가 직접 작성한 코드와 AI 에이전트가 작성한 코드 사이에서 이러한 지표의 뚜렷한 차이는 발견되지 않았다.

다만 이 역시 제한적인 품질 지표다.

코드를 되돌리지 않았다고 해서 버그가 없거나 구조적으로 좋은 코드라는 의미는 아니다.

사람의 주의력이 새로운 병목이 된다

보고서에서 특히 흥미로운 부분은 AI가 빠르게 작업할수록 사람이 결과를 검토하는 과정이 새로운 병목으로 나타난다는 점이다.

Anthropic의 대화형 에이전트는 전체 세션 시간 가운데 약 80%를 사람의 다음 입력을 기다리는 상태로 보냈다.

에이전트가 작업을 마친 뒤 추가 지시나 결과 확인을 기다리는 시간이 많았다는 의미다.

또한 비기술직 직원이 사용하는 AI 에이전트의 출력물을 모두 읽으려면 일주일 업무시간의 절반 이상이 필요할 정도로 많은 텍스트가 생성됐다.

AI가 빠르게 문서를 작성하고 자료를 조사해도 사람이 그 결과를 모두 읽고 검증할 수 없다면 실제 업무 흐름은 다시 느려질 수 있다.

이를 해결하기 위해 직원들은 AI 에이전트의 결과를 정리하거나 여러 에이전트의 진행 상황을 감시하는 도구를 만들기 시작했다.

이런 작업을 연구팀은 Meta-Work(메타 업무)라고 부른다.

메타 업무는 실제 결과물을 직접 작성하는 것보다, 결과물을 만드는 다른 작업의 계획과 관리, 검증을 수행하는 활동이다.

예를 들어 개발자가 직접 코드를 작성하는 대신 여러 코딩 에이전트의 작업을 나누고, 각 에이전트의 결과를 비교하며, 테스트 실패를 확인하는 대시보드를 만든다면 메타 업무에 해당한다.

Anthropic에서 이런 업무가 차지하는 비중은 2025년 가을 대화형 AI 세션의 약 10%에서 2026년 봄 22%로 증가했다.

AI 도구의 성능 향상으로 단순한 실행 작업이 줄어드는 대신 작업의 설계와 검증, 에이전트 관리가 새로운 업무로 등장한 것이다.

채용 기준도 달라지고 있다

Anthropic은 채용 면접에서 평가하는 역량도 분석했다.

기존에는 특정 프로그래밍 언어나 기술에 관한 전문성을 중요하게 평가하는 경우가 많았다.

하지만 최근에는 지원자가 AI 도구를 얼마나 효과적으로 활용하는지, 새로운 문제를 스스로 정의하고 해결할 수 있는지를 더 중요하게 평가하는 경향이 나타났다.

특히 기술직 면접에서는 자율성과 판단 능력에 관한 평가가 증가했다.

여기서 자율성은 사람의 지시 없이 모든 작업을 혼자 수행한다는 의미보다, 해결해야 할 문제를 이해하고 필요한 접근법을 선택하며 결과에 책임질 수 있는 능력에 가깝다.

AI가 구현 과정의 상당 부분을 담당하더라도 어떤 기능을 만들어야 하는지, 생성된 코드가 적절한지, 어떤 위험을 검토해야 하는지는 여전히 판단해야 하기 때문이다.

연구팀은 이러한 변화가 개발자의 역할을 단순한 코드 작성자에서 여러 AI 시스템의 작업을 조정하고 검증하는 사람으로 확장시키고 있다고 설명한다.

하지만 기존 업무가 자동화되는 과정에서 새로운 업무가 생긴다고 해도 모든 노동자가 쉽게 이동할 수 있는 것은 아니다.

특히 초급 인력의 채용 기회가 줄어들면 미래의 숙련 인력이 경험을 쌓는 경로에도 영향을 줄 수 있다.

이번 보고서는 AI 도입으로 생산성이 높아진다는 사실만큼 누가 그 성과를 얻고, 어떤 사람에게 새로운 기회가 제공되는지를 함께 살펴봐야 한다는 점을 보여준다.

기업 내부의 실제 데이터를 이용해 AI 시대의 업무 변화를 분석했다는 점에서 읽어볼 가치가 있다.

---

Cloudflare and OpenAI: Making AI discovery better for everyone

• 저자: Matthew Conroy, Jack Galilee, Henry Aspegren, James Balfour
• 발행: Cloudflare / OpenAI
• 게시일: 2026-10-15
• 원문: Cloudflare — Cloudflare and OpenAI: Making AI discovery better for everyone

생성형 AI가 인터넷의 정보를 찾는 방법은 기존 검색엔진과 어떻게 다를까?

이 글은 Cloudflare와 OpenAI가 진행한 AI 검색을 위한 웹페이지 발견 기술의 공동 실험을 설명한다.

일반적인 검색엔진에서는 사용자가 검색어를 입력하면 관련 웹페이지가 목록으로 표시된다.

사용자는 검색 결과를 비교하고 필요한 페이지를 직접 방문한다.

반면 AI 검색에서는 사용자가 질문하면 시스템이 여러 자료를 찾아 내용을 분석하고 답변을 생성한다.

이 과정에서 원문 출처를 표시하거나 해당 웹사이트로 연결할 수 있다.

하지만 AI가 좋은 답변을 만들기 위해서는 먼저 필요한 정보가 있는 웹페이지를 발견해야 한다.

인터넷에는 다른 웹사이트에서 거의 연결하지 않는 작은 문서와 설명서가 많다.

예를 들어 특정 세탁기의 오류 코드를 설명하는 제조사 문서나 작은 지역 상점의 최신 영업시간 정보가 있을 수 있다.

이런 페이지는 유명하지 않더라도 특정 사용자에게 매우 중요한 정보일 수 있다.

Cloudflare와 OpenAI는 이런 자료를 더 효율적으로 찾기 위한 실험을 진행했다.

웹페이지를 직접 읽지 않고도 발견할 수 있는 정보

Cloudflare는 인터넷 트래픽과 웹사이트 운영에 필요한 네트워크 인프라를 제공한다.

따라서 수많은 웹사이트의 요청과 응답에 관한 기술적인 신호를 관찰할 수 있다.

반면 OpenAI의 검색 시스템은 사용자의 질문에 답하기 위해 관련 웹페이지를 찾아야 한다.

양측은 이러한 차이를 활용해 Cloudflare가 관찰하는 웹사이트 관련 신호를 OpenAI의 검색 크롤러에 제공하는 방식을 시험했다.

Crawler(크롤러)는 웹사이트를 자동으로 방문해 페이지를 찾고 내용을 수집하는 프로그램이다.

크롤러가 인터넷에 존재하는 모든 주소를 계속 방문하는 것은 비효율적이다.

존재하지 않는 페이지를 요청하거나, 이미 수집한 문서를 반복해서 가져오거나, 변경되지 않은 페이지를 계속 다운로드할 수 있기 때문이다.

Cloudflare와 OpenAI는 이런 불필요한 요청을 줄이면서 새로운 자료를 발견하는 방법을 연구했다.

실험은 2026년 7월 시작됐다.

대상은 Cloudflare 네트워크 전체의 약 1%에 해당하는 참여 집단이었다.

이번 글은 초기 실험 결과를 소개한다.

수억 개의 새로운 웹페이지 발견

Cloudflare와 OpenAI에 따르면 이번 실험으로 OpenAI의 검색 시스템은 기존에 파악하지 못했던 수억 개의 웹페이지를 새롭게 발견하고 색인에 추가할 수 있었다.

Index(색인)는 검색 시스템이 웹페이지의 위치와 내용을 정리해 사용자의 질문에 맞는 자료를 빠르게 찾을 수 있도록 만든 데이터 구조다.

여기서 중요한 구분이 있다.

Cloudflare가 새로운 웹페이지를 발견하도록 도왔다는 사실이 해당 페이지가 모든 검색 결과에서 상위에 표시된다는 의미는 아니다.

OpenAI는 검색 결과의 관련성과 유용성을 별도로 평가해 어떤 자료를 사용자에게 보여줄지 결정한다고 설명한다.

즉 Cloudflare가 제공하는 신호는 어떤 페이지가 존재하고 크롤러가 접근할 가치가 있는지 판단하는 과정을 개선하는 데 사용된다.

실제 검색 순위와 답변에 사용되는 자료 선택은 별도의 문제다.

존재하지 않는 페이지와 중복 페이지를 구분

이번 실험에서 발견된 문제 가운데 하나는 실제로 존재하지 않는 페이지가 정상적인 웹페이지처럼 보이는 상황이었다.

일반적으로 웹사이트는 사용자가 존재하지 않는 주소를 요청하면 HTTP 404 상태 코드를 반환한다.

HTTP Status Code(HTTP 상태 코드)는 웹 서버가 요청을 어떻게 처리했는지 나타내는 숫자다.

404는 요청한 자료를 찾을 수 없다는 의미다.

하지만 모든 웹사이트가 존재하지 않는 주소에 404를 반환하는 것은 아니다.

일부 웹사이트는 잘못된 주소를 입력해도 홈페이지로 이동시키거나, 존재하지 않는 페이지에 정상 응답을 반환한다.

이런 상황에서는 크롤러가 실제로 존재하지 않는 수많은 주소를 방문할 수 있다.

또한 서로 다른 주소에서 같은 내용이 반환되는 중복 페이지도 문제가 된다.

Cloudflare는 네트워크에서 관찰한 신호를 이용해 이런 주소를 미리 분류할 수 있다고 설명한다.

그 결과 OpenAI의 크롤러가 불필요한 페이지에 자원을 사용하는 일을 줄일 수 있었다.

웹사이트가 변경됐는지도 중요한 신호

크롤러는 한 번 방문한 웹페이지를 나중에 다시 확인해야 한다.

웹사이트의 내용은 계속 바뀌기 때문이다.

예를 들어 기술 문서의 API 설명이 변경됐거나 상점의 영업시간이 업데이트됐을 수 있다.

하지만 모든 페이지를 짧은 간격으로 다시 방문하면 웹사이트 운영자에게 불필요한 네트워크 부하를 줄 수 있다.

Cloudflare는 이를 해결하기 위해 페이지의 변경 여부를 나타내는 신호를 제공하는 방식도 시험했다.

페이지가 오랫동안 변경되지 않았다면 크롤러가 방문 빈도를 줄일 수 있다.

반대로 중요한 정보가 새롭게 갱신됐다면 더 빨리 확인하도록 할 수 있다.

이런 방식은 웹사이트 운영자와 검색 시스템 양쪽에 이익이 될 수 있다.

웹사이트 운영자는 불필요한 요청을 줄일 수 있고, 검색 시스템은 같은 자원으로 더 많은 새로운 정보를 수집할 수 있기 때문이다.

다만 새로운 페이지가 대량으로 발견되면 초기 색인 과정에서 크롤링 요청이 일시적으로 증가할 수도 있다.

Cloudflare와 OpenAI는 장기적으로 불필요한 재방문을 줄이는 방향을 목표로 한다고 설명한다.

악성 웹페이지를 구분하는 신호

이번 실험에는 검색 결과의 안전성을 높이기 위한 기술도 포함됐다.

예를 들어 정상적인 웹사이트의 일부 페이지가 공격자에게 변조될 수 있다.

공격자는 원래 사이트와 관련이 없는 가짜 로그인 화면을 설치해 사용자의 계정 정보를 탈취하려 할 수 있다.

이런 공격을 Phishing(피싱)이라고 한다.

피싱은 실제 기업이나 서비스처럼 보이는 페이지를 이용해 비밀번호나 인증정보를 속여서 받아내는 공격이다.

Cloudflare와 OpenAI는 사이트 전체를 위험하다고 판단하는 대신 개별 페이지가 악성인지 식별하는 신호를 시험했다.

정상적인 웹사이트에서 일부 페이지만 변조됐을 때 전체 도메인을 차단하면 정상적인 정보까지 검색에서 제외될 수 있기 때문이다.

연구팀은 이런 신호가 악성 페이지를 검색 색인에서 제외하는 데 도움이 될 수 있다고 설명했다.

다만 이번 발표에는 해당 기술의 정확도나 잘못된 차단 비율에 관한 상세한 독립 검증 결과가 제시되지 않았다.

따라서 악성 페이지를 완벽하게 찾아낼 수 있다고 해석해서는 안 된다.

웹사이트의 접근 정책도 중요

Cloudflare와 OpenAI는 웹사이트 운영자가 자신의 콘텐츠에 대한 접근을 통제할 수 있어야 한다는 원칙도 강조했다.

AI 검색 시스템이 페이지를 더 쉽게 발견할 수 있게 됐다고 해서 웹사이트의 접근 정책을 무시해도 된다는 의미는 아니다.

웹사이트 운영자는 크롤러의 접근을 제한하거나 특정 영역의 수집을 허용하지 않을 수 있다.

이런 정책은 검색 시스템이 따라야 할 중요한 조건이다.

또한 검색 시스템이 새로운 페이지를 발견하고 색인에 포함한다는 사실이 해당 페이지의 내용이 모델 학습에 사용된다는 의미도 아니다.

검색을 위한 색인과 언어모델의 사전학습은 서로 다른 작업이기 때문이다.

이번 연구는 AI 검색의 품질이 모델의 추론 능력뿐 아니라 웹페이지를 발견하고 최신성을 유지하며, 중복과 악성 자료를 구분하는 인프라에 크게 영향을 받는다는 점을 보여준다.

특히 새로운 AI 검색 환경에서 작은 웹사이트와 콘텐츠 제작자의 자료가 어떻게 발견되고 사용자에게 연결될 수 있는지 이해하기 좋은 자료다.

---

Continuous accountability for Verified bots

• 저자: Chris Tsoukaladelis
• 발행: Cloudflare
• 게시일: 2026-10-16
• 원문: Cloudflare — Continuous accountability for Verified bots

AI 크롤러가 자신이 누구인지 정확하게 밝힌다면 그 크롤러를 신뢰해도 될까?

이 글은 크롤러의 신원을 확인하는 것과 크롤러가 실제로 올바르게 행동하는지 확인하는 것은 다른 문제라는 관점에서 출발한다.

최근 AI 검색과 에이전트 서비스가 발전하면서 자동화된 프로그램이 웹사이트에 접근하는 사례가 늘어나고 있다.

이런 프로그램을 일반적으로 Bot(봇)이라고 한다.

봇 자체가 반드시 악성 프로그램인 것은 아니다.

검색엔진이 웹페이지를 수집하거나 서비스의 정상 동작을 확인하는 프로그램도 봇에 해당한다.

하지만 정상적인 회사가 운영하는 봇이라도 웹사이트에 지나치게 많은 요청을 보내거나 접근 제한을 무시할 수 있다.

따라서 봇 운영자의 신원이 확인됐다는 사실만으로 실제 행동의 안전성까지 보장할 수는 없다.

신원 확인과 신뢰도 평가를 분리

Cloudflare는 Verified Bots라는 제도를 운영한다.

Verified Bot은 운영 주체의 신원이 확인되고 일정한 기준을 충족한 자동화 프로그램을 의미한다.

이를 위해 Web Bot Auth라는 기술을 사용한다.

Web Bot Auth는 봇이 자신이 보낸 요청임을 증명할 수 있도록 암호학적인 서명을 활용하는 방식이다.

Cryptographic Signature(암호학적 서명)는 특정한 주체가 메시지를 생성하거나 승인했다는 사실을 검증하는 기술이다.

Cloudflare는 검증된 봇의 정보를 BotBase라는 구조로 관리한다.

그러나 봇의 신원이 정확하더라도 해당 봇이 앞으로 어떤 행동을 할지는 알 수 없다.

예를 들어 공식적으로 등록된 검색 크롤러가 서버 오류 때문에 짧은 시간에 수만 개의 요청을 보낼 수 있다.

또는 웹사이트 운영자가 수집하지 말라고 지정한 페이지에 반복해서 접근할 수 있다.

Cloudflare는 이 문제를 해결하기 위해 봇의 Risk(위험도)와 Trust(신뢰도)를 구분한다.

위험도는 개별 요청이나 특정 순간의 행동이 문제를 일으킬 가능성을 의미한다.

신뢰도는 시간이 지나면서 관찰한 행동이 얼마나 일관되게 적절했는지를 나타낸다.

하나의 요청이 의심스럽다고 해서 봇 전체를 영구적으로 악성으로 분류하는 대신 장기적인 행동 패턴을 분석하려는 것이다.

robots.txt를 실제로 따르는지 확인

Cloudflare가 신뢰도 평가에 사용하는 첫 번째 신호는 robots.txt 정책 준수 여부다.

robots.txt는 웹사이트 운영자가 크롤러에게 어떤 영역을 수집할 수 있는지 알려주는 파일이다.

예를 들어 웹사이트 관리자는 검색 크롤러가 공개 문서를 읽는 것은 허용하지만 일부 내부 경로는 수집하지 않도록 설정할 수 있다.

robots.txt에는 특정 봇에게 적용되는 규칙도 작성할 수 있다.

이러한 형식은 RFC 9309라는 표준으로 정의돼 있다.

RFC는 인터넷의 기술 규격과 운영 원칙을 설명하는 문서 체계다.

Cloudflare는 실제 크롤러의 접근 기록과 웹사이트에 공개된 robots.txt 정책을 비교한다.

크롤러가 접근하지 말아야 할 경로에 반복해서 요청을 보낸다면 신뢰도가 낮아질 수 있다.

하지만 한 번의 잘못된 요청만으로 최종 결론을 내리지는 않는다.

예를 들어 크롤러가 정책 변경을 즉시 반영하지 못했거나 일시적인 설정 오류가 발생했을 수도 있기 때문이다.

Cloudflare는 반복적으로 나타나는 행동 패턴을 중요하게 평가한다.

HTTP 429를 무시하는지도 확인

두 번째 중요한 신호는 웹사이트가 요청 속도를 줄이라고 알려줬을 때 크롤러가 어떻게 반응하는가이다.

웹 서버는 너무 많은 요청을 받으면 HTTP 429 Too Many Requests 상태 코드를 반환할 수 있다.

HTTP 429는 요청을 보낸 프로그램에게 요청 빈도를 줄이도록 알리는 신호다.

경우에 따라 서버는 얼마 동안 기다린 뒤 다시 요청해야 하는지 안내할 수도 있다.

정상적인 크롤러라면 이런 응답을 받은 뒤 요청 속도를 줄이거나 일시적으로 수집을 중단할 수 있다.

반면 같은 속도로 요청을 계속 보낸다면 웹사이트에 부담을 줄 수 있다.

Cloudflare는 이런 행동을 장기간 관찰해 봇의 신뢰도에 반영한다.

예를 들어 웹사이트가 반복해서 429를 반환했는데 크롤러가 요청 속도를 변경하지 않았다면 신뢰도가 낮아질 수 있다.

반대로 여러 웹사이트에서 접근 제한을 일관되게 존중한다면 긍정적인 신호로 평가할 수 있다.

중요한 것은 robots.txt에서 특정 경로를 명시적으로 금지하지 않았다는 이유만으로 모든 접근이 허용되는 것은 아니라는 사실이다.

웹사이트 운영자는 서버 응답이나 다른 접근 제어 수단을 통해 추가적인 제한을 적용할 수 있기 때문이다.

점수가 아니라 설명 가능한 신뢰 구간

Cloudflare는 봇의 행동을 하나의 고정된 점수로 영구히 분류하는 대신 Trust Band(신뢰 구간)를 사용하려 한다.

신뢰 구간은 봇이 웹사이트의 정책을 얼마나 일관되게 준수하는지 나타내는 범위다.

또한 어떤 행동 때문에 해당 평가가 내려졌는지도 설명하도록 설계됐다.

예를 들어 특정 봇이 웹사이트의 접근 제한을 반복해서 무시했는지, 요청 속도 제한에 어떻게 대응했는지를 확인할 수 있도록 하려는 것이다.

이렇게 하면 웹사이트 운영자가 단순히 특정 회사의 봇이라는 이유만으로 접근을 허용하거나 차단하는 것보다 더 많은 정보를 활용할 수 있다.

봇 운영자도 자신의 프로그램이 실제로 웹사이트의 정책을 준수하고 있다는 증거를 제시할 수 있다.

다만 이번 발표에서 모든 신뢰 점수가 이미 공개된 것은 아니다.

Cloudflare는 향후 Radar 서비스를 통해 봇의 신뢰도 관련 정보를 공개할 계획이라고 밝혔다.

평가에 사용하는 구체적인 수치 기준과 모든 알고리즘도 공개되지 않았다.

따라서 지금 당장 모든 웹사이트 운영자가 이 점수를 기준으로 봇 접근 정책을 설정할 수 있다는 의미는 아니다.

AI 에이전트와 웹사이트의 관계

이번 기술이 중요한 이유는 AI 에이전트가 웹을 사용하는 방식이 기존 검색 크롤러보다 다양해지고 있기 때문이다.

기존 검색 크롤러는 주로 웹페이지를 수집해 검색 색인에 추가한다.

반면 AI 에이전트는 특정 질문에 답하기 위해 여러 페이지를 실시간으로 방문하거나 반복해서 자료를 가져올 수 있다.

사용자 수와 에이전트의 행동 방식에 따라 웹사이트가 받는 요청량도 크게 달라질 수 있다.

이런 환경에서는 AI 서비스 제공업체가 자신의 프로그램이 정상적인 봇이라는 사실을 증명하는 것만으로 충분하지 않을 수 있다.

웹사이트 운영자가 요구하는 접근 정책을 실제로 존중하는지도 중요하다.

이번 글은 AI가 인터넷의 정보를 활용하는 과정에서 정보를 제공하는 웹사이트와 정보를 수집하는 AI 서비스 사이의 신뢰를 어떻게 구축할 것인가라는 문제를 구체적인 네트워크 기술로 설명한다.

---

The AI expectations gap

• 저자: Szymon Sacher, Tess Cotter, Charles I. Jones, Anton Korinek, Peter McCrory
• 발행: Anthropic Institute
• 게시일: 2026-10-16
• 원문: Anthropic — The AI expectations gap

AI가 앞으로 얼마나 발전할지에 대한 전망은 사람마다 크게 다르다.

어떤 사람은 AI가 가까운 미래에 대부분의 지식 노동을 수행할 수 있을 것이라고 예상한다.

반면 다른 사람은 AI의 현재 한계를 근거로 실제 업무에 적용되는 속도가 예상보다 느릴 것이라고 생각한다.

이 글은 이런 의견 차이를 단순히 낙관론과 비관론으로 구분하지 않고 AI의 기술적 능력과 실제 도입 속도, 경제적 영향에 관한 기대를 각각 나눠 분석한다.

Anthropic 연구진은 2026년 8월 두 집단을 대상으로 설문조사를 진행했다.

첫 번째는 미국 성인을 대표하도록 구성한 10,980명의 응답자다.

두 번째는 Anthropic 직원 1,334명이다.

미국 성인 표본에는 인구 구성의 차이를 반영하기 위한 통계적 가중치를 적용했다.

반면 Anthropic 직원의 응답에는 같은 방식의 가중치를 적용하지 않았다.

따라서 두 집단의 응답을 비교할 수는 있지만 동일한 표본 추출 조건에서 진행된 실험은 아니다.

현재 AI의 능력보다 미래 발전 속도에서 의견이 크게 갈린다

연구팀은 응답자에게 AI가 특정한 작업을 언제부터 숙련된 전문가 수준으로 수행할 수 있을지 질문했다.

대상에는 일반적인 이메일 작성부터 복잡한 과학 연구까지 여러 수준의 작업이 포함됐다.

흥미롭게도 현재 AI가 어떤 작업을 할 수 있는지에 대해서는 두 집단의 의견 차이가 상대적으로 작았다.

하지만 미래에 대한 전망에서는 차이가 커졌다.

예를 들어 AI가 노벨상 수준의 과학적 발견을 할 수 있는 시점을 질문했을 때 결과는 다음과 같았다.

Anthropic 직원의 압도적인 다수가 2030년까지 이런 수준의 AI가 등장할 수 있다고 예상했다.

반면 미국 성인 가운데 같은 전망을 가진 사람은 39%였다.

그러나 이 결과는 미래의 AI 능력에 대한 설문 응답이다.

AI가 실제로 2030년까지 노벨상 수준의 발견을 할 수 있다는 기술적 증거나 객관적인 예측 결과가 아니다.

또한 Anthropic 직원은 AI 모델을 개발하거나 매우 자주 사용하는 집단이기 때문에 일반적인 노동자와 경험이 다를 수 있다.

연구팀도 이런 차이를 중요한 해석 조건으로 설명한다.

AI를 사용했을 때 체감하는 시간 절감

연구팀은 실제 업무에서 AI를 사용하는 경험도 비교했다.

예를 들어 AI를 사용하기 전에는 한 시간이 걸리던 작업이 AI를 사용하면 얼마나 빨리 완료되는지 질문했다.

AI를 업무에 사용하는 미국 성인 가운데 26%는 AI를 사용하면 특정 작업에 필요한 시간이 원래의 4분의 1 이하로 줄어든다고 응답했다.

반면 Anthropic 직원 가운데 같은 수준의 시간 절감을 경험한다고 답한 비율은 59%였다.

이 차이는 단순히 사용하는 AI 모델의 성능 때문만은 아닐 수 있다.

Anthropic 직원은 자신의 업무를 AI에 맞게 재구성하거나 복잡한 도구를 연결해 사용하는 경험이 상대적으로 많을 수 있기 때문이다.

예를 들어 같은 코딩 에이전트를 사용하더라도 사용자가 프로젝트의 구조와 테스트 환경을 얼마나 잘 정리했는지에 따라 결과가 달라질 수 있다.

또한 직원이 사용하는 AI 도구와 사용 가능한 권한, 모델 접근 조건도 일반적인 기업과 다를 수 있다.

이 수치 역시 응답자의 자기 보고에 기반한 시간 절감 경험이다.

실제로 동일한 작업을 AI 사용 집단과 비사용 집단에 배정해 시간을 측정한 통제 실험은 아니다.

따라서 59%라는 수치를 Anthropic 직원 전체의 실제 생산성 증가율로 해석해서는 안 된다.

자신의 업무를 AI가 얼마나 수행할 수 있을까?

연구팀은 AI가 앞으로 응답자 자신의 업무를 얼마나 수행할 수 있을지도 질문했다.

그 결과 두 집단의 예상에는 큰 차이가 있었다.

미국의 취업자는 2030년까지 AI가 자신의 현재 업무 가운데 평균 28%를 수행할 수 있을 것으로 예상했다.

반면 Anthropic 직원의 평균 예상은 75%였다.

또한 자신의 업무 가운데 80% 이상을 AI가 수행할 수 있을 것으로 예상한 미국 취업자는 약 5%였다.

Anthropic 직원 가운데 같은 전망을 가진 사람은 절반을 넘었다.

이러한 차이는 AI를 적극적으로 활용하는 사람일수록 기술의 발전 가능성을 높게 평가할 수 있다는 해석과 연결된다.

하지만 실제로 어떤 업무가 자동화될 수 있는지에 관한 판단은 단순하지 않다.

예를 들어 개발자의 업무에는 코드 작성뿐 아니라 요구사항 협의와 설계, 테스트, 장애 대응과 다른 팀과의 의사소통이 포함된다.

AI가 코드를 상당 부분 작성할 수 있게 됐다고 해서 개발자의 전체 업무가 같은 비율로 자동화된다고 볼 수는 없다.

또한 기술적으로 자동화할 수 있는 작업이더라도 기업이 실제로 이를 도입하는 데는 비용과 시간이 필요하다.

보안 정책과 규제, 고객의 선호와 조직 문화도 영향을 줄 수 있다.

AI의 능력과 실제 도입은 다른 문제

이번 연구가 강조하는 중요한 구분은 AI가 어떤 작업을 수행할 수 있다는 사실과 기업이 해당 작업에 실제로 AI를 사용하는 것은 다르다는 점이다.

예를 들어 AI가 고객지원 질문의 상당 부분에 답할 수 있다고 가정해 보자.

기업은 이를 실제 서비스에 적용하기 전에 고객 데이터에 대한 접근권한과 답변의 정확성, 사고 발생 시 책임 소재를 검토해야 할 수 있다.

기술적으로 가능한 작업이라고 해서 즉시 모든 기업에서 자동화가 이뤄지는 것은 아니다.

설문에서도 이런 차이가 나타났다.

미국 성인 응답자들은 기술적으로 AI를 활용할 수 있는 작업 가운데 2030년까지 실제로 AI를 이용하게 될 비중을 평균 42%로 예상했다.

반면 Anthropic 직원들은 약 65%로 예상했다.

즉 두 집단은 AI 모델의 능력이 얼마나 빨리 발전할지뿐 아니라 발전한 기술이 실제 업무에 얼마나 빠르게 확산될지에 대해서도 서로 다른 전망을 가지고 있었다.

경제 성장과 실업에 대한 전망

연구팀은 AI에 대한 기대가 경제 전망과 어떻게 연결되는지도 분석했다.

흥미로운 점은 두 집단 모두 자신의 업무를 AI가 많이 수행할 수 있을 것으로 예상할수록 향후 실업률도 높아질 것으로 전망하는 경향이 나타났다는 것이다.

Anthropic 직원이 AI의 기술적 능력을 더 낙관적으로 평가한다고 해서 노동시장에 미칠 영향을 모두 긍정적으로 예상한 것은 아니었다.

연구팀은 설문 응답을 경제 모형에 입력해 서로 다른 기대가 경제 성장률 전망에 어떤 차이를 만드는지도 분석했다.

그 결과 미국 성인 응답을 사용한 조건에서는 2030년 경제 성장률이 5.4%, Anthropic 직원 응답을 사용한 조건에서는 17.1%로 계산됐다.

하지만 이 수치에는 매우 중요한 제한이 있다.

이는 실제 경제의 2030년 성장률을 예측한 공식 전망이 아니다.

설문에서 얻은 주관적인 기대를 특정 경제 모형에 입력했을 때 나타나는 조건부 계산 결과다.

따라서 해당 수치를 미국 경제가 실제로 2030년에 17.1% 성장할 것이라는 근거로 사용해서는 안 된다.

경제 모형의 구조와 사용한 가정, AI 기술의 실제 발전 속도와 기업의 도입 수준에 따라 결과가 크게 달라질 수 있다.

AI 시대의 경제적 변화를 이해하는 방법

이번 연구는 AI에 관한 논쟁에서 서로 다른 질문들이 자주 섞여 있다는 점을 보여준다.

AI가 특정 작업을 기술적으로 수행할 수 있는가라는 질문이 있다.

그 기술을 실제 기업이 도입할 것인가라는 질문도 있다.

도입한 기업의 생산성이 얼마나 높아질 것인가도 별개의 문제다.

생산성이 높아졌을 때 노동자의 임금과 고용, 사회 전체의 경제 성장에 어떤 영향을 줄 것인지는 다시 다른 문제다.

이 질문들은 서로 연결돼 있지만 같은 답을 갖지는 않는다.

예를 들어 AI가 특정 작업을 빠르게 수행할 수 있어도 검증 비용이 높다면 실제 생산성 향상이 작을 수 있다.

반대로 작은 기술적 개선이라도 매우 많은 기업에서 반복적으로 사용하는 업무에 적용된다면 경제적 효과가 커질 수 있다.

연구팀은 AI 기술에 가까운 집단과 일반 대중 사이의 기대 차이를 확인하면서도, 어느 한쪽의 전망이 반드시 옳다고 결론 내리지 않았다.

이번 글은 AI의 미래를 예측할 때 모델의 성능 향상과 기술의 실제 확산, 경제적 영향을 구분해서 생각해야 한다는 관점을 제공한다.

특히 AI가 일자리와 기업의 생산성에 어떤 영향을 미칠지 관심이 있는 독자에게 유용한 연구 자료다.