앤트로픽 “Claude가 AI 연구 26% 주도”…완전자율은 아직 0%
앤트로픽이 자사 AI 연구개발 업무의 자동화 수준과 에이전트 감시·연산 자원 배분을 수치로 공개했습니다. 2026년 8월 기준 Claude는 업무 26%를 높은 수준에서 주도했지만 완전자율로 수행한 측정 영역은 없었습니다. 회사 내부 자료와 자사 모델 평가에 기반한 시범 지표여서 독립 검증과 업계 공통 기준이 다음 과제입니다.
‘AI가 AI를 만든다’를 단계로 측정
앤트로픽이 9월 17일 최첨단 AI 연구소 안에서 자동화가 얼마나 진행됐는지 보여 주는 세 가지 지표를 공개했습니다. 핵심은 ‘Anthropic R&D Automation Index’입니다. 회사의 AI 연구개발 업무를 세부 항목으로 나누고 Epoch AI가 제안한 AL0~AL5 척도로 평가했습니다. AL3는 사람이 가까이 지시하며 AI가 큰 작업 덩어리를 맡는 ‘협업’, AL4는 높은 수준의 지시 뒤 AI가 대부분을 끝내고 사람이 감독하는 ‘주도’, AL5는 사람 없이 감지·수정·배포까지 하는 완전자율입니다.
8월 기준 Claude가 AL4 수준에서 주도한 업무는 26%, AL3 이상은 90%를 넘었습니다. 그러나 AL5로 분류된 측정 영역은 하나도 없었습니다. ‘Claude가 차세대 모델 26%를 혼자 만든다’는 해석은 틀립니다. 예를 들어 AL4에서는 AI가 고장 원인을 찾고 코드를 고쳐 시험할 수 있지만, 실제 배포 여부는 엔지니어가 검토해 결정합니다.
1만5천개 업무 기록에서 542개 분류를 만들다
지수는 2026년 7월 연구 부서별 직원의 20%를 매주 표본으로 뽑아 Slack과 내부 문서에서 약 1만5천개의 세부 업무를 정리하는 방식으로 만들었습니다. 이를 542개 분류와 378개 최하위 업무로 묶고, 투입된 사람 시간을 가중치로 사용했습니다. Claude 에이전트가 증거를 수집하고 별도의 Claude 판정 모델이 자동화 단계를 매겼습니다.
업무 담당자의 독립 평가와 비교했을 때 모델과 사람의 정확한 단계 일치율은 59%, 사람끼리는 35%였고 한 단계 이내 일치율은 97%였습니다. 경계가 모호하다는 뜻이기도 합니다. 평가 대상과 판정자가 모두 회사 내부에 있고 같은 계열 모델이 판단하기 때문에 자기평가 편향을 배제할 수 없습니다.
동시에 3만 에이전트, 10억건 결정을 감시
앤트로픽이 가장 많이 쓰는 내부 플랫폼에서는 특정 시점에 약 3만개의 연구·엔지니어링 에이전트가 활동했습니다. 온라인 감시는 행동 실행 전에 전부 검사하고, 오프라인 감시는 실행 뒤 기록을 다시 읽습니다. 8월 한 달 10억건이 넘는 결정 가운데 온라인 감시가 차단한 비율은 0.002%, 약 4만7천건당 1건이었습니다.
낮은 차단률을 곧바로 안전성 99.998%로 읽어서는 안 됩니다. 감시기가 위험 행동을 놓쳤는지 알 수 없고, 수치는 한 내부 플랫폼만 포함합니다. 오프라인 시스템은 매주 약 10만개 기록을 분류기로 거른 뒤 우선순위가 가장 높은 약 50건을 사람이 검토합니다. 규모가 커질수록 드문 오류도 반복될 수 있어 탐지율과 검토 지연을 함께 공개해야 합니다.
안전 연구 연산은 6%, 한 주짜리 스냅숏
7월 13~20일 연산 사용량을 분류한 결과 전체 AI 연구개발 연산의 약 6%가 안전 연구에 배정됐습니다. AI가 주도한 AI 연구 범위에서는 약 12%였습니다. 안전과 성능을 함께 개선하는 작업은 보수적으로 일반 연구개발에 넣었고, 별도 안전 분류기 운영 비용은 제외했습니다.
이 비율도 회사의 장기 예산 목표가 아니라 일주일 동안의 사용 현황입니다. 안전 연구는 사람이 실험을 설계하는 시간이 길고 실행 연산은 적을 수 있어 연산 비중만으로 노력 전체를 평가하기 어렵습니다. 분류 기준을 바꾸면 결과도 달라질 수 있으므로 같은 정의와 기간을 반복 적용하는지가 더 중요합니다.
공통 기준과 외부 검증이 다음 단계
앤트로픽은 여러 기관의 제3자 평가자가 내부 과정과 데이터에 접근하도록 하고 지표를 정기 공개하겠다고 밝혔습니다. 로이터와 AP도 26%가 사람 감독 아래의 ‘주도’ 단계이며 완전자율이 아니라는 점, 자체 평가의 한계를 함께 짚었습니다. 다른 연구소가 같은 척도로 공개하지 않는 한 회사 간 비교는 아직 불가능합니다.
이번 발표의 의미는 자동화 경쟁의 속도를 막연한 인상 대신 업무 비중·감시 범위·연산 배분으로 논의할 출발점을 만들었다는 데 있습니다. 앞으로 확인할 것은 외부 평가자가 원자료를 재현할 수 있는지, 에이전트 행동의 실제 탐지율이 공개되는지, AL4 비중이 늘 때 사람의 승인 권한과 테스트 기간이 유지되는지입니다.
기사가 마음에 드셨다면 하트를 눌러주세요.
기사 읽고, 잠깐 게임 한 판 어떠세요?
플레이 실력에 맞춰 난이도가 달라지는 15×15 오목
미니게임 고르기 ▶