Anthropic·METR 독립 평가 분석: 내부 접근과 공개 권한이 바꾸는 것

평가자에게 문을 열면 어떤 질문이 달라질까

공개 API로 모델을 시험하는 사람은 주어진 입력에 어떤 답이 나오는지 관찰할 수 있다. 그러나 이상한 답이 생성된 경위, 내부에서 비슷한 일이 얼마나 있었는지, 감시 체계가 이를 놓쳤는지는 답변만으로 알기 어렵다. 내부 접근은 이 질문들을 조사할 통로를 늘린다. 그렇다고 들어갈 수 있는 방과 밖으로 가져올 수 있는 자료가 같아지는 것은 아니다.

Anthropic의 10월 15일 발표는 METR 6명에게 내부 위험 평가팀과 대체로 비슷한 장비·공간·도구 접근을 제공했다고 설명한다. 고객 자료·법률상 비밀·모델 구조 등의 예외가 있다. METR 보고서의 공개 자체를 거부할 수는 없지만 정해진 범주의 정보는 가리도록 요구할 수 있고, 그 범주에 해당하는지는 Anthropic이 최종 판단한다. METR은 받은 접근과 정보 수준에 관해 일정한 진술을 할 권리를 갖는다. 이 조건의 각주는 10월 16일 정정됐다.

따라서 이번 변화는 조사 기회의 확대로 읽을 수 있다. 이 발표를 특정 모델이 모든 업무에서 안전하다는 평가 결과로 사용할 수는 없다. 이 글은 10월 19일 확인한 공개 문헌의 분석이며 내부 계약·시스템에 접근하거나 평가를 재현하지 않았다.

접근의 깊이와 공개의 자유는 다른 축이다

Anthropic이 설명한 등급은 다음과 같다. 등급은 이 회사의 협력 구조이며 업계 공통 인증 등급이 아니다. 출처는 위 발표의 ‘Our other evaluator partnerships’ 절이다.

등급	조사 접근	결과 공개
1	회사가 정한 좁은 조사 범위	회사 승인 필요
2	더 많은 정보	사전 승인 없이 공개하되 특정 정보 가림 가능
3	METR 사례처럼 직원과 유사한 접근	2등급과 비슷한 공개 권리

SecureBio의 현재 등급은 해당 최신 문장에서 지정하지 않으므로 임의로 채우지 않는다. 다른 협력사를 METR과 같은 접근 수준으로 묶어서도 안 된다.

이 구분이 유용한 이유를 가상의 보고서 두 개로 생각해 보자. A는 모델의 공개 응답만 조사했지만 방법과 결과를 모두 공개했다. B는 내부 사고 기록까지 읽었으나 중요한 부록은 공개하지 못했다. B는 원인에 더 가까이 갈 수 있고, A는 외부 독자가 더 쉽게 재검토할 수 있다. 어느 쪽이 무조건 낫다고 점수 하나로 정하기보다, 지금 결정하려는 문제에 필요한 근거가 어느 보고서에 있는지 찾아야 한다.

METR의 제안은 개별 협약과 어디서 구별해야 하나

METR의 10월 14일 일반 제안은 내부 AI의 통제 상실 위험을 조사할 세 질문을 제시한다. 해로운 행동을 시도하는가, 이를 잡고 막을 수 있는가, AI 연구개발의 가속이 대응 능력을 앞지를 수 있는가다. 개발사가 접근 요청을 거절하거나 정보를 가릴 수 있다는 한계도 명시한다. 법규 준수 감사나 모델 배포 승인, 보안 감사 전체를 대신하는 제안이 아니다.

여기서 중요한 것은 문서의 주어다. 이 제안은 여러 개발사와 진행할 평가의 방향을 설명한다. 앞의 Anthropic 발표는 특정 협력 관계를 설명한다. 두 문서의 표현 차이만으로 실제 계약 위반이나 무제한 접근을 단정할 수 없다. 판단에 필요한 것은 각 과제에서 실제 허용된 자료, 거절된 요청, 그리고 그것이 결론에 미친 영향이다.

METR의 별도 운영 원칙은 범위·기간, 접근 제한, 가려진 정보, 제약이 결론에 미치는 영향을 공개하겠다고 설명한다. 다만 모든 과거·진행 중 과제가 새 기준을 충족하는 것은 아니며, 자발적 협력에서 회사의 접근 허용에 의존한다는 한계를 인정한다. 그러므로 “METR 참여”라는 기관 이름보다 해당 보고서의 제한 설명을 읽는 편이 정확하다.

독립성의 기준을 더 넓게 볼 때는 AI Evaluator Forum의 공개서한을 비교점으로 쓸 수 있다. 이해관계·편집권, 다양한 전문성, 투명성, 불리한 결과에 대한 보복 방지, 충분한 접근을 요구한다. 9월 18일 발표된 이 서한은 권고이며, 서명이나 인용이 특정 협약의 충족 여부를 증명하지는 않는다.

내부 자료가 필요한 이유: 감지율 앞에 분모가 있다

알림으로 올라온 사례만 잘 분류하는 감시기와 위험한 행동을 전체 경로에서 발견하는 시스템은 평가 대상이 다르다. 감시기로 전달되지 않은 실행은 감시기의 분류 점수에 나타나지 않을 수 있다.

METR의 모니터링 평가 제안은 추론 로그와 감시 로그를 대조해 어떤 경로가 감시되는지 확인하고, 감시 체계 자체의 취약점·탐지 회피·사람의 대응·놓쳤을 때의 영향을 함께 살피도록 제안한다. 이는 조사 방법이며, 현재 Anthropic 시스템의 특정 실패율을 보고한 결과가 아니다.

다음은 원리를 설명하는 가정이다. 한 팀이 주 에이전트의 실행만 모니터링하고, 별도 작업자가 수행한 도구 실행은 수집하지 않는다고 하자. 보고서에 “검토한 경고는 모두 적절히 처리했다”고 적혀 있어도 별도 작업자의 행동이 안전했다는 결론은 나오지 않는다. 우선 필요한 것은 경고의 정확도 개선이 아니라 실행 경로 목록과 수집 누락의 확인이다.

반대로 중요한 도구 호출이 실행 전에 제한되고, 감시 누락 경로에는 외부 변경 권한이 없다면 위험의 크기는 달라진다. 같은 누락 건수만 비교해 두 구성을 같다고 판단할 수 없다. 어떤 행동이 가능했는지, 어느 시점에 차단했는지가 보고서의 관찰 단위와 함께 있어야 한다. 이 판단은 앞의 제안을 업무 설계에 적용한 분석이다.

고객지원 에이전트에 평가 보고서를 적용해 보면

고객지원 팀이 새 모델의 외부 평가 보고서를 받았다고 가정하자. 보고서는 내부 코딩 작업의 일부 감시 경로를 조사했고 중대한 발견을 보고하지 않았다. 팀은 같은 모델로 고객 문의 답변 초안을 만드는 기능과 자동 환불 기능을 검토한다. 이 상황과 아래 결정은 설명용 가상 사례이며 실제 기업의 보고서나 사고가 아니다.

설명용 업무 구성도. 평가 대상이 바뀌는 지점을 보여주며 제품 화면·실측 결과가 아니다.

초안 기능은 사람이 읽은 뒤 전송하고, 모델에 고객 계정 변경 권한을 주지 않는다고 하자. 팀은 외부 평가를 공급자 검토 자료에 포함하면서, 자체 문의 표본으로 오답·누락·근거 연결을 확인하는 작은 파일럿을 설계할 수 있다. 외부 평가에서 다루지 않은 한국어 문의 품질은 자체 확인 항목에 남긴다.

자동 환불은 다르다. 도구가 금액과 고객 계정을 바꾸고 재시도가 중복 처리를 만들 수 있다. 내부 코딩 환경의 감시 결과만으로 이 실행 경로까지 허용할 수는 없다. 보고서가 실제로 환불 시스템을 평가했는지부터 확인하고, 아니라면 권한·업무 규칙·중복 처리·실패 후 복구를 별도 시험 대상으로 잡는다. 이 경우 읽기 좋은 외부 평가가 있어도 자동 실행 범위는 그대로 둘 수 있다.

보고서와 우리 업무의 차이	이번에 가능한 결정	다음에 확인할 근거
모델은 같지만 도구·권한이 다름	공급자 자료로 보관, 자동 실행 확대는 별도 판단	우리 도구 권한과 실제 실행 경로
대상 모델 버전이나 평가 기간이 다름	현 버전에 대한 결론 유보	변경점과 재평가 대상
핵심 로그 접근이 제한됨	관찰한 범위로만 결론 축소	미관찰 경로와 결론 영향 설명
우리 환경과 유사하며 한계도 충분히 설명됨	제한된 파일럿의 근거로 활용	파일럿 중단 조건·사람 개입·복구 결과

이 표는 모든 조직에 같은 도입 금지선을 정하는 규정이 아니다. 되돌릴 수 있는 초안과 되돌리기 어려운 외부 변경의 차이를 결정에 반영하는 방법이다. 이미 별도 강제 통제와 업무 검증이 갖춰졌다면 추가 평가의 범위는 줄일 수 있다. 반대로 피해가 큰 작업이면 작은 파일럿도 충분하지 않을 수 있다.

보고서 한 편을 읽고 남길 여섯 줄

기관 로고를 비교하기 전에 다음 기록을 채워보자. 아래는 이 글에서 만든 독해 양식이며 METR이나 Anthropic의 공식 서식이 아니다.

1. 내가 결정할 행동: 어떤 자동화를 어디까지 허용할 것인가?
2. 평가 대상: 모델·버전·기간·도구·환경은 무엇인가?
3. 조사 범위: 어떤 위험 질문을 다뤘고 무엇을 제외했는가?
4. 관찰 방법: 직접 시험 / 로그 분석 / 담당자 설명 중 무엇인가?
5. 빈칸의 이유: 발견 없음 / 자료 없음 / 공개 과정에서 가림?
6. 결정과 다음 확인: 지금 허용할 범위, 보류한 범위, 재확인 계기

발견 없음은 정한 조사 범위와 방법 안에서 찾지 못했다는 기록이다. 자료 없음은 해당 질문을 평가할 근거가 부족하다는 뜻이다. 가림은 공개 독자가 볼 수 없는 부분이 있다는 뜻이며, 그 자체로 위험의 존재나 부재를 확정하지 않는다. 가림이 결론에 영향을 줬는지에 대한 평가자의 설명을 함께 보관해야 한다.

예를 들어 “로그 없음”을 “문제 없음”으로 바꿔 적으면 조사 실패가 성공처럼 남는다. “위험이 가려졌다”고 추측해서도 안 된다. 해당 항목은 미확인으로 두고, 자료를 추가로 받을지, 권한을 줄여 진행할지, 결정을 미룰지 정하면 된다. 복잡한 점수표보다 빈칸이 행동에 어떻게 연결되는지가 중요하다.

외부 평가의 가치는 내부를 볼 수 없던 독자가 더 나은 질문을 하고 결정을 고칠 근거를 얻는 데 있다. 다음 발표를 읽을 때도 접근 확대 소식, 실제 조사 보고서, 우리 업무의 허용 결정을 서로 연결하되 같은 사건으로 합치지 않는 것이 유용하다.

업무 자체의 완료율·검토 비용을 비교하려면 AI 에이전트 도입 평가로, 모델 카드와 제품 기능의 경계를 더 보려면 Muse Wonder 분석으로 이어 읽을 수 있다. 위 여섯 줄을 도입 기록에 복사하거나 이 글을 저장해 재평가 때 다시 대조해보자. 새 분석은 RSS에서도 받을 수 있다.