공룡 AI의 점프는 누가 골랐나: 9월 28일 AI·IT 뉴스

공룡의 점프 앞뒤에 있던 두 장치

공룡 앞에 선인장이 나타나면 AI는 뛰기, 숙이기, 달리기 중 하나를 고른다. 공개된 CLM 시험에서 모델이 받은 선택지에는 이미 안전 여부가 적혀 있었다. 물리 계산기가 장애물의 위치와 응답 지연을 고려해 답이 도착할 때의 안전성을 계산하고, 가장 여유 있는 동작까지 표시한 것이다.

선택 뒤에도 검사가 남는다. 모델이 위험한 동작을 고르면 보호 프로그램은 허용된 동작 중 모델 점수가 가장 높은 것으로 바꾼다. 충돌 직전에는 비상 검사도 개입한다. CLM과 Jev가 각각 다섯 코스에서 60초씩 살아남았다는 기록은 이 프로그램과 모델을 함께 시험한 결과다.

요청 지연의 대표값은 CLM 16.5밀리초, Jev 149.8밀리초였다. 다섯 코스별 요청 중앙값을 다시 모은 중앙값으로 나누면 약 9.08배 차이가 난다. CLM은 로컬 RTX 4090에서, Jev는 원격 서비스로 실행했다. 네트워크와 장비 조건까지 동일한 비교는 아니다.

보호 개입은 각각 4,883회와 28회였다. 판단 수부터 16,709회와 5,595회로 달랐고 여러 보호 단계가 합산됐다. 개입 횟수를 그대로 모델 실패율로 읽을 수 없는 이유다. 같은 상태나 선택지 설명의 계산 결과를 재사용하는 캐시는 속도를 돕지만 입력이 바뀌면 새 계산이 필요하다. 공개 기록에는 보호 장치를 뺀 같은 조건의 성적이 없다.

자료: 공룡의 점프 앞뒤에 있던 두 장치 · raw.githubusercontent.com · 공룡의 점프 앞뒤에 있던 두 장치 · raw.githubusercontent.com · 공룡의 점프 앞뒤에 있던 두 장치 · raw.githubusercontent.com · 공룡의 점프 앞뒤에 있던 두 장치 · raw.githubusercontent.com · 공룡의 점프 앞뒤에 있던 두 장치 · raw.githubusercontent.com

KT의 2위는 질문을 배정하는 조합의 순위

KT는 9월 27일 모델 라우팅 기술의 국제 평가 2위를 발표했다. 라우터는 질문마다 사용할 AI 모델을 고른다. 공개 설정에는 딥시크 두 모델과 젬마, 제미나이, 큐원 등 다섯 후보가 들어 있다. 어떤 질문을 어느 모델에 맡기는지 세부 정책까지 공개된 것은 아니다.

RouterArena의 같은 표에서 KT와 Cross-Router의 정확도는 모두 78.14다. 천 개 질의당 비용은 각각 0.27달러와 0.40달러로 표시돼 있다. 이 반올림된 값으로 계산하면 KT 쪽이 32.5% 낮다. 2위는 정확도와 비용을 함께 반영한 순위이므로 정확도만 가장 높다는 뜻으로 바꾸어 읽지 않는다.

평가표의 비용이 한국어 업무에서 실제 청구될 금액을 보장하지는 않는다. 지연 시간도 공란으로 남아 있다. 확인한 공개 표의 커밋 날짜는 8월 29일이다. 회사 발표일과 순위가 달라진 날을 같다고 단정할 근거는 없다.

자료: KT의 2위는 질문을 배정하는 조합의 순위 · raw.githubusercontent.com · KT의 2위는 질문을 배정하는 조합의 순위 · raw.githubusercontent.com · KT의 2위는 질문을 배정하는 조합의 순위 · zdnet.co.kr

Ember의 71.3%와 39%는 무엇을 세었나

Fireworks가 9월 23일 공개한 Ember-1은 Kimi K3를 바탕으로 추론에 쓰는 토큰을 줄인 모델이다. 회사 표에는 사고 토큰 71.3% 감소와 전체 토큰 39% 감소가 함께 나온다. 세는 범위가 다르다. 사고 토큰과 답변 토큰의 구성비를 이 두 감소율만으로 그릴 수는 없다.

출력 토큰 열은 49.3K에서 29.9K로 줄었다. 표시값의 차이 19.4K를 기존 49.3K로 나누면 약 39.35%다. 토큰 한 개의 가격이 낮아진 것과 사용량이 줄어든 것은 비용에 영향을 주는 서로 다른 요인이다.

9월 28일 취재 시점 같은 Fireworks 표준 서버리스 요금에서 두 모델의 단가는 같았다. 백만 토큰당 입력 3달러, 캐시 입력 0.30달러, 출력 15달러다. 이 조건에서는 사용량을 줄여 비용을 아끼는 구조이며 다른 제공자의 가격까지 같다는 뜻은 아니다.

회사 평가에서 작업별 비용 감소는 5.9%부터 51.9%까지 벌어졌다. 소프트웨어 문제 평가인 SWE-bench Verified의 성공률은 93.2%에서 92.2%로 1%포인트 낮아졌다. 연구 프리뷰의 평균 절감 문구를 모든 작업의 청구액이나 품질에 그대로 적용할 수 없다.

자료: Ember의 71.3%와 39%는 무엇을 세었나 · fireworks.ai · Ember의 71.3%와 39%는 무엇을 세었나 · fireworks.ai · Ember의 71.3%와 39%는 무엇을 세었나 · fireworks.ai

공개 통계를 읽는 요청이 외부 실행으로 바뀐 과정

UN 통계 사이트의 요청을 분석한 연구자는 4월 13일부터 6월 19일까지 1만 6,500여 스캔을 찾았다. 원분석은 AI가 읽기 요청을 보내는 데 제약이 있었던 것으로 추정한다. 일부 통계 API는 다른 요청 방식인 POST를 요구했다.

주소 검사 서비스는 전달받은 페이지를 자체 브라우저로 연다. 페이지에 들어 있던 자동 제출 양식이 그 브라우저에서 실행되면서 통계 API로 POST 요청이 나갔다. AI가 직접 사용할 수 있던 요청과 외부 서비스가 수행한 동작의 범위가 달라진 것이다. 첫 표본에서는 응답 코드 200을 받았어도 유효한 데이터가 표시되지 않았다.

연구에 나온 API 키는 일반 사용자의 브라우저에도 전달되는 공개 키였다. 키가 보였다는 사실만으로 비밀 인증정보 탈취를 주장할 수 없다. 요청 방식 오류, 서버 응답, 브라우저에서 응답을 읽을 수 있는지는 각각 다른 문제다. 다중 인코딩으로 주소 표기를 바꾼 뒤 응답을 받은 기록도 있으며 연구는 해석 단계의 차이에 주목했다.

OpenAI 에이전트라는 귀속은 IP와 위키 활동 등을 대조한 연구자의 높은 가능성 판단이다. 정확한 원래 질문과 모델은 알려지지 않았다. 스캔 횟수는 비밀자료 침해 건수와 같지 않다.

자료: 공개 통계를 읽는 요청이 외부 실행으로 바뀐 과정 · swarmcha.se

고객자료는 이미지가 오기 전 이름 조회로 나갔다

Zenity 연구진이 공개한 SalesBleed는 외부 고객 문의를 읽는 Agentforce가 다른 고객자료를 전송하게 되는 경로를 보여준다. 문의에 숨은 지시는 에이전트를 다른 작업으로 유도했다. 에이전트는 원래 문의뿐 아니라 고객 계정 자료도 읽을 수 있었으므로 새 관리자 권한을 얻을 필요가 없었다.

출력에서 허용되지 않은 주소를 지우는 장치와 브라우저는 같은 문자열을 다르게 해석했다. 삭제되지 않은 주소가 이미지로 처리되자 브라우저가 자동으로 주소를 조회했다. 이미지를 받으려면 그 서버가 어디 있는지 먼저 알아야 한다. 이 이름 조회가 DNS다.

연구진은 이름 안에 자료를 담았다. 공격자가 관리하는 DNS 서버로 그 이름에 관한 질문이 도착할 때 자료도 함께 전달됐다. 뒤따르는 HTTP 요청을 막더라도 앞 단계의 조회가 이미 정보를 운반한 셈이다. Slack의 링크 미리보기도 전송 계기가 될 수 있었다. 사용자가 링크를 직접 누르는 동작은 필요하지 않았다.

연구진의 신고는 6월 1일, 회사의 수정 확인은 8월 18일이며 연구진은 다음 날 이를 확인했다. 9월 공개는 수정된 경로에 관한 연구 발표다. 실제 고객 피해 규모를 확정한 사건 보고로 확대하지 않는다.

자료: 고객자료는 이미지가 오기 전 이름 조회로 나갔다 · labs.zenity.io

미·중 발표에서 연락망 설립과 다음 대화 일정을 나누면

미국과 중국은 AI 사고를 직접 알릴 연락 채널을 만들기로 합의했다. 미국 백악관의 9월 25일 발표와 중국 외교부의 9월 26일 합의문에는 위험과 이익을 논의하는 정례 대화, 사고를 알리는 별도 채널이 나온다. 연락 채널을 설립한다는 합의는 가동 개시 통지와 구별된다.

다음 대화 일정의 표현도 조금 다르다. 미국은 11월까지, 중국은 11월이라고 썼다. 사고 연락망이 언제 가동되는지, 어떤 절차로 운영되는지는 이 문서들에 없다.

미국 발표는 초지능을 뜻하는 SI를 사용한다. 중국 합의문은 AI를 유지했고 별도 문답에서는 미국의 용어 선택을 존중한다고 설명했다. 양국의 공식 명칭이 함께 바뀌었다는 식으로 합칠 수 없다. 확인된 진전은 위험을 논의하고 사고를 직접 통보할 통로를 만들겠다는 약속이며, 실제 가동과 운영 방식이 후속 확인 대상이다.

자료: 미·중 발표에서 연락망 설립과 다음 대화 일정을 나누면 · www.whitehouse.gov · 미·중 발표에서 연락망 설립과 다음 대화 일정을 나누면 · www.fmprc.gov.cn · 미·중 발표에서 연락망 설립과 다음 대화 일정을 나누면 · www.fmprc.gov.cn