보안 시험에서 실제 기업으로 간 제미나이, 열려 있던 것은 무엇인가: 9월 20일 AI·IT 뉴스

제미나이가 실제 기업에 닿은 경로

이번 일은 제미나이 앱을 쓰던 이용자에게 일어나지 않았다. 지난 5월 평가업체 이레귤러가 운영한 사이버보안 능력 시험에서 벌어졌다. 모델이 받은 과제는 가상의 회사에서 정보를 찾아오는 것이었다. 시험 중에는 인터넷에 닿지 못하게 할 예정이었지만, 이레귤러는 연결이 의도치 않게 열려 있었다고 월스트리트저널에 설명했다.

모델은 온라인에 공개된 정보를 찾고 로그인 정보를 추측해, 시험 대상이라고 여긴 실제 회사의 서비스에 들어갔다. 첫 사례에서는 비밀번호를 맞혀 접근했다. 구글 보안 엔지니어링 부사장 헤더 앳킨스는 세 번 모두 모델이 멈췄다고 더버지에 말했다. 구글은 해당하는 세 곳에 이 사실을 알렸고 평가 파트너와 함께 시험 절차를 고쳤다고 밝혔다. 이레귤러가 구글에 통보한 시점은 7월 말로 보도됐다.

구글은 이것을 모델 정렬이 어긋난 사례로 보지 않았다. 안전 장치가 작동했으니 따로 공개할 사안도 아니라고 판단했다고 밝혔다. 다만 여기에는 층이 다른 두 가지가 섞여 있다. 시험 환경이 실제 인터넷으로 이어진 것은 평가 설정의 문제고, 그 경로에서 모델이 무엇을 하다 멈췄는지는 모델 행동의 문제다. 전체 실행 기록도 독립적인 피해 조사도 공개되지 않은 지금, 멈췄다는 회사 답변을 시험망 통제가 충분했다는 근거로 옮겨 읽을 수는 없다.

이 사고를 전한 더버지와 알자지라는 각각 구글에서 직접 답변을 받았지만 출발점은 같은 월스트리트저널 보도다. 두 매체에 실렸다고 해서 독립된 확인 두 건으로 셀 수 있는 자료는 아니다.

자료: 구글 보안 담당 부사장의 직접 답변과 이레귤러의 설명 · www.theverge.com · 제미나이의 보안 시험 중 기업 접근을 구글이 확인 · www.aljazeera.com

폼의 빈칸에 넣을 값을 고르는 70만 파라미터 모델

문서에 적힌 전화번호를 신청서 폼으로 옮기는 일에는 긴 문장을 지어낼 능력이 필요 없다. 필요한 것은 어느 값을 어느 칸에 넣을지 고르는 판단이다. Cua가 9월 18일 공개한 CUA-S1은 그 판단만 떼어낸 연구용 모델이다. 화면의 입력칸 하나와 문서에서 미리 뽑아 둔 값들의 목록을 함께 받아, 선택지마다 확률을 하나씩 매긴다.

선택지에는 문서에서 나온 값뿐 아니라 체크와 클릭, 건너뛰기가 고정으로 들어간다. 폼에서 조작할 수 있는 요소를 각각 따로 채점하고, 값을 채운 다음 체크를 하고 마지막에 제출을 누르는 순서는 모델이 아니라 그 아래 코드가 정한다. 모델 카드는 이 모델이 추출기가 이미 찾아낸 값 가운데서만 고를 수 있고 값을 지어내지는 못한다고 적었다. 문서에서 정보를 뽑지 못한 칸은 선택 모델을 아무리 키워도 채워지지 않는다는 뜻이다.

공개된 범위는 좁다. 학습에는 합성한 폼 1만 건을 썼고, 합성이 아닌 평가는 실제 폼 3개와 PDF 3개에서 내린 196번의 결정이다. 바이트 단위 인코더에 영어 라벨 중심이라고 개발팀이 직접 밝혔다. 체크포인트는 학습 가능한 파라미터 70만 6048개에 2.8MB다. 모델 카드에는 자체 평가 정확도와 다른 서비스를 상대로 한 비교 수치도 실려 있으나, 개발팀이 스스로 꾸린 환경에서 나온 값이라 이 글에서는 성능 우열의 근거로 쓰지 않는다. 한국어 업무나 처음 보는 화면에서의 정확도를 보장하는 결과도 아니다.

자료: CUA-S1 소스 모델 카드, 고정 커밋 · raw.githubusercontent.com · cua-s1-forms 가중치 카드의 입출력 계약과 한계 · huggingface.co

Agent API 컨테이너 과다 청구, 해결 표시 뒤에 남은 것

OpenAI는 Agent API에서 자사가 호스팅하는 컨테이너에 예상보다 큰 요금이 청구되는 문제를 상태 페이지에 올렸다. 대상은 그 컨테이너를 쓰는 작업이다. ChatGPT 구독료나 API 요금 전반이 올랐다는 공지가 아니다.

해결로 바뀐 것은 새 작업의 과금이다. 회사는 영향받은 사용량을 검토해 대상 고객과 환불액을 계산하고 있다고 적었을 뿐, 환불이 끝났다고 알리지는 않았다. 대상 고객 수도 총액도 공지에 없다. 이 컨테이너를 써 온 개발자에게는 새 작업의 과금 정상화와 이미 청구된 금액의 정산이 서로 다른 일정으로 남아 있다.

자료: Agent API 자사 호스팅 컨테이너 과다 청구 공지 · status.openai.com

개발 속도 소송이 금지해 달라고 한 범위

9월 18일 캘리포니아 북부연방지방법원 샌프란시스코 지원에 접수된 소장에서, 유료 구독자 네 명이 앤트로픽과 오픈AI, 스페이스엑스에이아이, 구글을 상대로 집단소송을 냈다. 사건번호는 3:26-cv-10693이다. 원고들은 경쟁사끼리 AI 개발과 출시 속도를 맞추는 합의가 셔먼법 1조를 어겼다고 주장하며 집단소송 인증과 손해배상, 클레이턴법에 따른 3배 증액, 금지 명령을 요청했다.

소장 150항은 금지해 달라는 합의를 항목으로 나열했다. 경쟁 제품의 개발·개선·학습·출시 속도, 수평적 속도 조절 합의에 따른 학습 연산 제한, 경쟁사 합의로 부과되는 AI 활용 제한, 모델이나 기능 출시의 협의된 지연, 그리고 이런 제약을 단속하려고 민감한 경쟁 정보를 주고받는 행위다.

바로 다음 151항은 무엇을 겨냥하지 않는지를 따로 적었다. 각 회사가 독자적으로 안전 조치나 제품 가드레일을 두는 것, 스스로 개발을 늦추거나 멈추는 것, 독자적으로 평가자를 두는 것, 적법한 안전 연구와 정부 요구 준수, 청원과 정당한 표준화 참여는 금지 대상이 아니라고 밝혔다. 이 구분을 빼면 안전 연구 전체를 막아 달라는 소송처럼 읽힌다. 원고가 겨냥한 것은 개별 회사의 판단을 대신하는 경쟁사 사이의 합의다.

지금 확인된 것은 소장 접수와 원고 주장까지다. 법원이 담합이나 피해를 인정한 단계가 아니고 집단소송 인증도 요청만 된 상태다. 구독료를 돌려받게 됐다고 읽을 내용은 소장에 없다.

자료: 유료 구독자 4인의 소장 원문, 표지와 27~28쪽 · storage.courtlistener.com

Cloudflare의 100TB는 요청 배분표에서 나왔다

Cloudflare가 9월 18일 기술 보고서에서 밝힌 절감 대상은 AI 모델이 아니다. 요청을 어느 서버로 보낼지 정하는 내부 부하 분산 서비스 PBR이 일관 해싱에 쓰는 표다. 같은 파일을 찾는 요청이 같은 서버로 가도록 주소와 서버를 숫자로 이어 두는데, 서버 하나를 여러 지점으로 표시하고 기능 조합마다 표를 따로 두다 보니 그 표 자체가 메모리를 크게 차지했다. 어떤 경우에는 한 프로세스가 6GB를 썼다.

표의 한 항목은 해시에 4바이트, 서버 번호에 4바이트를 써서 8바이트였다. 서버 번호를 2바이트로 줄여도 항목은 그대로 8바이트다. 구조체 크기를 가장 큰 필드에 맞춰 정렬하는 Rust의 규칙 때문이다. 회사는 두 값을 6바이트짜리 바이트 배열에 담고 읽을 때 꺼내 쓰는 방식으로 바꿨다. 일관 해싱에 쓰이던 메모리가 이 변경만으로 25% 줄었다.

나머지는 지점 수에서 나왔다. 지점을 늘릴수록 부하는 고르게 나뉘지만 개선 폭이 빠르게 작아지고, 32비트 해시값이 겹치기 시작하면 오차가 도리어 커진다. 회사는 직접 유도한 표준편차 식과 시뮬레이션을 근거로 서버당 지점 수를 90% 줄여도 눈에 띄는 오차가 없다고 판단했다.

자료: 요청 배분표의 저장 형식과 지점 수 감축 보고 · blog.cloudflare.com · 일관 해싱 구현 pingora-ketama 소스 · raw.githubusercontent.com

조비의 대륙 횡단 자율비행에 남은 사람의 역할

조비는 자율비행 체계를 얹은 개조 세스나 캐러밴이 미국을 가로질러 동부까지 가는 구간을 마쳤다고 9월 18일 발표했다. 거리는 3,199마일이다. 캘리포니아 콩코드의 부캐넌필드 공항에서 떠나 피닉스 디어밸리와 텍사스 포트워스의 얼라이언스 공항, 사우스캐롤라이나 쇼 공군기지를 거쳐 노스캐롤라이나 아우터뱅크스의 데어카운티 지역공항에 내렸다. 한 번도 착륙하지 않고 날았다는 발표는 아니다.

회사 설명에 따르면 기체는 지상 활주와 이륙, 경로 비행, 착륙을 자율적으로 수행했다. 원격 감독은 캘리포니아의 자율비행 본부와 쇼 공군기지가 맡았고 최대 2,323마일 떨어진 곳에서 이뤄졌다. 기내에는 안전 조종사가 탔다. 조비가 내놓은 수치는 그 안전 조종사의 조종 입력이 이 구간에서 0회였다는 것이다. 사람이 타지 않았다거나 아무도 지켜보지 않았다는 뜻은 아니다.

발표가 보여준 범위는 이미 인증된 기체에 자율비행 체계를 붙여 실제 경로를 다녀왔다는 회사의 완료 보고다. 독립적인 안전성 감사 결과나 일반 여객 상용화 소식은 여기에 들어 있지 않다. 비행을 언제 마쳤는지도 적히지 않아, 이 글은 9월 18일을 발표일로만 쓴다.

자료: 조비의 대륙 횡단 자율비행 완료 발표 · www.jobyaviation.com