AI의 ‘새로운 아이디어’ 판정은 믿을 만할까: Ai2 신규성 평가 연구

아이디어를 많이 만들수록 선별기의 판단이 중요해진다

연구팀이 다음 분기에 시험할 아이디어를 열 개 받았다고 하자. AI가 초안을 만드는 비용은 작아도, 데이터를 모으고 구현하고 결과를 해석하는 비용까지 작아지는 것은 아니다. 먼저 실행할 두 개를 고르는 평가자가 무엇을 새롭다고 여기는지가 연구 방향에 영향을 준다.

여기서 신규성은 선행 연구에 비해 어떤 기여가 새로 추가됐는가라는 질문이다. 잘 작동하는지, 사업에 유용한지, 구현할 수 있는지와는 구별된다. 기존 기법을 회사 데이터에 적용하는 일이 학술적으로 새롭지 않아도 업무 가치는 높을 수 있다. 반대로 새로운 가설이라도 지금 가진 데이터로 검증하지 못하면 당장 실행할 후보는 아닐 수 있다.

Ai2는 2026년 10월 27일 Old Ideas, Novel Problems 연구와 벤치마크를 소개했다. 논문은 10월 1일 처음 제출됐고, 이 글은 10월 26일 개정된 v3와 11월 1일 확인한 공개 자료를 기준으로 읽는다. 새로 공개된 것은 평가 연구이지, 어떤 아이디어든 신규성을 확정해 주는 서비스가 아니다. 공식 발표와 논문 버전 이력을 구분해 보면 이 시점이 명확하다.

93.5%와 40.9% 사이에서 바뀐 것

발표에서 눈에 띄는 사례는 GPT-5.4가 같은 인간·AI 생성 아이디어 쌍을 평가한 결과다. 한 지시는 심사자가 둘 중 하나를 새롭다고 판단했다는 정보를 주고 선택하게 했다. 다른 지시는 그 정보를 빼고 무엇이 새로운지 물었다. 연구진이 보고한 정확도는 각각 93.5%, 40.9%다. 차이는 52.6퍼센트포인트이며 테크독해의 재실험 결과가 아니다. Ai2의 결과 설명

두 지시를 뜻이 완전히 같은 문장이라고 보기는 어렵다. 앞의 지시에는 외부 심사 결과가 있다는 단서가 추가된다. 따라서 이 수치를 “단어 몇 개만 바꾸면 모든 AI 정확도가 절반이 된다”로 옮기면 실험의 범위를 벗어난다. 연구 기획자가 실제로 선택할 법한 평가 방식 사이에서도 결론이 크게 달라질 수 있다는 사례로 읽는 것이 맞다.

또 정확도 차이와 판정이 바뀐 비율은 다른 값이다. 어떤 변경은 오답을 정답으로, 다른 변경은 정답을 오답으로 옮길 수 있다. 두 방향이 상쇄되면 정확도는 그대로여도 개별 후보의 운명은 바뀐다. 점수 두 개만 보관하면 이 차이를 찾지 못한다.

필자의 해석은 이렇다. 생성기를 개선하기 전에 같은 후보를 어떤 평가 계약으로 고르는지 고정해야 한다. “상위 학회에서 새로운 기여로 볼 만한가”와 “이 두 개 중 상대적으로 더 새로운가”는 서로 다른 질문이다. 두 번째 질문에서 이긴 후보가 첫 번째 기준도 통과했다고 자동으로 바꾸면 안 된다.

무엇을 정답으로 삼았는지 먼저 읽자

연구진은 ICLR 2026의 심사에서 신규성을 긍정하거나 문제 삼은 근거를 추려 두 비교 구성을 만들었다. 공식 데이터·코드가 설명하는 풀은 다음과 같다. 단순히 채택 여부만으로 라벨을 붙인 것은 아니다. 고정 커밋의 데이터 구성

비교 구성	높은 신규성 쪽	비교 대상	읽을 때 남길 제한
Human-Only	심사 근거로 선별한 인간 아이디어 154개	낮은 신규성으로 선별한 인간 아이디어 145개	강하게 구분되는 양끝을 골랐으므로 일반 제안서 전체의 분포가 아니다
Human+Generated	같은 인간 아이디어 154개	단순 생성기로 만든 아이디어 154개	생성 아이디어가 덜 새롭다는 가정을 사용한 약한 라벨이다

약한 라벨은 모든 아이디어를 전문가가 하나씩 확인한 참값과 다르다. 논문은 문헌 검색·도구·반복 피드백 없이 만든 아이디어를 비교 대상으로 삼았고, 별도의 전문가 점검도 전체 라벨을 인증하는 과정으로 제시하지 않는다. 따라서 인간·생성 비교의 정확도에는 이 가정의 불확실성이 남는다. 반면 같은 입력에서 평가 설정에 따라 답이 바뀐다는 관측은 어느 라벨이 진짜 정답인지 몰라도 할 수 있다. 논문 v3의 구성과 한계

입력의 출처도 살펴볼 필요가 있다. 공식 데이터 카드는 인간 논문의 초록에서도 실험 성과 표현 등을 모델로 제거했고, 별도의 plan 형식은 목적과 메커니즘으로 다시 쓴 것이라고 설명한다. “human”이라는 표기가 가공하지 않은 원문 전체를 평가했다는 뜻은 아니다. 원자료, 변환된 입력, 라벨의 출처를 구분해야 다른 평가와 비교할 수 있다. 공식 데이터 카드

검색 결과가 많아도 기여의 차이를 읽어야 한다

이 연구에서 검색이나 추론량 확대는 모든 설정의 판단을 일관되게 개선하지 않았다. 논문이 살펴본 사례에는 구성 요소 각각을 다룬 문헌을 보고 조합 자체의 기여까지 부정하는 경우가 포함된다. 이것은 “검색이 쓸모없다”는 결론이 아니라, 가져온 문헌과 후보의 기여를 어떻게 대조하는지가 남는다는 결과다. 논문 v3의 검색 분석

다음은 그 문제를 업무로 옮긴 자체 구성 사례다. 실제 논문이나 실행된 모델 답변을 재현한 것이 아니다. 연구팀이 “문서의 변경 빈도를 이용해 검색 답변 캐시의 갱신 시점을 고른다”는 제안을 받았다고 하자. 후보를 한 문장으로만 평가하지 말고 비교할 단위를 나눈다.

대조할 항목	이 사례에서 기록할 내용	다음 행동
풀려는 문제	오래된 근거로 답하면서 비용도 낭비하는가?	기존 시스템의 오류와 비용 자료 확인
제안한 메커니즘	변경 빈도가 갱신 결정을 어떻게 바꾸는가?	입력·판단 규칙·출력을 구체화
가장 가까운 선행 연구	동일한 적응형 갱신 규칙을 이미 제시했는가?	제목 유사성 대신 방법 절의 해당 구간 읽기
주장하는 추가 기여	새 규칙, 새 조건의 보장, 특정 환경의 실증 중 무엇인가?	선행 연구와 다른 부분만 표시
남은 불확실성	동일한 방법의 다른 명칭을 놓쳤는가?	검색어·시점·범위를 넓혀 확인

검색에서 “캐시”와 “변경 감지”가 각각 나왔다고 해서 이 제안이 이미 발표됐다고 결론 내릴 수는 없다. 반대로 처음 검색한 다섯 문헌에 같은 방법이 없다고 해서 최초라고 할 수도 없다. 최종 판단에 필요한 것은 어느 자료의 어떤 기여가 후보와 겹치는가다.

이 양식은 새로운 기여를 증명하는 도구가 아니라, 담당자가 다음에 읽을 문헌과 검증할 가정을 정하는 도구다. 회사의 목표가 당장 오래된 답변을 줄이는 것이라면 신규성 논쟁을 멈추고 기존 방법의 적용 시험으로 넘어가는 결정도 타당하다.

정답 없이도 만들 수 있는 판정 전환표

평가 설정을 바꿨을 때 평균 점수만 비교하지 말고 같은 후보 ID별 판정을 맞춰보자. 아래는 필자가 만든 8쌍의 가상 기록이다. A와 B는 각 쌍 안에서 고정된 후보 ID이며, ‘보류’는 결론을 내리지 못한 상태다. 실제 모델 응답이나 Ai2 데이터가 아니다.

아이디어 쌍	설정 P	설정 Q	이동
1	A	A	유지
2	B	B	유지
3	A	B	단정 반전
4	B	A	단정 반전
5	A	보류	새 보류
6	보류	A	보류 해소
7	보류	보류	보류 유지
8	A	A	유지

P와 Q 모두 결론을 낸 건수는 6건으로 같다. 그러나 단정 반전은 전체 8건 중 2건, 25%다. 양쪽 모두 결론을 낸 5건만 분모로 삼으면 40%가 된다. 보류로 들어오고 나간 경우까지 센 상태 변경은 4/8, 50%다. 무엇을 세고 어떤 분모를 썼는지 함께 적어야 한다.

이 표에서는 참값을 주지 않았으므로 정확도를 계산할 수 없다. Q의 결론이 더 좋아졌는지도 모른다. 대신 3·4번은 상반된 판단의 근거를 대조하고, 5번은 보류가 생긴 이유를 읽고, 6번은 새로 결론을 낼 근거가 실제로 늘었는지 확인할 수 있다. 안정적인 오답도 가능하므로 1·2·8번 역시 표본을 골라 선행 연구와 확인해야 한다.

팀이 반복 평가를 한다면 후보 본문·문헌 묶음·모델 버전·프롬프트를 보관한 뒤 한 번에 바꾼 요소를 기록한다. A/B 표시 순서를 바꿨다면 출력의 첫째·둘째 위치를 고정 후보 ID로 되돌린 후 비교한다. 같은 조건의 반복 실행에서도 달라지는 정도를 먼저 봐야, 프롬프트 변경과 우연한 출력 변동을 구별할 수 있다. 이 절차는 제안이며 이 글에서 모델을 호출해 효과를 측정하지 않았다.

다음 회의에 가져갈 것은 점수보다 근거와 재검토 대상이다

연구 후보 선별에 적용한다면 결과를 세 가지 묶음으로 넘길 수 있다. 이는 Ai2의 공식 운영 지침이 아닌 필자의 제안이다.

• 검토를 진행할 후보: 새 기여가 무엇인지 명시돼 있고 가장 가까운 선행 연구와 차이를 설명한다. 다음 실험의 질문과 필요한 자원을 붙인다.
• 판정이 갈린 후보: 바뀐 평가 조건과 서로 충돌하는 근거를 함께 넘긴다. 투표 한 번으로 숨기지 않고 관련 문헌을 읽을 담당자를 정한다.
• 근거가 부족한 후보: 못 찾은 자료와 조사 범위를 남긴다. 검색을 더 할지, 신규성 주장을 줄일지, 실용 적용 과제로 옮길지 정한다.

판정·선행 근거 기록지는 위 사례를 자기 후보로 바꿔 채우는 빈 양식이다. 가상 8건의 집계 정의도 함께 넣었다. 숫자에 맞추기 위한 통과 기준은 없으며, 연구 분야와 잘못 탈락시켰을 때의 손실에 따라 재검토 범위를 정해야 한다.

공식 실험을 재현하려는 독자는 공개 코드의 실행 안내를 확인할 수 있다. 데이터 열람과 외부 모델 API를 부르는 평가는 비용·환경이 다르다. 이 글은 공개 자료를 읽고 가상 표의 산술을 확인했으며, 저장소 설치·모델 호출·한국어 제안서 평가는 하지 않았다. 보고된 수치를 현재 모든 모델의 순위로 사용하지 않는다.

평가 기관이 어떤 자료를 볼 수 있는지부터 판단하려면 Anthropic·METR 평가 분석, 문헌이 입력에 들어간 뒤의 오류를 좁히려면 RAG 오류 진단으로 이어 읽을 수 있다. 기록지를 채운 뒤 이 글을 저장해 평가 설정을 바꿀 때 대조하거나, 새 분석을 RSS로 받아볼 수 있다.