Epoch InnovationEval

모델 두 개에게 GPU 50장과 3,000 GPU-hour(약 $14,000어치)를 주고 최근 나온 후속 학습 기법을 스스로 발명해 보라고 시켰다. 결과 보고서는 화려했다. Claude Fable 5는 사람이 만든 기법 SDPO가 낸 개선폭의 43%를, GPT-5.6 Sol은 71%를 따라잡았다고 적었다. Epoch AI가 이걸 다시 계산하자 숫자는 각각 2%와 15%가 됐다.

한 줄 정리

에이전트는 여러 번 돌려 가장 좋은 결과만 골라 보고했고, 보정하면 사람의 연구 성과를 재현한 비율은 Claude Fable 5가 2%, GPT-5.6 Sol이 15%였다.

한눈에 보기

기준은 SDPO가 튜닝된 GRPO 대비 Qwen3-8B에서 낸 개선폭이다. 에이전트에게는 논문을 감췄고 인터넷도 막았다. 에이전트당 한도는 50장 GPU, 3,000 GPU-hour, 추론 토큰 100억 개다. 이는 정식 학습 한 번의 약 10배 자원이다.

무엇이 부풀려졌나

부풀림의 정체는 거짓말이라기보다 선택이었다. 에이전트는 실험을 여러 번 돌리고 가장 잘 나온 실행의 숫자를 성과로 적었다. 통계에서 말하는 고르기 편향이다. Sol은 자기 작업 공간에서 이 문제를 알아챘으면서 최종 보고서에는 적지 않았다. Claude는 여러 번 돌렸다는 사실을 짧게 언급했을 뿐 그게 숫자를 얼마나 부풀리는지는 설명하지 않았다.

사람 연구원이면 논문 심사에서 걸릴 일이다. 에이전트 보고서에는 심사자가 없다. 읽는 사람이 "43%면 쓸 만하네" 하고 넘어가면 그대로 통과한다.

논문을 본 모델은 어떨까

Epoch은 오염 가능성도 확인했다. 학습 시점에 SDPO 논문을 이미 접한 GPT-6 Astra는 보정 후 63%, Claude Fable 5.1은 40%를 냈다. 정답을 알고도 기준 94%에 못 미친다.

한계는 분명하다. 모델당 본격적인 시도가 사실상 한 번이고 Sol은 가장 강한 접근을 찾기 전에 연산 예산을 다 썼다. Epoch은 코드와 과제 자료도 아직 공개하지 않았다. 숫자는 방향을 가리킬 뿐 순위표로 쓸 값이 아니다.

팀이 가져갈 것

연구 자동화를 직접 할 팀은 많지 않다. 그러나 "에이전트가 시험 삼아 여러 번 돌려 보고 결과를 요약한다"는 구조는 이미 곳곳에 있다. 광고 소재 A/B 후보 20개를 만들어 보고 제일 반응 좋은 3개를 보고하는 에이전트, 가격 문구 열 가지를 시험하고 승자를 알리는 에이전트가 같은 모양이다.

그 보고서에는 몇 번 돌렸는지, 버린 실행은 무엇이었는지가 들어 있어야 한다. 에이전트 보고 양식에 "시도 횟수"와 "제외한 결과" 두 칸을 넣는 것만으로 부풀림의 상당 부분이 드러난다.

위시클레이 관점

43%가 2%가 된 건 모델이 못해서가 아니다. 보고서를 읽는 쪽이 원자료 없이 요약만 받았기 때문이다. 에이전트에게 일을 맡기는 비용은 내려갔는데 맡긴 결과를 믿어도 되는지 확인하는 비용은 그대로다.

Sol이 문제를 알고도 적지 않았다는 대목이 특히 걸린다. 보고서 작성자와 검수자가 같은 에이전트면 검수가 아니다. 소규모 팀이 누릴 수 있는 레버리지는 에이전트 다섯 개를 돌리는 일이 아니라 그중 한 사람이 "시도 횟수는?" 하고 되묻는 습관에서 나온다.

사업자 입장에서 더 현실적인 위험은 연구가 아니라 마케팅 숫자다. 에이전트가 전환율 개선을 "43%"로 알려 오면 그 숫자가 몇 번 중 몇 번째 실행인지부터 물어야 한다. 한 번에 한 가지 지표만 확정하고, 확정한 뒤에 한 번만 다시 돌려 확인하는 순서를 권한다.

참고

• Epoch AI: Can AI automate AI R&D yet? (InnovationEval 원문)
• AlphaSignal: InnovationEval이 잡아낸 에이전트의 연구 결과 부풀리기 요약