AI 모델은 그대로 두고 실행 방식만 바꿨더니 추론 벤치마크에서 인간이 사용하는 행동의 98.98% 수준에 도달했다는 연구 결과가 나왔다. 이전에는 모델의 크기나 매개변수를 늘려 성능을 높이려 했지만, 이번 연구는 에이전트가 사고하는 프레임워크 자체를 개선하면 비슷한 효과를 낼 수 있다는 점을 보여줬다.
이로써 AI 성능 경쟁의 초점이 모델 개발에서 에이전트 설계로 옮겨질 가능성이 커졌다. 공개 세트 테스트에서 특정 모델 조합이 98.98%라는 매우 높은 점수를 기록했으며, 다른 모델 조합으로도 95.35%를 달성했다. 기존 리더보드 1위 기록이 13.33% 수준이었던 것과 비교하면 약 7배 이상 높은 수치다. 다만 이는 연구팀 자체 측정결과이며 공식 검증은 아직 진행되지 않았다. 평가 방식은 간단하다. AI에게 64×64 픽셀 격자와 가능한 행동 목록만 주고 게임 규칙은 알려주지 않는다. 에이전트는 직접 움직이며 시행착오를 거쳐 규칙을 스스로 파악해야 한다. 점수는 인간이 문제를 풀 때까지 쓴 행동 수와 비교해 산출하며, 100%는 인간만큼 효율적으로 해결했다는 뜻이다.
새 프레임워크의 핵심 아이디어는 ‘물리학자의 사고방식’을 모방한 것이다. 물리학자는 실험 데이터를 보고 먼저 물체의 종류와 상태를 정의한 뒤 법칙을 검증한다. 같은 방식으로 AI도 화면 속 객체를 분류하고, 행동에 따른 변화를 코드로 작성한다. 이 과정은 객체 정의와 법칙 추론이 동시에 진행되며, 예측이 틀릴 경우 계획을 고치는 데 그치지 않고 상태 정의와 규칙 자체를 함께 수정한다. 이는 과학자의 사고 흐름과 유사하다.
- AI는 매 행동을 취하기 전 내부 시뮬레이션을 통해 결과를 예측한다.
- 예측과 실제 결과가 다르면 기존 계획을 버리고 규칙 이해부터 다시 시작한다.
- 이 과정을 반복하며 스스로 세계 모델을 점진적으로 다듬어 간다.
특히 주목할 점은 동일한 모델이라도 실행 환경에 따라 성능 차이가 크다는 사실이다. 한 모델을 일반적인 환경에서 돌리면 42.83%였던 점수가, 새 프레임워크를 적용하면 98.98%까지 올라갔다. 약 56%포인트의 차이가 모델 자체의 능력이 아니라 실행 프로세스의 차이에서 비롯된 것이다. 다만 연구팀은 공개 세트 결과가 비공개 세트에서도 그대로 재현된다는 보장은 없다고 강조했다. 일반적으로 공개 세트 점수가 비공개보다 높게 나오는 경향이 있기 때문이다.
이번 결과는 출시 직후 최고 성능이 0.51% 수준에 불과했던 평가 기준이 불과 몇 달 만에 극적으로 발전했음을 보여준다. 매개변수를 늘리지 않고도 프레임워크 개선만으로 큰 폭의 성능 향상이 가능하다는 점이 업계에 시사하는 바가 크다. 앞으로 AI 개발 경쟁은 모델 자체를 키우는 데서 에이전트 실행 구조를 고도화하는 데로 무게중심이 이동할 것으로 보인다.
#추론벤치마크 #실행프레임워크 #에이전트설계 #AI