여러 인공지능 모델을 한데 묶으면 서로 부족한 점을 채워서 더 좋은 결과를 얻을 수 있다는 널리 알려진 믿음에 의문을 제기하는 연구가 나와 주목을 끌고 있습니다.
◇ 공동 실패, 진짜 문제의 핵심
연구진에 따르면 여러 모델이 같은 문제를 동시에 틀리는 공동 실패라는 현상이 존재하며, 이 때문에 아무리 많은 모델을 결합하거나 정교한 라우팅 시스템을 만들어도 성능은 일정 수준 이상 올라가지 않는다고 합니다.
공동 연구팀은 21개 기업의 코딩 특화 모델, 논리 추론 모델, 범용 모델 등 첨단 대형언어모델 67종을 분석했습니다. 공동 실패 한계라는 개념을 제시하며, 모든 모델이 같은 질문을 동시에 틀리는 비율이 항상 일정 수준 존재하기 때문에 어떤 방식을 쓰든 전체 정확도는 그 한계를 넘을 수 없다고 주장했습니다.
즉, 모델을 아무리 많이 추가해도 성능이 무한히 좋아지는 것은 아니라는 뜻입니다.
◇ 기존 평가 방식의 맹점
지금까지 업계에서는 두 모델이 서로 다른 문제를 얼마나 다르게 틀리는지를 보여주는 쌍별 오류 상관관계를 기준으로 삼아 왔습니다. 하지만 연구진은 이 지표가 낮다고 해서 여러 모델을 함께 사용했을 때 반드시 성능이 좋아지는 것은 아니라고 지적합니다.
겉보기에는 서로 다른 문제를 틀리는 것처럼 보여도, 실제로 어려운 질문에서는 모든 모델이 동시에 틀리는 경우가 적지 않기 때문입니다. 따라서 쌍별 오류 상관관계만으로 멀티 모델 시스템의 실제 성능 향상 가능성을 정확히 예측할 수 없습니다.
◇ 실험 결과가 말해주는 것
연구진은 다양한 인공지능 모델을 대상으로 MATH-500 수학 벤치마크로 실험한 결과, 기존 분석 방식은 모든 모델이 동시에 틀릴 확률을 2.3%로 예상했지만 실제 측정 결과는 5.2%로 나타났습니다. 기존 방식이 공동 실패 가능성을 실제보다 2배 이상 낮게 계산한 셈입니다.
코드 생성 과제에서는 공동 실패율이 7.9%를 기록했고, 대학원 수준의 과학 문제인 GPQA 다이아몬드 벤치마크를 객관식에서 자유 서술형으로 바꾸자 공동 실패율이 12.7%까지 치솟았습니다.
난도가 높은 과제에서는 모델들이 동시에 오답을 내는 공동 실패로 인해 성능 향상이 제한되며, 공동 실패가 적은 과제에서는 정답 모델을 골라내지 못하는 라우팅 실패로 인해 성능 향상이 어렵다는 결론이 도출됐습니다. 기존의 쌍별 오류 상관관계 지표는 이 두 가지 서로 다른 제약 상황을 구분하지 못해 멀티 모델의 효과를 과대평가한다는 분석입니다.
◇ 단순 다수결, 오히려 독이 되기도
연구진은 공동 실패가 문제의 난이도뿐 아니라 답을 요구하는 방식 자체에도 큰 영향을 받는다고 설명했습니다. 여러 모델의 답을 단순히 다수결로 정하는 방식은 기대만큼 효과적이지 않을 뿐 아니라 오히려 성능을 떨어뜨릴 수 있다고 경고합니다.
성능 차가 큰 모델들을 함께 쓰면 다수결 과정에서 성능이 낮은 모델들이 우수한 모델의 정답을 뒤집는 현상이 벌어질 수 있기 때문입니다. 실제 실험에서도 성능 차이가 있는 모델들을 단순 다수결 방식으로 결합한 결과 평균 정확도가 약 10%포인트 감소한 것으로 나타났습니다.
따라서 멀티 모델 시스템을 구성할 때는 성능 수준이 비슷한 모델들로 구성하는 것이 중요합니다. 반면 성능이 비슷한 여러 모델을 조합하면 하나의 모델을 여러 번 호출해 답을 합치는 방식보다 더 높은 성능을 보이는 경우도 확인됐습니다.
다만 연구진은 이런 이점도 제한적이라고 평가했습니다. 개별 질문마다 어떤 모델이 가장 적합한지를 정확히 판단해 고를 수 있는 강력한 라우팅 신호가 없는 한, 여러 모델을 조합한 시스템이 단일 최고 성능 모델의 정확도를 넘어서기 쉽지 않다는 설명입니다.
◇ 비용 들이지 않고 성능 한계 미리 점검하는 방법
연구진은 기업이 멀티 모델 시스템을 구축하기에 앞서 별도의 비용 없이 성능 향상 가능성을 미리 평가할 방법도 제시했습니다. 클로퍼-피어슨 경계라는 통계 기법을 활용하면 라우터를 새로 만들거나 추가 실험을 반복하지 않아도 현재 모델 조합이 도달할 수 있는 최대 정확도를 수학적으로 추정할 수 있습니다.
이 계산은 기존 평가 기록에서 모든 모델이 동시에 실패한 횟수를 집계하는 수준의 간단한 작업이라, 지속적 통합 환경에도 손쉽게 자동화할 수 있어 모델 변경이나 업무 성격 변화에 맞춰 성능 한계를 지속적으로 점검할 수 있다고 연구진은 덧붙였습니다.
특히 SQL이나 JSON 생성, 문서에서 필요한 정보를 추출하는 것처럼 정답을 명확히 확인할 수 있는 작업에서는 여러 저가 인공지능 모델을 함께 쓰는 것보다 성능이 가장 좋은 단일 모델 하나를 사용하는 편이 대부분 더 효율적인 것으로 나타났습니다. 다만 마케팅 문안 작성처럼 정답이 정해져 있지 않은 생성형 작업에서도 같은 결과가 나타나는지는 추가 연구가 필요하다고 연구진은 말했습니다.
◇ 결국 중요한 것은 ‘어떻게 틀리느냐’
연구진은 인공지능 모델을 많이 모으는 것보다 서로 다른 방식으로 실수하는 모델을 조합하는 것이 더 중요하다고 강조했습니다. 현재 최신 인공지능 모델들은 어려운 문제에서 비슷한 부분을 틀리는 경우가 많기 때문에, 모델 수만 늘린다고 성능이 좋아지지는 않는다는 것입니다.
따라서 기업들은 복잡한 멀티 에이전트 시스템을 구축하기에 앞서 먼저 공동 실패율을 측정해 실제 성능 향상 효과가 있는지 확인할 필요가 있다는 게 연구진의 결론입니다.