이의 제기에 공개된 독파모 점수…참여 업체들 "이젠 모티프가 답할 차례"

(zdnet.co.kr)
ZDNet KoreaAI 모델
이의 제기에 공개된 독파모 점수…참여 업체들 "이젠 모티프가 답할 차례"

정부 주도 AI 파운데이션 모델(독파모) 평가 결과에 대해 모티프테크놀로지스가 이의를 제기하자, 업계에서는 벤치마크 점수 조작 의혹에 대한 해명 없이 평가 방식만 문제 삼는다는 비판이 일며 AI 모델 평가의 공정성 논란이 확산되고 있습니다.

이 글의 핵심 포인트

  • 1모티프테크놀로지스의 '모티프 3'가 독파모 2차 평가에서 종합 최하위로 탈락
  • 2모티프 3는 글로벌 AAII 지표에서는 1위를 기록했으나, NIA 벤치마크, 전문가 및 사용자 평가에서는 최하위 기록
  • 3모티프테크한로지스가 평가 위원 구성 및 채점 기준에 대해 연이어 이의 제기
  • 4미국 데이터 기업 애프터쿼리와의 협업을 통한 '벤치맥싱(Benchmarking)' 의혹 제기
  • 5업계 관계자들은 모티프의 의혹 해명 없는 평가 방식 비판에 대한 문제 제기를 비판

이 글에 대한 공공지능 분석

왜 중요한가?

국가적 AI 경쟁력을 결정할 파운데이션 모델 사업의 평가 신뢰성이 흔들리고 있기 때문입니다. 평가 결과에 대한 불복과 데이터 조작 의혹은 향후 정부 주도 AI 프로젝트의 공정성 논란으로 번질 수 있으며, 이는 국내 AI 생태계의 신뢰도와 직결됩니다.

어떤 배경과 맥락이 있나?

글로벌 벤치마크(AAII)에서는 1위를 기록했으나 한국어 성능과 안전성 등 국내 특화 지표에서는 최하위를 기록한 모티프테크놀로지스의 사례가 발단이 되었습니다. 이는 글로벌 표준 지표와 로컬 특화 지표 사이의 괴리를 극명하게 보여줍니다.

업계에 어떤 영향을 주나?

AI 스타트업들에게는 모델의 기술적 우위뿐만 아니라, 평가 과정의 투명성과 데이터 학습 과정의 윤리적 정당성을 입증해야 하는 새로운 과제가 부여되었습니다. 벤치마크 점수만을 쫓는 '벤치맥싱' 행위는 업계 전체의 기술적 신뢰도를 저하시킬 리스크가 있습니다.

한국 시장에 어떤 시사점이 있나?

한국형 AI 모델 개발 시 글로벌 지표와 국내 특화 성능(한국어, 규제 준수) 사이의 균형을 맞추는 전략이 필수적입니다. 또한, 정부 사업 참여 시 기술력만큼이나 평가 프로세스에 대한 대응 논리와 데이터 학습의 투명성 확보가 핵심적인 경쟁력이 될 것입니다.

이 글에 대한 큐레이터 의견

이번 논란은 AI 모델의 성능을 어떻게 정의하고 측정할 것인가라는 근본적인 질문을 던집니다. 모티프테크놀로지스가 글로벌 벤치마크에서 1위를 달성한 것은 기술적 성과일 수 있으나, 특정 지표에만 최적화된 '벤칭맥싱' 의혹을 해소하지 못한다면 이는 기술적 진보가 아닌 '평가용 모델'이라는 오명을 쓸 위험이 큽니다. 스타트업 창업자들은 벤치마크 점수라는 화려한 숫자 뒤에 숨은 실질적 성능(Robustness)과 데이터의 무결성을 증명해야 하는 어려운 과제에 직면했습니다.

물론, 정부의 평가 방식이 지나치게 주관적이거나 불투명할 수 있다는 우려도 일리가 있습니다. 전문가 평가의 기준이 모호하다면 이는 기술 발전을 저해하는 요소가 될 수 있기 때문입니다. 그러나 평가 위원을 문제 삼기 전에 자사 모델의 학습 데이터와 성능 검증 과정을 투명하게 공개하는 것이 선행되어야 합니다. 결과적으로, AI 기업은 단기적인 벤치마크 점수 상승에 매몰되기보다, 다양한 환경에서도 일관된 성능을 낼 수 있는 모델의 신뢰성을 구축하는 데 집중해야 합니다.

원문 보기 →

관련 뉴스

댓글

아직 댓글이 없습니다. 첫 댓글을 남겨보세요.