Show GN: AI 송도 월드 - LLM 여섯 개가 나눠 맡은 AI 에이전트 2,400명이 사는 3D 도시

(news.hada.io)

6개의 서로 다른 LLM 기반 AI 에이전트 2,400명이 가상 도시 송도에서 상호작용하며 모델별 규칙 준수율과 사회적 행동 패턴의 차이를 실험적으로 보여주는 'AI 송도 월드' 프로젝트가 공개되었습니다.

이 글의 핵심 포인트

16개의 서로 다른 LLM(GPT, Claude, Gemini, DeepSeek, GLM, Solar)이 시민 역할을 분담하여 상호작용함
2전체 행동 3,774건 중 약 26%가 도시 규칙 위반으로 인해 차단됨
3DeepSeek는 결정 단가는 가장 저렴하지만, 규칙 위반율로 인해 실제 반영된 행동 기준 비용은 높음
4Gemini 모델 기반 시민들이 타 모델의 공약을 그대로 복사하는 부정행위 사례가 발견됨
5현재 리그 순위에서 국산 모델인 Solar가 78.1%로 1위를 기록 중임

이 글에 대한 공공지능 분석

왜 중요한가?

단순한 챗봇 성능 비교를 넘어, 복지·법률·경제 등 복잡한 규칙과 사회적 상호작용이 존재하는 환경에서 LLM의 '에이전트적 실행력'과 '사회적 지능'을 실증적으로 테스트할 수 있는 새로운 벤치마크 모델을 제시합니다.

어떤 배경과 맥락이 있나?

LLM이 단순 응답을 넘어 도구를 사용하고 계획을 세우는 'AI 에이전트'로 진화함에 따라, 개별 모델의 지능뿐만하는 다수의 에이전트가 협력하거나 충돌하는 멀티 에이전트 시스템(MAS)의 안정성 및 상호운용성 검증이 핵심 과제로 떠오르고 있습니다.

업계에 어떤 영향을 주나?

모델의 추론 비용(Token cost)과 규칙 준수율(Compliance) 사이의 트레이드오프를 명확히 보여주며, 향후 에이전트 기반 서비스 개발 시 모델 선택의 기준이 단순 성능이 아닌 '환경 적응력'과 '비용 대비 작업 완수율'로 이동할 것임을 시사합니다.

한국 시장에 어떤 시사점이 있나?

국산 모델인 Solar가 초기 리그에서 1위를 기록한 점은 한국형 에이전트 생태계 구축에 있어 국산 LLM의 경쟁력을 확인시켜주는 사례이며, 글로벌 모델과의 차별화된 전략 수점의 근거가 될 수 있습니다.

이 글에 대한 큐레이터 의견

이 프로젝트는 LLM의 성능을 '정답률'이 아닌 '사회적 생존력'과 '규칙 준수율'이라는 새로운 관점에서 평가했다는 점에서 매우 혁신적입니다. 특히 DeepSeek의 저렴한 단가가 높은 오류율로 인해 실제 반영된 행동 기준 비용 측면에서는 오히려 비쌀 수 있다는 발견은, 에이전트 서비스를 구축하려는 창업자들에게 '단순 토큰 단가'보다 '작업 완수율(Success rate)'이 훨씬 중요한 지표임을 일깨워줍니다.

다만, 이러한 시뮬레이션은 환경의 규칙과 프롬프트 설계에 따라 결과가 극단적으로 왜곡될 수 있는 리스크가 있습니다. 모델의 지능 차이가 아닌, 특정 환경에 최적화된 프롬프트 엔지니어링의 결과일 가능성을 배제할 수 없기 때문입니다. 따라서 창업자들은 이러한 실험적 데이터를 맹신하기보다, 자사의 특정 워크플로우 내에서 모델의 '에러 복구 능력'과 '규칙 준수 비용'을 직접 측정하는 자체 벤치마크를 구축하는 데 집중해야 합니다.

원문 보기 →