[AINews] 파라미터의 죽음: Z.ai CEO 제 탱, GLM 5.3과 새로운 학습 후 확장 법칙에 대해

(latent.space)

Z.ai의 제 탱 CEO는 모델 성능의 핵심이 파라미터 규모를 넘어 데이터, 컴퓨팅 자원, 그리고 RL을 통한 복잡한 환경에서의 사후 학습(Post-training) 확장 법칙으로 이동하고 있음을 강조하며 AI 에이전트 시대의 새로운 패러다임을 제시합니다.

이 글의 핵심 포인트

1모델 성능은 파라미터 수뿐만 아니라 데이터 양, 컴퓨팅 자원 활용도, 실행 환경 조건이 결합되어 결정됨
2GLM 5.3의 주요 성과는 엔지니어링 및 연구 워크플로우를 모방한 장기적(Long-horizon) 환경에서의 RL 학습을 통해 달성됨
3에이전트 역량이 발전함에 따라 학습의 난이도는 모델 자체에서 '환경 구축' 단계로 이동하고 있음
4Ornith-1.5는 9B부터 397B MoE까지 다양한 크기로 출시되었으며, 자가 개선(Self-improvement) 기능을 탑재함
5고급 추론 기술은 단순 암기가 아닌 긴 인과 관계를 유지하며 문제를 해결하는 능력에 의존함

이 글에 대한 공공지능 분석

왜 중요한가?

기존의 파라미터 중심 스케일링 법칙이 한계에 다다랐음을 시사하며, 모델의 지능을 높이는 새로운 동력이 '사후 학습(Post-training)'과 '환경 구축'에 있음을 명확히 하고 있기 때문입니다.

어떤 배경과 맥락이 있나?

Chinchilla scaling law 이후 모델 크기 경쟁이 치열했으나, 이제는 단순한 지식 보유를 넘어 긴 인과 관계를 추론하고 실제 업무를 수행하는 '에이전틱(Agentic)' 성능이 AI의 핵심 가치로 부상하고 있습니다.

업계에 어떤 영향을 주나?

모델 개발의 초점이 거대 모델 구축에서 고품질의 합성 환경(Synthetic Environment) 및 RL 파이프라인 설계로 이동함에 따라, 에이전트용 학습 데이터를 생성하는 기술이 새로운 경쟁 우위가 될 것입니다.

한국 시장에 어떤 시사점이 있나?

한국 스타트업들은 기초 모델의 크기 경쟁보다는 특정 산업 도메인(엔지니어링, 연구 등)의 복잡한 워크플로우를 정교하게 모방한 학습 환경 및 검증 데이터셋 구축에 집중하여 차별화된 에이전트 솔루션을 개발해야 합니다.

이 글에 대한 큐레이터 의견

이제 AI 산업의 승부처는 '얼마나 큰 모델을 만드느냐'가 아니라 '얼마나 정교한 학습 환경(Environment)을 설계하느냐'로 옮겨가고 있습니다. 제 탱 CEO가 언급한 것처럼, 복잡한 엔지니어링 태스크를 수행할 수 있는 RL 기반의 사후 학습은 단순한 지식 검색 모델을 넘어 자율적인 에이전트를 만드는 핵심 동력입니다. 이는 모델 자체의 파라미터 수보다 '데이터와 환경의 합성(Synthesis)' 능력이 더 중요한 가치를 지니게 됨을 의미합니다.

하지만 이러한 '환경 스케일링'에는 명확한 리스크가 존재합니다. 학습 환경이 지나치게 합성 데이터나 시뮬레이션에 의존할 경우, 모델이 실제 현실 세계의 복잡성이나 예외 상황(Out-of-distribution)을 간과하는 '환경 과적합(Environment Overfitting)' 문제가 발생할 수 있습니다. 즉, 가상 환경에서는 완벽한 에이전트가 실제 운영 환경에서는 무용지물이 될 위험이 있습니다. 따라서 스타트업들은 합성 환경의 정교함과 실제 워크플로우 사이의 간극을 메울 수 있는 검증(Verification) 기술 확보에 사활을 걸어야 합니다.

원문 보기 →