Inkling: Thinking Machines Lab의 오픈 웨이트 MoE 모델 – 벤치마크, 아키텍처, 그리고 실제 경쟁하는 부분
(dev.to)
전 OpenAI CTO 미라 무라티의 Thinking Machines Lab이 공개한 'Inkling'은 강력한 멀티모달 성능과 자가 미세 조정 기술을 갖춘 975B 규모의 오픈 웨이트 모델로, 폐쇄형 모델 중심의 AI 시장에 새로운 경쟁 구도를 제시합니다.
이 글의 핵심 포인트
- 1975B 파라미터 규모의 MoE 아키텍처 및 네이티브 멀티모달(텍_스트, 이미지, 오디오, 비디오) 지원
- 2RoPE 대신 상대적 위치 임베딩(Relative Positional Embeddings)과 짧은 컨볼루션을 채택한 독특한 구조
- 3