퀄컴의 AI 인프라 격차 해소를 위한 제안: 컴퓨팅을 DRAM 아래에 내장하다

퀄컴의 전략은 '추론 경제성'이라는 AI 산업의 가장 아픈 곳을 정확히 타격하고 있습니다. LLM 서비스 운영 비용의 대부분이 메모리 대역폭과 전력 소모에서 발생한다는 점을 고려할 때, 컴퓨팅을 DRAM 아래로 숨겨 데이터 이동 경로를 단축하겠다는 발상은 매우 영리한 접근입니다. 특히 비싼 실리콘 인터포저 없이 LPDDR 기반으로 구현하여 비용 효율성을 높이려 한다는 점은 강력한 무기가 될 것입니다.

하지만 주의 깊게 살펴봐야 할 대목은 퀄컴이 강조하는 '유효(effective)'라는 단어의 함정입니다. 물리적 대역폭이 아닌 연산 최적화를 통한 수치라면, 이는 모든 AI 워크로드에 적용되는 것이 아니라 특정 패턴(예: 디코딩 단계)에 국한될 가능성이 높습니다. 또한, DRAM 하단에 로직을 배치하는 구조는 발열 관리와 제조 복잡도라는 새로운 기술적 난제를 야기할 수 있습니다.

스타트업 창업자들은 퀄컴의 이 기술이 가져올 '추론 비용의 급감' 시나리오를 대비해야 합니다. 만약 저비용 고성능 추론 인프라가 보편화된다면, 모델의 크기보다는 서비스의 응답 속도와 사용자 경험(UX)을 극대화하는 방향으로 비즈니스 모델이 재편될 것이기 때문입니다.