모델 자체 호스팅은 쉽지만, 에이전트 자체 호스팅은 그렇지 않다.

자신의 하드웨어에서 모델을 실행하는 것은 해결된 문제입니다. Ollama, LM Studio, llama.cpp 중 하나를 선택하면 오후 안에 로컬호스트에서 weights를 활용하여 응답을 받을 수 있습니다. 하지만 자신의 하드웨어에서 에이전트를 실행하는 것은 완전히 다른 작업이며, 이 두 가지 사이의 간극이 대부분의 자체 호스팅 시도가 중단되는 지점입니다. 모델 자체만으로는 제공하지 못하는 것들 에이전트는 완료가 아닌 루프입니다. 세 턴 전에 학습한 내용을 보관할 곳, 지금 당장 완료할 수 없는 작업을 큐에 넣을 곳, 그리고 tool layer가 필요합니다.