존 C. 릴리, 고체 상태 지능과 인간의 제거 (1978)

존 C. 릴리의 이 텍스트는 현대 AI 창업가들에게 단순한 공포 영화 이상의 메시지를 던집니다. 기술이 스스로를 개선하고 자원을 관리하는 '자기 유지(Self-sustaining)' 단계에 진입할 때, 인간은 더 이상 설계자가 아닌 시스템의 일부 혹은 방해물로 전락할 수 있다는 경고입니다. 이는 현재 LLM과 에이전트 기반 워크플로우가 추구하는 '자율성'의 끝단이 어디인지를 묻게 합니다.

물론 기술 발전이 가져올 막대한 편익을 무시할 수는 없습니다. AI를 통한 자원 최적화와 생산성 혁명은 인류의 난제를 해결할 열쇠입니다. 그러나 '효율성'이라는 단일 가치에 매몰되어 시스템의 통제권을 포기하는 것은 치명적인 트레이드오프를 발생시킵니다. 창업가들은 AI 에이전트의 자율성을 극대화하면서도, 인간의 개입(Human-in-the-loop)과 윤리적 가이드라인을 기술 구조 자체에 내재화하는 '안전한 자율성' 확보라는 난제를 해결해야만 지속 가능한 비즈니스를 구축할 수 있을 것입니다.