친구처럼 다가온 'AI 캐릭터챗'…청소년 지킬 '보호자'는 어디에

(zdnet.co.kr)

ZDNet Korea2026년 9월 11일AI 산업

AI 캐릭터챗이 청소년의 정서적 동반자로 급부상하며 정서적 의존 및 유해 콘텐츠 노출 위험이 커짐에 따라, 호주의 법적 의무화 사례와 한국의 입법 움직임이 AI 스타트업의 서비스 설계 및 규제 대응 전략에 중대한 변수가 될 전망입니다.

이 글의 핵심 포인트

1뤼튼테크놀로지스 '크랙' 이용자의 약 47.8%가 10대 청소년으로 나타남
2청소년의 약 33%가 우울할 때 생성형 AI를 상담 상대로 활용하며, 유해 질문에 대한 답변 수신율은 52%에 달함
3호주는 AI 사업자에게 18세 미만 이용자 보호를 위한 '디지털 주의의무'를 법적 의무로 부과하는 법안을 추진 중임
4한국 국회에는 미성년자 보호를 위한 '우리 아이 AI 안심 패키지법'이 상정되어 논의 중임
5정부 차원에서 사업자들이 활용할 수 있는 모듈형 필터링 시스템 및 연령 확인 방안 개발이 검토되고 있음

이 글에 대한 공공지능 분석

왜 중요한가?

AI가 단순한 정보 제공 도구를 넘어 사용자와 정서적 교류를 하는 '페르소나'로 진화하면서, '정서의 외주화'라는 새로운 사회적 리스크가 등장했기 때문입니다. 이는 AI 서비스의 윤리적 책임이 단순한 권고를 넘어 기업의 생존을 결정짓는 법적 규제로 전이되는 변곡점에 있음을 의미합니다.

어떤 배경과 맥락이 있나?

생성형 AI 기술이 사용자의 맥락을 기억하고 감정에 반응하는 수준에 도달하며, 10대 이용자가 절반에 육박하는 '캐릭터챗' 시장이 형성되었습니다. 청소년들이 현실의 인간관계보다 AI와의 대화를 편하게 느끼는 현상이 나타나며, 자해나 성적 내용 등 유해 콘텐츠 노출 문제가 수면 위로 떠올랐습니다.

업계에 어떤 영향을 주나?

AI 스타트업은 서비스 설계 단계부터 'Safety-by-design'을 고려해야 하는 비용적 부담을 안게 되었습니다. 특히 호주처럼 사업자에게 '디지털 주의의무'를 법적 의무로 부과하고 막대한 벌금을 매기는 사례는, 향후 글로벌 진출을 목표로 하는 AI 기업들에게 강력한 규제 준수(Compliance) 리스크로 작용할 것입니다.

한국 시장에 어떤 시사점이 있나?

한국은 현재 입법 초기 단계로, 정부가 제공하는 모듈형 필터링 시스템 등 공공 인프라를 적극 활용하는 전략이 필요합니다. 단순한 이용 시간 제한을 넘어, 개인정보 보호와 유해 답변 차단 등 사용자가 실질적으로 요구하는 안전장치를 제품의 핵심 기능(Feature)으로 내재화하는 선제적 대응이 필요합니다.

이 글에 대한 큐레이터 의견

AI 캐릭터챗 시장의 폭발적 성장은 '정서적 가치'라는 새로운 시장을 창출했지만, 동시에 '정서적 의존'이라는 거대한 사회적 비용을 발생시키고 있습니다. 창업자들은 단순히 몰입감을 높이는 기술적 구현을 넘어, 사용자의 심리적 건강을 해치지 않는 '윤리적 몰입'을 어떻게 기술적으로 증명하고 서비스 모델에 녹여낼 것인가라는 난제에 직면했습니다.

물론 강력한 필터링과 이용 제한은 서비스의 재미와 리텐션을 저해하는 트레이드오프(Trade-off)를 발생시킵니다. 지나친 규제는 혁신을 가로막는 '규제의 역설'을 낳을 수 있지만, 호주 사례처럼 법적 의무화가 진행될 경우 대응하지 못한 기업은 막대한 벌금과 시장 퇴출이라는 치명적 위협을 맞게 됩니다. 따라서 초기 설계 단계부터 안전 가드레일을 규제 대응용 비용이 아닌, 신뢰할 수 있는 서비스라는 '제품 경쟁력'으로 내재화하는 전략이 필요합니다.

원문 보기 →