“공공·행정 AI 활용, 설명성 갖추고 이의제기 가능해야”

(etnews.com)

공공·행정 분야의 AI 도입이 확대되는 가운데, 국민의 기본권 보호를 위해 AI 의사결정의 투명성과 설명 가능성, 그리고 결과에 대한 이의제기 권리가 제도적으로 보장되어야 한다는 전문가들의 목소리가 높아지고 있습니다.

이 글의 핵심 포인트

공공 AI는 복지, 과세, 평가 등 국민의 기본권과 직결된 결정을 내리므로, 기술적 정확도를 넘어 법적 정당성이 확보되어야 하기 때문입니다. 이는 향후 공공 부문 AI 도입의 속도와 범위를 결정짓는 핵심 규제 기준이 될 것입니다.

정부가 '모두의 AI'와 '공공 AI 에이전트' 도입을 예고하며 행정의 AX(AI 전환)를 추진하는 상황에서, AI의 편향성과 불투명성에 대한 법적 통제 필요성이 대두되고 있습니다. 이는 EU AI Act 등 글로벌 규제 흐름과도 궤를 같이합니다.

공공 부문 AI 솔루션을 개발하는 스타트업은 단순 성능 향상을 넘어, '설명 가능한 AI(XAI)' 기술과 데이터 편향성 검증 로직을 제품의 필수 기능으로 탑재해야 하는 기술적 과제를 안게 됩니다.

국내 기업들은 공공 시장 진출을 위해 기술적 우수성뿐만 아니라, 법적 가이드라인을 준수하는 '컴플라이언스 중심의 AI 설계(Compliance-by-design)' 역량을 갖추는 것이 강력한 진입 장벽이자 경쟁력이 될 것입니다.

공공 AI의 투명성 확보 요구는 기술적 난도가 높은 '설명 가능한 AI(XAI)'의 상용화를 앞당기는 촉매제가 될 수 있습니다. 정부가 추진하는 AI 에이전트 사업은 거대한 시장 기회이지만, 동시에 '규제 준수'라는 높은 허들을 의미합니다.

하지만 지나친 설명 의무화와 절차적 통제는 AI의 핵심 장점인 '신속성'과 '효율성'을 저해할 리스크가 있습니다. 모든 판단 과정을 인간이 검증하고 이의제기 절차를 거치게 된다면, AI 도입의 경제적 효용이 급감할 수 있기 때문입니다.

따라서 스타트업은 '블랙박스' 모델을 최소화하거나, 판단의 근거를 시각화·언어화하여 제공하는 기술적 대안을 제시해야 합니다. 규제를 단순한 비용이 아닌, 공공 시장 진입을 위한 '인증 표준'으로 활용하는 전략적 접근이 필요합니다.