평균의 오류: 컨포멀 진단으로 포착하는 주변 커버리지의 거짓말
(dev.to)컨포멀 예측(Conformal Prediction)의 평균 커버리지 수치가 특정 클래스나 예측 세트 크기에 따른 성능 저하를 은폐할 수 있으므로, 최악 클래스 격차와 크기 계층별 커버리지를 통한 정밀 진단이 필수적이라는 분석입니다.
이 글의 핵심 포인트
- 1컨포멀 예측의 한계 커버리지(Marginal Coverage) 보장은 특정 클래스나 입력값에 대한 조건부 성능을 보장하지 않음
- 2평균 수치는 쉬운 데이터에서의 과잉 커버리지와 어려운 데이터에서의 미달 커버리지를 상쇄하여 오류를 은폐할 위험이 있음
- 3'최악 클래스 커버리지 격차(worst-class coverage gap)'를 통해 특정 클래스의 성능 저하를 식별 가능함