Scrivener 내부 RTF 파서 작성 후 15년, rtfstruct를 만든 이유

(dev.to)

Dev.to OpenSource2026년 5월 5일개발자 도구

Scrivener 내부 RTF 파서 작성 후 15년, rtfstruct를 만든 이유

AI 문서 파이프라인에서 발생하는 데이터 구조 손실 문제를 해결하기 위해, RTF 문서의 구조를 보존하며 파싱하는 'rtfstruct' 라이브러리가 공개되었습니다. 기존의 단순 텍스트 변환 방식이 초래하는 정보 왜곡을 막고, 문서의 AST(추상 구문 트리)를 유지하여 AI 모델이 구조적 맥락을 정확히 이해하도록 돕는 것이 핵심입니다.

이 글의 핵심 포인트

1기존 AI 파이프라인은 RTF를 텍스트로 변환하며 표, 목록, 각주 등 핵심 구조를 손실시키는 고질적 문제를 가짐
2rtfstruct는 RTF를 중립적인 AST(추상 구문 트리)로 변환하여 문서의 구조적 의미를 보존함
3'Structure-before-model' 원칙: 모델이 구조를 확률적으로 재구성하게 하지 말고, 구조화된 데이터를 직접 처리하게 해야 함
4RTF는 법률, 의료, 정부 아카이브 등 레거시 시스템에서 여전히 널리 사용되는 중요한 데이터 포맷임
5문서 구조 보존 기술은 AI 모델의 답변 신뢰도와 오류 진단 가능성을 높이는 핵심 요소임

이 글에 대한 공공지능 분석

왜 중요한가

AI 모델의 성능은 모델 자체의 파라미터 수보다, 입력되는 데이터의 '구조적 무결성'에 의해 결정될 수 있습니다. 기존 파이프라인은 문서를 텍스트로 평탄화(Flattening)하는 과정에서 표, 목록, 각주 등 핵심적인 맥락을 손실시키며, 이는 AI의 '침묵하는 오류(Silent Error)'를 유발하는 근본 원인이 됩니다.

배경과 맥락

RAG(검색 증강 생성) 기술이 보편화되면서 대량의 문서를 처리하는 인제스션(Ingestion) 레이어의 중요성이 커졌습니다. 특히 법률, 의료, 정부 아카이브 등 레거시 시스템이 사용하는 RTF와 같은 포맷은 여전히 방대한 데이터를 보유하고 있으며, 이 데이터의 구조를 어떻게 처리하느냐가 AI 서비스의 신뢰도를 결정짓는 기술적 난제로 부상했습니다.

업계 영향

단순히 LLM을 호출하는 단계를 넘어, 데이터 전처리 레이어의 고도화가 새로운 기술적 해자(Moat)가 될 것임을 시사합니다. 문서의 구조를 보존하는 정교한 파서(Parser)와 중립적인 중간 표현(AST)을 생성하는 기술은 AI 에이프리케이션의 신뢰성과 감사 가능성(Auditability)을 확보하기 위한 필수 인프라로 자리 잡을 것입니다.

한국 시장 시사점

한국은 공공, 금융, 법률 분야에서 HWP나 PDF 등 구조가 복잡한 특화 문서 포맷을 광범위하게 사용합니다. 따라서 한국형 AI 솔루션의 경쟁력은 단순히 최신 모델을 쓰는 것이 아니라, 한국 특화 문서의 구조적 특징을 완벽하게 보존하여 모델에게 전달하는 '도메인 특화 전처리 기술'에 달려 있습니다.

이 글에 대한 큐레이터 의견

많은 AI 스타트업들이 최신 LLM 모델의 성능에만 매몰되어, 정작 데이터가 입력되는 '파이프라인의 입구'에서 발생하는 정보 손실을 간과하고 있습니다. 저자가 제시한 'Structure-before-model' 원칙은 매우 날카로운 통찰입니다. 모델이 확률적으로 구조를 재구성하게 만드는 것이 아니라, 결정론적인 구조(AST)를 모델에게 직접 제공함으로써 모델의 추론 부담을 줄이고 오류 가능성을 원천 차단해야 합니다.

창업자 관점에서 이는 거대한 '데이터 인제스션 인프라' 시장의 기회를 의미합니다. 복잡한 도메인(법률, 의료, 금융)을 타겟팅하는 기업이라면, 단순한 텍스트 추출을 넘어 표, 수식, 참조 관계를 완벽하게 보존하는 전처리 레이어 구축에 투자해야 합니다. 이는 단순한 기능 구현을 넘어, AI 서비스의 신뢰성을 결정짓는 강력한 기술적 진입장벽이자 차별화 포인트가 될 것입니다.

원문 보기 →