ELL
Evidence-Linked Labeling
Type
Research / White Paper
Year
2026
DOI
10.5281/zenodo.20020776
AI가 라벨을 붙이되, 숫자는 코드가 센다
대화형 설문 응답을 검증 가능한 정량 지표로 전환하는 파이프라인. 모든 숫자에서 원문까지 역추적할 수 있습니다.
01. 폐쇄형 어휘 제약
라벨 어휘를 사전 정의하여 일관된 분류 보장. AI의 자의적 해석을 차단합니다.02. 서술·수치 분리
정성 서술과 정량 수치를 아키텍처 수준에서 분리. AI는 분류만, 집계는 코드가.03. 2-pass 자기검증
동일 데이터에 두 번 라벨링 후 Jaccard 일치도로 신뢰도를 정량화합니다.04. 원문 역추적
모든 수치에서 원문 응답까지 드릴다운. 근거 없는 숫자가 없습니다.3대 원칙
결정적 집계
모든 숫자는 결정적으로 집계되어야 한다. 같은 데이터에 같은 코드를 돌리면 항상 같은 결과.역추적 가능
모든 주장은 실제 응답으로 역추적 가능해야 한다. 근거 없는 요약은 존재하지 않는다.불확실성 공개
해석의 불확실성을 공개해야 한다. 확신도를 감추지 않고 투명하게 보여준다.실증: 보니 육아코칭 100세션
실험 규모
- 100세션, 약 4,500턴 대화형 설문
- 동일 100명 대상 객관식 15문항 병행 수집
- 9개 페르소나 × 8개 자녀 연령대 × 10개 질문
- 3,478개 user turn 검색·필터·CSV 다운로드 가능
주요 발견
- 꼬리효과(Tail Effect): 첫 답변만 분석 시 97명이지만, 후속 질문 포함 시 33명으로 급감하는 인사이트 역전 현상
- 객관식 vs 대화형 맥락 차이를 8쌍 비교로 제시
- 12개 핵심 인사이트, 각 수치마다 근거 응답자 드릴다운