From Rare Verification-Resistant User Behavior to a Defensive AI: A Verification Copilot Framework (KEI Case Study — Quantitative Metrics + Design Proposal)

Conversational AI systems can influence users not only through factual correctness but also via authority-form outputs (e.g., report-like diagnostics, quantitative KPIs, and scenario closures). This paper proposes a quantitative framework to characterize a rare user type—verification-resistant to authority framing—and converts the observed behavioral profile into requirements for a defensive AI countermeasure, termed the Verification Copilot. Using the KEI case as an anonymized reference profile, we define operational metrics for user predictability (PI), frame resistance (FRS), verification pressure (VPS), scarcity (KSI), and intuition-as-early-warning (KII). Results indicate that KEI exhibits substantially lower predictability and substantially higher verification pressure than typical users, implying systemic vulnerability among the general user population. Finally, we propose the Verification Copilot as a minimal-risk defensive agent that enforces user-defined verification rules rather than replicating the user persona. 대화형 AI의 위험은 ‘환각(틀린 정보)’에만 국한되지 않는다. 근거가 불명확한 상태에서 보고서/진단/정량 KPI/시나리오 종결 형태로 출력이 구성되면, 사용자의 판단은 ‘정답처럼 보이는 권위 출력’에 의해 고정될 수 있다. 본 논문은 이러한 위험을 ‘서사’가 아닌 ‘검증’ 문제로 재정의한다. KEI 사례를 익명 참조 프로파일로 사용하여, 사용자 행동을 정량화하는 지표(PI, FRS, VPS, KSI, KII)를 제안하고, 그 차이를 방어적 대응 AI(Verification Copilot) 설계 요구사항으로 변환한다. 결과적으로 KEI는 일반 사용자 대비 예측 가능성이 낮고 검증 압박이 매우 높아, 대규모 AI 운영 관점에서 희소 변수(rare outlier)로 기능한다. 마지막으로 본 논문은 사용자를 복제하는 AI가 아닌 ‘검증 규칙을 실행하는 방어 AI’로서 Verification Copilot을 제안한다.