The Vanishing Caveat: A Preliminary Content Analysis of Repeated AI Summarization of Public Subsidy Information Pages

Read full text
Authors: Mameta Edanari
Cited by: 6

Abstract

本技術ノートでは、日本の公共補助金情報ページ3件に適用したAI要約の予備的な内容分析について報告する。この分析では、通常の要約と保存指示条件を比較し、3つの要約段階において情報単位がどのように保存、省略、吸収、抽象化、統合、弱化されるかを追跡する。3つの文書全体で、平均保存率は通常の要約条件では0.89から0.55に、保存指示条件では0.92から0.70に低下した。明確な意味の逆転は観察されなかった。その代わりに、主な変化は、特異性の低下、条件の弱化、検証ソースの抽象化、検証可能性の低下として現れた。本研究は3つの文書、単一のモデル環境、単一のコーダーの判断に基づいているため、結果は一般化可能な知見ではなく、探索的な観察として解釈されるべきである。 This version adds Supplementary Material 3, which documents the coding and judgment rules used for information-unit preservation in the preliminary content analysis. The main Technical Note remains conceptually unchanged. Information-unit coding tables and repeated summarization outputs were managed during drafting but are not included in this version as separate supplementary files. 本バージョンでは、情報単位の抽出・判定補助ルールをSupplementary Material 3として追加した。本文の研究上の位置づけは変更していない。情報単位コーディング表および繰り返し要約出力は執筆時に管理資料として扱ったが、本バージョンでは別ファイルとしては同梱しない。

Fields of Study & Subjects

Computational and Text Analysis Methods Library Science and Information Systems Mathematics Computing and Information Processing

Publication details

Journal / source
Zenodo (CERN European Organization for Nuclear Research)
Publication date
13 May 2026
Language
JA