Semantic VBR: A Variable Bitrate Summarization System for Deep Narrative Reconstruction

Semantic VBR: LLM-based Variable Bitrate Summarization System 概要 本プロジェクトは、大規模なテキストデータ(ライフログ)を「意味的な重要度」に基づいて可変密度で要約する「Semantic VBR」手法を提案します。画像圧縮のアルゴリズムを着想とし、感情熱量(ヒートマップ)に応じてAIの出力トークン数を動的に制御します。 コンセプト:意味的可変ビットレート(Semantic VBR) 本システムは、大規模なテキストデータを「一律に要約」するのではなく、 画像圧縮技術(JPEG等)のロジックを応用し、情報の重要度(熱量)に応じて 解像度を動的に変化させる手法を提案する。 主な特徴 感情スキャン: ログ全域の熱量を分析し、構造的変化を特定。 可変密度要約(VBR): スコアに応じて抽出密度を自動調整。 ナラティブ生成: 圧縮された構造から、深層心理的な三視点物語を再構成。 実行結果 添付の output/ を参照。 Score2の区間は1行のラベルへ、Score9の区間は詳細なナラティブへと、意図的な解像度の差が生成されています。 なぜ物語が必要なのか? 極限まで圧縮された「データの骨格」から、どれほど高精細な「意味(物語)」が再構成可能かを検証するため、最終出力としてナラティブ・セラピー的な三視点物語の生成を行っている。 この物語の品質こそが、VBR圧縮アルゴリズムの「情報の保持力」を証明するものである。 ファイル構成 (Root) ├── README.md (システムの解説書) ├── LICENSE.txt (MIT License) ├── common_utils.py (共通ライブラリ) ├── cost_guard.py (コスト管理) ├── make_test_data.py (テストデータ生成) ├── heatmap.json (ヒートマップ) ├── step0_scan.py (ヒートマップ作成) ├── step1_prepare.py (VBR要約実行) ├── step2_extract.py (物語エッセンス抽出) ├── step3_plot.py (物語プロット構成) ├── step4_write.py (最終物語執筆) ├── input/ (プロンプトファイルとテストデータ) │ ├── full_log.txt │ └── instruction_*.txt (各種プロンプト) └── output/ (成果物サンプル) ├── 01_summaries/ ├── 02_essences/ ├── 03_plots/ └── 04_drafts/ 動作環境 - Python 3.9+ - Gemini API Key (環境変数 .env に設定) - 必要なライブラリ: requests, python-dotenv 使用方法 1. make_test_data.py を実行してテスト用ログを生成 2. step0_scan.py から step4_write.py までを順に実行 (途中step3で視点1、2、3を選択) 3. output/04_drafts/ に生成された物語が出力されます --- 【免責事項 / Disclaimer】 1. 本システムは研究・実験目的のプロトタイプであり、医学的・心理学的診断や治療を目的としたものではありません。 評価および正式な検証は現在進行中です。設計は今後、大幅に変更される可能性があります。 (This system is a research prototype and is not intended for medical or psychological diagnosis or treatment. Evaluation and formal validation are ongoing. The design may change significantly.) 2. 生成される物語はAIによる再構成であり、事実の断定や特定の個人への攻撃を意図したものではありません。 (The generated narratives are reconstructed by AI and are not intended as factual assertions or personal attacks.) 3. 本システムの利用により生じた精神的苦痛や不利益について、開発者は一切の責任を負いません。 (The developer assumes no responsibility for any emotional distress or disadvantage arising from the use of this system.)