FWBQueiroz/tese_doutorado: v1.0.1 - Pacote de Mineração de Texto e Análise de Literatura Científica

🎯 Visão Geral Pacote integrado com duas ferramentas complementares para análise completa de revisão de literatura científica: Text Mining & TF-IDF Analyzer - Extração e análise de n-gramas com scores TF-IDF Literature Subcategory Analyzer - Categorização por palavras-chave com visualizações científicas 📦 Ferramenta 1: Text Mining & TF-IDF Analyzer ✨ Funcionalidades Principais Extração de N-gramas: Extração automática de unigramas, bigramas e trigramas de abstracts Normalização de Texto: Lematização usando WordNet Remoção de stopwords (inglês) Comprimento mínimo de token configurável Remoção opcional de números Análise de Frequência: Contagem completa de frequências para todos os tipos de n-gramas Cálculo TF-IDF: Pontuação Term Frequency-Inverse Document Frequency com limite de features configurável 📊 Arquivos de Saída Tabelas de Frequência (Excel) unigramas.xlsx - Frequência de palavras individuais bigramas.xlsx - Frequência de frases com duas palavras trigramas.xlsx - Frequência de frases com três palavras Análise TF-IDF (Excel) tfidf_unigramas_top30.xlsx - Top 30 unigramas por documento tfidf_bigramas_top30.xlsx - Top 30 bigramas por documento tfidf_trigramas_top30.xlsx - Top 30 trigramas por documento 💻 Uso arquivo = "lit_review_nov25.xlsx" python text_mining_lit_review.py 📦 Ferramenta 2: Literature Subcategory Analyzer ✨ Funcionalidades Principais 🔍 Análise de Texto Busca por palavras-chave em abstracts de artigos científicos Suporte para múltiplas subcategorias organizadas por categoria principal Detecção automática de co-ocorrência entre tópicos Análise de cobertura temática por documento 📈 Visualizações Científicas Gera 10 tipos de gráficos profissionais com paleta de cores apropriada para publicação: Heatmaps: Matrizes de co-ocorrência (absoluta e percentual) Matriz de Correlação: Correlação de Pearson entre subcategorias Clustermap Hierárquico: Dendrograma com agrupamento automático de tópicos Gráficos de Barras: Distribuição de documentos por subcategoria Countplot: Cobertura temática com categorias dominantes Violin Plot: Distribuição estatística por categoria Strip Plot: Distribuição individual de documentos Top 15 Combinações: Combinações de subcategorias mais frequentes 📊 Análise Estatística Completa Estatísticas descritivas por subcategoria e categoria Análise de cobertura temática (documentos com 0, 1, 2, 3+ subcategorias) Identificação de categoria dominante por documento Frequência de palavras-chave encontradas Matrizes de co-ocorrência e correlação 📊 Arquivos de Saída Visualizações (PNG + PDF): matriz_coocorrencia - Heatmap de co-ocorrência matriz_percentual - Heatmap percentual matriz_correlacao - Correlação de Pearson clustermap_correlacao_hue - Agrupamento hierárquico cobertura_subcategorias_hue - Distribuição por categoria countplot_cobertura_hue - Contagem por cobertura documentos_por_subcategoria_hue - Análise por subcategoria top_combinacoes - Combinações mais frequentes violin_subcategorias_categoria - Distribuição estatística strip_subcategorias_categoria - Pontos individuais Planilha Excel: resultado_multiplas_listas.xlsx com 8 abas de análise completa 💻 Uso arquivo_listas = "listas_pt.xlsx" caminho_excel = "lit_review_nov25.xlsx" python literature_subcategory_analyzer.py 🔧 Configurações Globais Text Mining Analyzer MIN_TOKEN_LEN = 3 # Comprimento mínimo do token REMOVER_NUMEROS = True # Remover tokens numéricos MAX_FEATURES = 5000 # Limite de features TF-IDF Subcategory Analyzer palette='Blues' # Paleta de cores edgecolor='gray' # Cor das bordas dpi=300 # Resolução das imagens 📋 Requisitos pip install pandas openpyxl nltk scikit-learn matplotlib seaborn numpy --break-system-packages Dependências NLTK: import nltk nltk.download('stopwords') nltk.download('wordnet') nltk.download('omw-1.4') 🐛 Correções de Bugs Corrigido erro de limite de colunas do Excel (máximo 16.384 colunas) Otimizado uso de memória para prevenir travamento do kernel Adicionado garbage collection para processamento de grandes datasets Tratamento adequado de valores nulos em abstracts ⚡ Melhorias de Performance Processamento de matriz esparsa para cálculos TF-IDF Exportação incremental de DataFrames para reduzir uso de memória Indicadores de progresso para operações longas Limitação de features TF-IDF para prevenir estouro de memória Busca otimizada com regex boundary markers 🚀 Detalhes Técnicos Processamento de Linguagem: Inglês (NLTK Porter Stemmer + WordNet Lemmatizer) Vetorização: Scikit-learn TfidfVectorizer com matrizes esparsas Visualizações: Seaborn para gráficos de alta qualidade científica Gerenciamento de Memória: Garbage collection explícito entre operações Exportação: Suporte dual PNG (raster, 300 DPI) e PDF (vetor) 🎯 Casos de Uso Workflow Sugerido: Passo 1: Use o Text Mining Analyzer para exploração inicial dos dados Identifique termos mais frequentes Descubra padrões emergentes Valide qualidade dos abstracts Passo 2: Use o Subcategory Analyzer para análise temática Crie listas de palavras-chave baseadas nos termos encontrados Categorize documentos por temas Visualize relações entre categorias Aplicações: Revisões Sistemáticas de Literatura: Identificar padrões temáticos em grandes corpus Análise Bibliométrica: Mapear relações entre tópicos de pesquisa Mapeamento de Conhecimento: Visualizar estrutura de campos científicos Meta-análise Qualitativa: Categorizar e quantificar temas emergentes Análise de Tendências: Identificar combinações frequentes de tópicos 📝 Limitações Conhecidas Text Mining Analyzer: Apenas idioma inglês Requer coluna 'Abstract' no Excel de entrada TF-IDF limitado a 5000 features por tipo de n-grama (configurável) Subcategory Analyzer: Arquivos Excel muito grandes (>100MB) podem demorar para processar Nomes de subcategorias muito longos são truncados em gráficos (máx. 60 caracteres) Requer estrutura exata de colunas nos arquivos de entrada 🔮 Melhorias Futuras Roadmap Conjunto: [ ] Suporte para múltiplos idiomas [ ] Interface gráfica (GUI) unificada [ ] Dashboard interativo com Plotly/Dash [ ] API REST para integração [ ] Exportação para LaTeX [ ] Análise de n-gramas contextuais [ ] Processamento paralelo para datasets maiores [ ] Integração automática entre as duas ferramentas [ ] Suporte para entrada CSV [ ] Listas de stopwords personalizáveis 📚 Citação Se você usar este pacote em sua pesquisa, por favor cite: @software{literature_analysis_toolkit, title = {Literature Analysis Toolkit: Text Mining \& Subcategory Analysis}, author = {Queiroz, FWB}, year = {2025}, version = {1.0.0}, url = {https://github.com/FWBQueiroz/literature-analysis-toolkit} } 🙏 Agradecimentos Bibliotecas utilizadas: pandas - Manipulação de dados scikit-learn - Machine Learning e TF-IDF NLTK - Processamento de linguagem natural seaborn - Visualizações estatísticas matplotlib - Gráficos base numpy - Computação numérica openpyxl - Manipulação de Excel 📄 Licença MIT License - Veja arquivo LICENSE para detalhes 🤝 Contribuições Contribuições são bem-vindas! Por favor: Fork o projeto Crie uma branch para sua feature (git checkout -b feature/NovaFuncionalidade) Commit suas mudanças (git commit -m 'Adiciona nova funcionalidade') Push para a branch (git push origin feature/NovaFuncionalidade) Abra um Pull Request 📧 Suporte Issues: GitHub Issues Discussões: GitHub Discussions Changelog Completo: Release inicial v1.0.0 Baixe agora e transforme sua análise de literatura científica! 🚀📊