Avaliação de modelos de linguagem compactos em execução offline

Este estudo apresenta uma análise do modelo TinyLlama-1.1B-Chat-v1.0 operando em ambiente local completamente offline, utilizando VS Code e Python em máquina pessoal sem necessidade de conectividade de rede após o carregamento inicial. O trabalho investiga as capacidades conversacionais de um modelo de linguagem de pequeno porte (1.1 bilhão de parâmetros) em cenários de uso autônomo, avaliando sua precisão factual, coerência contextual e capacidade de manutenção de diálogo. A metodologia envolveu a implementação de um sistema de chat interativo com preservação de histórico e avaliação sistemática de respostas em domínios variados, executado localmente em ambiente de desenvolvimento integrado. Os resultados demonstraram que, apesar das limitações inerentes ao tamanho reduzido, o modelo apresentou desempenho satisfatório em questões factuais básicas, mantendo coerência conversacional e fornecendo respostas estruturadas. O sistema operou de forma autônoma após carregamento, demonstrando viabilidade para aplicações em ambientes com restrições de conectividade e necessidades de privacidade de dados. As análises revelaram precisão factual adequada em conhecimentos gerais, embora com limitações em detalhes específicos e contextos mais complexos.