AVALIAÇÃO DE MODELOS DE LINGUAGEM AMPLIADA (LLM) UTILIZADOS PELA IA GENERATIVA

Introdução: Os Large Language Model (LLM) são arquiteturas utilizadas em algoritmos da Inteligência Artificial Generativa (IAG) presentes nos ChatGPT, Gemini, Claude, Grok, dentre outros. É evidente que um LLM (Large Model Language) pode ser muito eficiente para realizar uma tarefa X que demande alta capacidade de processamento e muito ruim para realizar uma tarefa Y mais específica que pode ser realizada por um Short Model Language (SML), que são mais rápidos e consomem muito menos energia. IAG, além de devoradoras de energia, são falíveis, pois mesmo que suas métricas apresentem resultados excelentes em temas consensuais (conhecimento tácito), que é, obviamente, ajuda a milhões de pessoas em praticamente todo o mundo. Entretanto, em temas (conteúdos) subjetivos e/ou em situações limítrofes, elas podem “alucinar” de maneira significativa. O objetivo deste artigo foi avaliar a eficiência dos LLMs hegemônicos em responder situações problema que envolvam questões lógicas e outras com elevada subjetividade. Métodos: Um conjunto de dez questões abertas, elaboradas por pesquisadores de notório saber, sobre vários temas (de lógica e matemática até situações subjetivas e de difícil enfrentamento em escala mundial foram contempladas). Foram submetidas no mesmo dia aos LLMs ChatGPT, Perplexity, Gemini, Claude, Deepseek e Grok, em suas últimas versões, no dia 30 de dezembro de 2025. Foi criada uma matriz de tipificação para categorizar o perfil de cada uma delas. Resultados: Embora os atuais LLMs apresentem desempenho satisfatório na recuperação de informações baseadas em consensos científicos, atendendo eficazmente a consultas sobre temas sobre conhecimento científico categórico e consolidado, mas, também, com temáticas subjetivas, filosóficas e humanitárias. Nesses cenários, observa-se uma propensão a imprecisões e alucinações, fenômeno que pode ser atribuído à filtragem estatística inerente a esses sistemas, a qual tende a suprimir ‘ruídos’ e singularidades essenciais para a compreensão de contextos não padronizados.