Evaluación comparativa de modelos de lenguaje (BERT y GPT) en el análisis de sentimiento de reseñas de clientes, con extensión a LlaMA y exploración de sesgos

Read full text Summarise with VIRAT
Authors: Ignacio Sánchez Carrillo
Cited by: 0
References: 61

Summary

No summary yet. VIRAT can read this paper and write a plain-language summary of its aim, methods, key findings and limitations.

Summarise with VIRAT Free to try with your Science Catalogs account.

Abstract

Esta investigación desafía la convención clásica en Procesamiento del Lenguaje Natural (NLP) que establece la superioridad de las arquitecturas discriminativas (encoder-only, como BERT) frente a las generativas (decoderonly) en tareas de clasificación de sentimiento bajo recursos limitados. Mediante una metodología experimental sobre los datasets IMDb, Amazon y Yelp, se evalúa el rendimiento de TinyLlama-1.1B optimizado con técnicas de adaptación de bajo rango (LoRA) y cuantización de 4-bits (NF4), contrastándolo con un baseline de BERT y GPT-2. La evidencia empírica obtenida refuta la hipótesis nula: el modelo generativo TinyLlama alcanzó un F1-Score de 0.9195 en IMDb, superando significativamente al estándar BERT (F1 0.8592) y demostrando que la plasticidad latente de los small language models (SLMs) compensa la falta de bidireccionalidad. Asimismo, se documenta la "Paradoja de la Transferencia Positiva", donde el modelo entrenado en narrativa compleja (cine de IMDB) mejoró su rendimiento al F1 0.9522 en un dominio no visto de productos (Amazon), validando una capacidad de generalización semántica superior. Finalmente, la auditoría ética mediante counterfactual data augmentation reveló riesgos latentes de seguridad, identificando un sesgo de género ("Efecto Heroína") que incrementa artificialmente la confianza del modelo (+9%) ante pronombres femeninos, subrayando la necesidad crítica de alineación en despliegues productivos.

Fields of Study & Subjects

Sentiment Analysis and Opinion Mining Topic Modeling Hate Speech and Cyberbullying Detection

Publication details

Journal / source
O2 - Repositori Institucional (Universitat Oberta de Catalunya)
Publication date
21 January 2026
Language
ES
Document type
Thesis