Diseño y desarrollo de un sistema para realizar bancos de pruebas para modelos grandes de lenguaje (LLM)

Read full text Summarise with VIRAT
Authors: Sergio Vicente Ruiz
Cited by: 0

Summary

No summary yet. VIRAT can read this paper and write a plain-language summary of its aim, methods, key findings and limitations.

Summarise with VIRAT Free to try with your Science Catalogs account.

Abstract

Este Trabajo de Fin de Grado presenta el diseño y desarrollo de un banco de pruebas orientado a la evaluación experimental y repetible de modelos de lenguaje de gran tamaño. El crecimiento del número de publicaciones científicas y la complejidad de los procesos de revisión han motivado la exploración de herramientas automáticas que puedan servir como apoyo en tareas de análisis y evaluación metodológica. El sistema desarrollado permite ejecutar pruebas definidas por el usuario sobre distintos modelos de lenguaje, utilizando documentos científicos en formato PDF como entrada y técnicas de prompting para guiar el comportamiento de los modelos. A partir de una configuración inicial, el banco de pruebas genera de forma automática combinaciones experimentales que varían parámetros como el modelo utilizado, los valores de generación y los prompts aplicados, permitiendo ejecutar las pruebas de manera sistemática y controlada. Las respuestas generadas por los modelos se estructuran en formato JSON, incorporando tanto los resultados de la evaluación como los metadatos necesarios para garantizar la trazabilidad de cada ejecución. Además, el sistema permite exportar los resultados a formatos tabulares, facilitando su análisis posterior mediante herramientas externas. El banco de pruebas se ha diseñado siguiendo principios de modularidad y extensibilidad, lo que permite su adaptación a nuevas tareas, modelos o criterios de evaluación. En conjunto, el trabajo realizado proporciona una herramienta flexible para el estudio comparativo de modelos de lenguaje y contribuye al análisis de su comportamiento en contextos experimentales controlados. ABSTRACT This Final Degree Project presents the design and development of a benchmarking system aimed at the experimental and repeatable evaluation of large language mo dels. The continuous growth of scientific publications and the increasing complexity of peer review processes have motivated the exploration of automated tools that can support document analysis and methodological assessment tasks. The developed system allows user-defined tests to be executed on different language models, using scientific articles in PDF format as input and prompting techniques to guide model behavior. Based on an initial configuration, the benchmark automatically generates experimental combinations by varying parameters such as the selected model, generation settings, and prompts, enabling systematic and controlled execution of the tests. Model responses are structured in JSON format, including both evaluation results and metadata that ensure full traceability of each execution. In addition, the system supports exporting results to tabular formats, facilitating further analysis using external statistical or data processing tools. The benchmark has been designed following principles of modularity and extensibility, allowing it to be adapted to new tasks, models, or evaluation criteria. Overall, this project provides a flexible tool for the comparative study of language models and contributes to the analysis of their behavior under controlled experimental conditions.

Fields of Study & Subjects

Topic Modeling Natural Language Processing Techniques Software Engineering Research

Publication details

Journal / source
Hispana
Publication date
1 January 2026
Language
ES
Document type
Thesis