Using domain specific benchmarks for responsible LLM deployment

Read full text Summarise with VIRAT
Authors: Gonzalo Martín Fernández
Cited by: 0
References: 58

Summary

No summary yet. VIRAT can read this paper and write a plain-language summary of its aim, methods, key findings and limitations.

Summarise with VIRAT Free to try with your Science Catalogs account.

Abstract

Els Grans Models de Llenguatge (LLMs) s’han convertit en una tecnologia crucial per a múltiples dominis organitzatius, oferint millores importants en eficiència, qualitat i escalabilitat dels processos. Tanmateix, el seu desplegament responsable presenta reptes relacionats amb el rendiment, el consum de recursos, la regulació i l’alineació amb les preferències dels usuaris. La selecció de models basada únicament en mètriques de capacitat o rendiment és insuficient per donar suport a una presa de decisions informada en escenaris del món real. Dins d’aquest context, el projecte de recerca ML-Compass emergeix com un marc d’optimització desenvolupat per donar suport a decisions de desplegament d’aprenentatge automàtic des d’una perspectiva de gestió d’operacions. Proporciona un marc unificador que formula la selecció com un problema d’optimització amb restriccions, oferint una base teòrica juntament amb una pipeline pràctica per orientar perfils de capacitat–cost i recomanar models adequats. Sota aquest marc, aquesta tesi demostra com els benchmarks específics d'un domini concret poden ser aprofitats per validar empíricament el marc ML-Compass i explotar plenament la metodologia proposada. Utilitzant HealthBench, un benchmark clínic de LLM d’última generació, es construeix un conjunt de dades de validació personalitzat, vinculant mètriques internes de capacitat i cost dels models amb mesures d’utilitat percebuda, derivades de les avaluacions clíniques basades en rúbriques de HealthBench. Mitjançant la selecció i caracterització de múltiples LLMs i la generació i avaluació a gran escala de respostes de converses mèdiques, HealthBench s’executa sobre un conjunt de 33 LLMs. A partir d’aquests resultats, s’estimen funcions d’utilitat per capturar la utilitat percebuda per l’usuari sota condicions contextuals específiques.

Fields of Study & Subjects

Artificial Intelligence Applications Impact of AI and Big Data on Business and Society Topic Modeling

Publication details

Journal / source
UPCommons institutional repository (Universitat Politècnica de Catalunya)
Publication date
24 February 2026
Language
EN
Document type
Thesis