Análisis exploratorio de la confianza humana basado en señales EEG mediante técnicas de aprendizaje automático e interpretabilidad

Read full text Summarise with VIRAT
Authors: Lucía Rebolledo Romillo
Cited by: 0

Summary

No summary yet. VIRAT can read this paper and write a plain-language summary of its aim, methods, key findings and limitations.

Summarise with VIRAT Free to try with your Science Catalogs account.

Abstract

El estudio de la confianza (trust) a partir de señales de electroencefalograma (EEG) ha despertado interés en los últimos años debido a su posible aplicación en ámbitos como la interacción humano-máquina, la neurociencia cognitiva y los sistemas adaptativos. Sin embargo, el análisis de la confianza mediante EEG presenta dificultades relevantes, ya que las señales son ruidosas y varían de forma considerable entre sujetos, y la evaluación del trust se basa en la percepción subjetiva de cada usuario, lo que complica su modelado mediante técnicas de aprendizaje automático. El objetivo principal de este Trabajo Fin de Grado es explorar la relación entre las señales EEG y los estados de confianza, analizando la viabilidad de identificar patrones asociados al trust mediante técnicas de análisis de datos y aprendizaje automático. El enfoque del trabajo es exploratorio y se centra en estudiar el comportamiento de distintas representaciones de la variable trust y su relación con las características extraídas del EEG, sin buscar como objetivo el desarrollo de un sistema predictivo final. El estudio se basa en una base de datos EEG adquirida por el grupo NeuroTechAI de la Universidad Politécnica de Madrid, que incluye tanto señales en crudo como señales procesadas, registradas en dos contextos experimentales: un experimento controlado de carácter neutral y un experimento de tipo ecológico. Las señales en crudo se emplean para extraer características en los dominios frecuencial y temporal. Posteriormente, los canales EEG se agrupan para construir regiones cerebrales —frontal, central, parietal, temporal y occipital— que se utilizan en los análisis posteriores con el objetivo de estructurar los datos y facilitar su interpretación. Para ello, se emplea una base de datos EEG en la que las etiquetas de referencia se obtienen a partir de la autoevaluación del usuario sobre su nivel de confianza. Dichas etiquetas se analizan bajo tres codificaciones diferentes: una escala completa (5 niveles), una codificación binaria (baja y alta confianza) y una codificación terciaria (baja, media y alta confianza), con el fin de estudiar el impacto de la representación de la variable trust en el rendimiento de los modelos. En una primera fase se realizó un análisis exploratorio de los datos, que incluyó análisis estadístico, temporal y topográfico de las características EEG. Este análisis permitió estudiar la organización de los datos en relación con los distintos niveles de confianza y evaluar la correspondencia entre las características extraídas y las etiquetas de trust. Los resultados muestran una variabilidad inter-sujeto y una correspondencia limitada entre los niveles de confianza. Posteriormente, se aborda el aprendizaje automático supervisado, evaluando distintos clasificadores entrenados a partir de las características EEG y las etiquetas de trust. El entrenamiento de los modelos se realiza mediante ajuste de hiperparámetros, y la evaluación se lleva a cabo utilizando métricas como accuracy, balanced accuracy y F1- score. Los resultados alcanzados muestran un rendimiento moderado, lo que confirma la dificultad de clasificar estados de confianza a partir de señales EEG. Con el fin de mejorar la interpretación de los modelos supervisados, se incorporan técnicas de explicabilidad basadas en SHAP (SHapley Additive exPlanations). Este análisis permite identificar las características que más contribuyen a las decisiones de los modelos y analizar la relevancia de determinadas bandas de frecuencia y regiones cerebrales en la estimación del trust. Estas técnicas aportan una visión complementaria al análisis de rendimiento y facilitan la comprensión del comportamiento de los modelos. Como complemento al análisis principal, se realiza una experimentación exploratoria con datos EEG propios, cuyo objetivo es validar el procedimiento de adquisición y registro de señales. Esta experimentación no se integra en el análisis principal del trabajo y se emplea únicamente para comprobar la viabilidad del protocolo experimental. En conjunto, este trabajo muestra las posibilidades y limitaciones del uso de señales EEG para el análisis de la confianza mediante aprendizaje automático. Los resultados indican que la estimación del trust a partir de EEG constituye una tarea compleja, condicionada por la elevada variabilidad de las señales y la limitada separabilidad entre clases, sin observarse una diferenciación clara entre los distintos niveles de confianza. No obstante, los análisis realizados sugieren una mayor contribución de la banda low gamma y de la actividad en regiones frontales, temporales y occipitales, aunque estas tendencias no permiten definir patrones robustos y generalizables. Estos resultados ponen de manifiesto la necesidad de continuar investigando con bases de datos más amplias y enfoques que tengan en cuenta la variabilidad individual. ABSTRACT The study of trust based on electroencephalogram (EEG) signals has attracted interest in recent years due to its potential application in areas such as human machine interaction, cognitive neuroscience, and adaptive systems. However, analysing trust using EEG presents significant difficulties, as the signals are noisy and vary considerably between subjects, and the assessment of trust is based on the subjective perception of each user, which complicates its modelling using machine learning techniques. The main objective of this Final Degree Project (Trabajo Fin de Grado) is to explore the relationship between EEG signals and states of trust, analysing the feasibility of identifying patterns associated with trust using data analysis and machine learning techniques. The approach of the project is exploratory and focuses on studying the behaviour of different representations of the trust variable and its relationship with the characteristics extracted from the EEG, without seeking to develop a final predictive system. The study is based on an EEG database acquired by the NeuroTechAI group at the Polytechnic University of Madrid, which includes both raw and processed signals recorded in two experimental contexts: a neutral controlled experiment and an ecological experiment. The raw signals are used to extract features in the frequency and time domains. Subsequently, the EEG channels are grouped to construct brain regions—frontal, central, parietal, temporal, and occipital—which are used in subsequent analyses with the aim of structuring the data and facilitating its interpretation. To do this, an EEG database is used in which reference labels are obtained from the user's self-assessment of their confidence level. These labels are analysed under three different encodings: a full scale, a binary encoding (low and high confidence) and a tertiary encoding (low, medium and high confidence), in order to study the impact of the representation of the trust variable on model performance. In the first phase, an exploratory analysis of the data was carried out, including statistical, temporal and topographical analysis of the EEG characteristics. This analysis allowed us to study the organisation of the data in relation to the different levels of trust and to evaluate the correspondence between the extracted characteristics and the trust labels. The results show inter-subject variability and limited correspondence between trust levels. Subsequently, supervised machine learning is addressed, evaluating different classifiers trained based on EEG characteristics and trust labels. The models are trained by adjusting hyperparameters, and evaluation is carried out using metrics such as accuracy, balanced accuracy, and F1 score. The results achieved show moderate performance, confirming the difficulty of classifying trust states based on EEG signals. In order to improve the interpretation of supervised models, explanation techniques based on SHAP (SHapley Additive exPlanations) are incorporated. This analysis allows us to identify the characteristics that contribute most to the models' decisions and analyse the relevance of certain frequency bands and brain regions in estimating trust. These techniques provide a complementary view to performance analysis and facilitate understanding of model behaviour. As a complement to the main analysis, exploratory experimentation is carried out with our own EEG data, with the aim of validating the signal acquisition and recording procedure. This experimentation is not integrated into the main quantitative analysis of the work and is used solely to verify the viability of the experimental protocol. Overall, this study shows the possibilities and limitations of using EEG signals for trust analysis through machine learning. The results indicate that estimating trust based on EEG is a complex task, conditioned by the high variability of the signals and the limited separability between classes, with no clear differentiation between different levels of trust. However, the analyses suggest a greater contribution from the low gamma band and activity in the frontal, temporal, and occipital regions, although these trends do not allow for the definition of robust and generalisable patterns. These results highlight the need for further research using larger databases and approaches that take individual variability into account.

Fields of Study & Subjects

EEG and Brain-Computer Interfaces Emotion and Mood Recognition Human-Automation Interaction and Safety

Publication details

Journal / source
Hispana
Publication date
1 January 2026
Language
ES
Document type
Thesis