Piano Performance Analysis via Dynamics Estimation and Feedback Classification

Read full text Summarise with VIRAT
Authors: Hyon Kim
Cited by: 0
References: 79

Summary

No summary yet. VIRAT can read this paper and write a plain-language summary of its aim, methods, key findings and limitations.

Summarise with VIRAT Free to try with your Science Catalogs account.

Abstract

Aquesta tesi investiga models computacionals per a la comprensió i l’avaluació de la interpretació pianística, amb especial èmfasi en tres tasques interrelacionades: l’estimació de la velocitat de notes MIDI a partir de l’àudio, predicció simbòlica de marques dinàmiques (DMs) a partir de velocitats MIDI, i finalment, l’avaluació automàtica del rendiment dels estudiants. Tot i que aquestes tasques tenen rellevància pedagògica, s’aborden principalment des de la perspectiva d’enriquir la comprensió de l’expressivitat interpretativa a través de processos computacionals, amb l’objectiu de donar suport a l’anàlisi de la interpretació musical. La primera part de la tesi presenta la recerca existent i més rellevant sobre l’anàlisi de la interpretació pianística, i posa èmfasis en dimensions expressives com la dinàmica i la tècnica. S’hi identifiquen les limitacions dels mètodes existents i es remarca la necessitat de models més detallats, robustos i que tinguin en compte el context. La segona part es centra en l’estimació de velocitats MIDI directament de gravacions d’àudio, un pas essencial per captar els matisos expressius de la interpretació. A diferència de la majoria de mètodes de transcripció, els quals prioritzen la detecció de notes i atacs, aquesta idea aborda una dimensió menys explorada de la intensitat expressiva. Es proposen i comparen diverses arquitectures d’aprenentatge profund, incloent models CNN-GRU amb condicionament FiLM, models de difusió i U-Nets amb mecanismes d’atenció. Aquests models s’avaluen en comparació als mètodes prèviament establerts, mostrant millores en precisió, generalització i robustesa. La tercera part presenta un marc per a la predicció simbòlica de DMs a partir de velocitats MIDI en la interpretació. Es proposa un mètode de tokenització que integra l’estructura de la partitura amb els perfils de velocitat, i es desenvolupa un model basat en RoBERTa per inferir marques expressives com \textit{pp}, \textit{mf} o \textit{dim.}. Aquest és el primer intent d’abordar aquesta tasca com un problema de modelatge seqüencial contextual. Finalment, es presenta un prototip per a l’avaluació automàtica de la interpretació musical. Mitjançant representacions simbòliques extretes per transcripció, es desenvolupen classificadors neuronals per detectar problemes comuns en la interpretació —com problemes de dinàmica, irregularitats rítmiques o manca de fluïdesa— i s’assignen puntuacions a dimensions com la fluïdesa o la tècnica. El sistema demostra el potencial dels mètodes automàtics per generar una avaluació útil i comprensible. En conjunt, aquests tres components formen un marc per a la comprensió detallada de la interpretació pianística, des de la predicció de dinàmiques fins a la interpretació simbòlica i finalment, l’avaluació. Els mètodes proposats aporten noves eines i perspectives, amb aplicacions que abasten des de l’educació musical fins a l’anàlisi expressiva i la interacció home-màquina en entorns musicals.

Fields of Study & Subjects

Music and Audio Processing Music Technology and Sound Studies Diverse Music Education Insights

Publication details

Journal / source
Tesis Doctorals en Xarxa (Consorci de Serveis Universitaris de Catalunya)
Publication date
27 January 2026
Language
EN
Document type
Thesis