Preference in multiobjective systems

En molts problemes d’interès, l’èxit no es pot mesurar amb una sola quantitat. Resoldre problemes d’aquest tipus requereix optimització multiobjectiu, on la definició del que és òptim depèn de les preferències de qui pren les decisions. Quan existeix un ordre estricte d’importància entre els objectius, la millor manera de descriure preferències és com una ordenació que comporta optimització lexicogràfica. En el context de la conducció autònoma, per exemple, els agents han de prioritzar sempre els objectius relacionats amb la seguretat per sobre d’altres com arribar a la seva destinació el més ràpid possible. Tanmateix, en altres escenaris on no hi ha un clar ordre estricte d’importància entre els objectius, altres enfocaments poden ser més adequats per expressar preferències. Una alternativa comuna és descriure preferències mitjançant pesos relatius per a cada objectiu, que es poden utilitzar per optimitzar una única mesura escalar que combina els múltiples objectius. L’escalarització lineal (linear scalarization) permet v Resum que les solucions a problemes multiobjectiu trobin un balanç entre objectius en conflicte sense prioritzar-ne un sobre un altre cegament. En aquest treball de final de màster, explorem les preferències en problemes multiobjectiu en dos contextos diferents. En primer lloc, estudiem les preferències lexicogràfiques en un escenari de conducció autònoma multiagent en el qual cada vehicle ha d’optimitzar un seguit d’objectius segons el seu ordre de preferència individual. Modelem aquest problema utilitzant eines de teoria de jocs, descrivint la interacció com un joc d’ordres de preferència (game of ordered preference), i presentem un algoritme per trobar solucions aproximades eficientment quan anteriorment eren substancialment més costoses de calcular. En segon lloc, explorem de quina manera aplicar diferents mètodes per tractar preferències en forma de pesos lineals per resoldre problemes multiobjectiu complexos. Ampliem un popular algoritme d’aprenentatge per reforç (reinforcement learning) per entrenar agents que aprenen a maximitzar recompenses donats vectors de pesos aleatoris. L’avaluació d’aquests agents entrenats mitjançant les extensions algorítmiques en tres entorns multiobjectiu complexos demostra la seva capacitat d’adaptar-se a preferències arbitràries i obre la porta a futures línies de recerca.