Optimizing data science problems with ADMM (Alternating direction method of multipliers)

L'Alternating Direction Method of Multipliers (ADMM) és un mètode d'optimització que permet descompondre problemes complexos en subproblemes més simples, facilitant-ne la resolució. Formalment, ADMM s’aplica a problemes d'optimització convexa amb estructura separable, combinant tècniques de multiplicadors i mètodes de descomposició. L'objectiu d’aquest treball és estudiar aquest algorisme, demostrar-ne la convergència, estendre'l a la versió amb consens i analitzar el seu comportament aplicat a dos problemes clàssics d'aprenentatge automàtic: la regressió Lasso i la classificació mitjançant Support Vector Machines (SVM). Per a fer-ho, s'ha desenvolupat l'algorisme per a cada cas en concret i s'ha aplicat a conjunt de dades sintètiques i exemples reals. En cada experiment s'han analitzat la convergència, el temps d'execució i la precisió de les solucions, i s'han comparat els resultats obtinguts amb altres mètodes o solvers coneguts. A més a més, s'han variat alguns paràmetres dels problemes per veure com l'algorisme es veu afectat.