Deep reinforcement learning for trading in cryptocurrency markets using limit order book data and synthetic augmentation

Aquesta tesi investiga si existeixen patrons identificables en la microestructura de mercat del llibre d'ordres límit d'actius criptogràfics com el Bitcoin que continguin informació explotable per desenvolupar estratègies de trading algorítmic rendibles. La hipòtesi postula que les ineficiències del mercat durant el procés de formació de preus es manifesten com a patrons reconeixibles en la dinàmica del llibre d'ordres, permetent estratègies de trading rendibles quan s'exploten mitjançant tècniques d'aprenentatge automàtic. El marc d'experimentació proposa una metodologia de validació estadísticament robusta per a dades temporals, desenvolupant una estratègia de trading sistemàtica basada en dues components principals: un Autocodificador Variacional-Vectorialment Quantitzat per extreure representacions latents discretes de règims de mercat, i un Transformer amb Optimització de Polítiques Proximals per aprendre polítiques de trading òptimes. Aquestes tècniques es complementen amb un model addicional que aprèn les dinàmiques temporals de les representacions latents per generar dades sintètiques que donin suport a l'aprenentatge de l'estratègia principal. El rendiment de l'estratègia s'avalua transversalment utilitzant representacions latents de règims de mercat, indicadors derivats manualment del llibre d'ordres, combinacions híbrides d'ambdós, i representacions latents sintètiques, sota quatre escenaris de transacció diferents on el mode d'execució de les ordres té un impacte en els costos de transacció i la rendibilitat de l'estratègia. Durant l'etapa de validació i avaluació en dades de test queda demostrada l'existència de patrons explotables en la microestructura del mercat sota condicions de trading parcialment idealitzades. Els resultats més significatius mostren que el mode d'execució més rendible és mitjançant ordres passives (ordres límit) en lloc d'execució agressiva (ordres de mercat), obtenint sistemàticament rendiments substancialment superiors a la referència de mercat. A més, l'estratègia aprèn a arbitrar les recompenses de la casa d'intercanvi en moments idonis per incrementar la seva rendibilitat. La descomposició dels retorns revela que la rendibilitat no prové de l'explotació d'anomalies sinó d'una combinació de posicionament tàctic durant règims de mercat propicis per a l'execució de l'estratègia. La rendibilitat rau en la provisió de liquiditat quan el mercat experimenta fortes demandes a alta freqüència. En validació, el component encarregat d'aprendre representacions del mercat obté resultats prometedors i robustos estadísticament, tot i que en dades de test sembla que una aproximació híbrida és més rendible, cal remarcar que aquest últim resultat no és tan robust. Referent a les dades sintètiques, aquestes demostren ser inadequades per al seu ús segons el mètode de modelatge implementat, ja que les simplificacions introduïdes per generar-les artificialment destrueixen les característiques de microestructura de mercat pr