Aplicação de q-learning para controle adaptativo de articulações em robôs humanoides

Este trabalho apresenta uma implementação de algoritmo Q-Learning para controle adaptativo de articulações em robôs humanoides, utilizando como plataforma experimental o robô NAO da SoftBank Robotics. A pesquisa demonstra a aplicação prática de técnicas de aprendizado por reforço para otimização de movimentos articulares, especificamente no controle da articulação LShoulderPitch (ombro esquerdo). O sistema implementado utiliza a estratégia epsilon-greedy para equilibrar exploração e explotação durante o processo de aprendizagem, permitindo que o robô aprenda autonomamente a alcançar posições angulares específicas através de tentativa e erro. A metodologia empregada baseia-se na discretização do espaço de estados contínuo em 100 estados discretos, com 5 ações possíveis para ajuste angular. Os resultados obtidos através de 1000 episódios de treinamento demonstram convergência eficiente para o setpoint desejado de 1.0 radiano, com redução significativa do erro médio ao longo dos episódios. As contribuições deste trabalho incluem a validação experimental de técnicas de aprendizado por reforço em plataformas robóticas comerciais e o desenvolvimento de metodologia replicável para controle adaptativo de sistemas mecatrônicos complexos.