Presentamos una nueva arquitectura de aprendizaje por refuerzo que aprende una representación estructurada para su uso en armonización melódica simbólica. Los modelos probabilísticos son predominantes en las tareas de armonización melódica, la mayoría de los cuales solo tratan las notas melódicas como observaciones independientes y no tienen en cuenta las subestructuras en la secuencia melódica. Para llenar este vacío, agregamos el descubrimiento de subestructuras como un paso crucial en la generación automática de acordes. El método propuesto consta de un módulo de representación estructurada que genera estructuras jerárquicas para las melodías simbólicas, un módulo de políticas que aprende a dividir una melodía en segmentos (cuyos límites coinciden con los cambios de acorde) y frases (las subunidades en segmentos) y un módulo de armonización que genera secuencias de acordes para cada segmento. Formulamos el proceso de descubrimiento de estructuras como un problema de decisión secuencial con un método de aprendizaje por refuerzo de gradiente de políticas seleccionando el límite de cada segmento o frase para obtener una estructura optimizada. Realizamos experimentos en nuestro Conjunto de Datos de Partituras Principales de HookTheory preprocesado, que tiene 17,979 pares de melodía/acorde. Los resultados demuestran que nuestro método propuesto puede aprender representaciones específicas de la tarea y, por lo tanto, producir resultados competitivos en comparación con los baselines de última generación.