La adaptación de dominio es crítica para transferir el invaluable conocimiento del dominio fuente al dominio objetivo. En este artículo, para un modelo particular de atención visual, denominado atención dura, consideramos adaptar la atención dura aprendida al dominio objetivo no etiquetado. Para abordar este tipo de adaptación de atención dura, se propone una nueva estrategia de recompensa adversarial para entrenar la política del agente del dominio objetivo. En este marco de entrenamiento adversarial, el agente del dominio objetivo compite con el discriminador, que toma las características de atención generadas por ambos agentes de dominio como entrada y hace todo lo posible por distinguirlas, y así la política del dominio objetivo se aprende para alinear la característica de atención local con su contraparte del dominio fuente. Evaluamos nuestro modelo en los benchmarks de las tareas de dominio cruzado, como los conjuntos de datos de dígitos centrados y los conjuntos de datos de dígitos no centrados ampliados. Los resultados experimentales muestran que nuestro modelo supera al ADDA y a otros métodos existentes.