Una base general para engañar a una red neuronal sin conocer los detalles (es decir, un ataque de caja negra) es la transferibilidad del ataque de ejemplos adversarios entre diferentes modelos. Muchos trabajos se han dedicado a mejorar la transferibilidad específica de la tarea de ejemplos adversarios, mientras que la transferibilidad entre tareas está casi fuera del alcance de la investigación. En este artículo, para mejorar los dos tipos de transferibilidad de ejemplos adversarios mencionados anteriormente, somos los primeros en considerar el problema de transferibilidad como un problema de generalización de dominio heterogéneo, que puede abordarse mediante un pipeline general basado en el extractor de características invariante de dominio pre-entrenado en ImageNet. Específicamente, proponemos un método de ataque de métrica de distancia (DMA) que tiene como objetivo aumentar la distancia de la capa latente entre el ejemplo adversario y el ejemplo benigno en la dirección opuesta guiada por la pérdida de entropía cruzada. Con la ayuda de una pérdida simple, DMA puede mejorar efectivamente la transferibilidad invariante de dominio (tanto para el caso específico de la tarea como para el caso de transferencia entre tareas) de los ejemplos adversarios. Además, DMA se puede utilizar para medir la robustez de las capas latentes en un modelo profundo. Empíricamente encontramos que los modelos con estructuras similares tienen robustez consistente en capas de profundidades similares, lo que revela que la robustez del modelo está estrechamente relacionada con la estructura del modelo. Experimentos extensos en clasificación de imágenes, detección de objetos y segmentación semántica demuestran que DMA puede mejorar la tasa de éxito del ataque de caja negra en más del 10% en el ataque específico de la tarea y en más del 5% en el ataque entre tareas.