La inteligencia computacional ha sido ampliamente utilizada en el procesamiento de información médica. Los métodos de aprendizaje profundo, en particular, tienen muchas aplicaciones exitosas en el análisis de imágenes médicas. En este documento, propusimos un marco de segmentación de lesiones médicas de extremo a extremo basado en redes neuronales convolucionales con un mecanismo de doble atención, que integra segmentación supervisada completamente y débilmente. El módulo de segmentación débilmente supervisado logra una segmentación precisa de lesiones utilizando etiquetas de caja delimitadora de áreas de lesiones, lo que resuelve el problema del alto costo de las etiquetas a nivel de píxel con lesiones en las imágenes médicas. Además, se introduce un mecanismo de doble atención para mejorar la capacidad de aprendizaje de características visuales de la red. El mecanismo de doble atención (atención de canal y espacial) puede ayudar a la red a prestar atención a la extracción de características de regiones importantes. En comparación con el método principal actual de segmentación débilmente supervisada que utiliza etiquetas pseudo, puede reducir en gran medida las brechas entre las etiquetas de verdad de terreno y las etiquetas pseudo. Los resultados experimentales finales muestran que nuestro marco propuesto logró un rendimiento más competitivo en el conjunto de datos de lesiones orales, y nuestro marco se extendió aún más a la segmentación de lesiones dermatológicas.