La clasificación del color de la lengua sirve como una ayuda importante para que los médicos de la medicina tradicional china (MTC) realicen un diagnóstico preciso. Este artículo propone un nuevo marco de dos pasos basado en aprendizaje profundo para mejorar el rendimiento de la clasificación del color de la lengua. Primero, se aplica una CNN basada en semántica llamada SegTongue para segmentar las lenguas del fondo. Basado en DeepLabv3+, se añaden múltiples módulos de agrupación piramidal espacial atrous (ASPP) y se aumenta el número de iteraciones de fusiones de información de bajo y alto nivel. Después de la segmentación, se entrenan varias redes de extracción de características clásicas utilizando softmax y pérdida de centro. Los resultados del experimento se evalúan utilizando diferentes medidas, incluida la precisión general, el coeficiente Kappa, la sensibilidad individual, etc. Los resultados demuestran que el marco propuesto con SVM alcanza hasta un 97.60% de precisión en los conjuntos de datos de imágenes de lengua.