El diagnóstico de la lengua es un método crucial en la medicina tradicional china (MTC) para obtener información sobre la condición de salud de un paciente. En este estudio, proponemos un método de segmentación de imágenes de la lengua basado en aprendizaje profundo y un método de clasificación del color de la lengua a nivel de píxel utilizando técnicas de aprendizaje automático como la máquina de soporte vectorial (SVM) y la regresión de cresta. Estos dos enfoques juntos forman un marco integral que abarca desde la adquisición de imágenes de la lengua hasta la segmentación y el análisis. Este marco proporciona una representación objetiva y visualizada de la clasificación a nivel de píxel y la distribución de proporciones dentro de las imágenes de la lengua, asistiendo efectivamente a los practicantes de MTC en el diagnóstico de las condiciones de la lengua. Mitiga la dependencia de observaciones subjetivas en el diagnóstico tradicional de la lengua, reduciendo el sesgo humano y mejorando la objetividad del diagnóstico de MTC. El marco propuesto consta de tres componentes principales: segmentación de imágenes de la lengua, clasificación a nivel de píxel y clasificación del color de la lengua. En la etapa de segmentación, integramos el Modelo Segment Anything (SAM) en la red de segmentación general. Este enfoque no solo logra una puntuación de intersección sobre unión (IoU) superior a 0.95 en tres conjuntos de datos de imágenes de la lengua, sino que también reduce significativamente el proceso de anotación intensivo en mano requerido para entrenar modelos de segmentación tradicionales, mejorando la capacidad de generalización del modelo de segmentación. Para la clasificación a nivel de píxel, proponemos un modelo de clasificación de píxeles ligero basado en SVM, logrando una precisión de clasificación del 92%. En la etapa de clasificación del color de la lengua, introducimos un modelo de regresión de cresta que clasifica el color de la lengua en función de la proporción de diferentes categorías de píxeles. Usando este método, la precisión de clasificación alcanza el 91.80%. El enfoque propuesto permite una segmentación precisa y eficiente de imágenes de la lengua, proporciona una visualización intuitiva de la distribución del color de la lengua y analiza y cuantifica objetivamente la proporción de diferentes categorías de color de la lengua. En el futuro, este marco tiene potencial para validación y optimización en la práctica clínica.