Los productos textiles de telar manual juegan un papel esencial tanto en el paisaje financiero como cultural de los nativos, lo que requiere métodos precisos y eficientes para autenticar frente a los textiles replicados de telar mecánico para la protección del patrimonio y la viabilidad económica de los tejedores indígenas. Este documento presenta un nuevo enfoque para la identificación automatizada de textiles de telar manual aprovechando una técnica de aprendizaje métrico profundo. Se creó un conjunto de datos etiquetados de textiles de telar manual de 25,166 imágenes al recolectar muestras de textiles de telar manual de seis tipos únicos, trabajando con tejedores indígenas en Assam, en el noreste de India. El método propuesto logró un éxito notable al adquirir representaciones de características sesgadas que facilitan la separación efectiva de diferentes tipos de fibra en un espacio de características aprendido. A través de una extensa experimentación y comparación con modelos de referencia, nuestro enfoque demostró una eficiencia superior en la clasificación de textiles de telar manual con una precisión del 97.8%. Nuestro enfoque no solo contribuye a la preservación y promoción de la artesanía textil tradicional en la región, sino que también destaca su importancia.