Las solicitudes de un usuario a un servicio al cliente, también conocidas como tickets, son esencialmente textos cortos en lenguaje natural. Deben agruparse por tema para ser respondidos eficientemente. La efectividad aumenta si esta categorización semántica se vuelve automática. Buscamos este objetivo utilizando minería de texto para extraer las características de los tickets y clasificación para realizar la categorización. Sin embargo, este es un problema multi-clase difícil y el algoritmo de clasificación necesita una configuración adecuada de hiperparámetros para producir una categorización prácticamente útil. Como recientemente han destacado varios investigadores, la selección de estos hiperparámetros es a menudo el aspecto crucial. Por lo tanto, proponemos ver la elección de hiperparámetros como un problema de optimización de nivel superior donde los hiperparámetros son las variables de decisión y el objetivo es el rendimiento predictivo del clasificador. Sin embargo, no se puede definir un modelo analítico explícito de este problema. Por lo tanto, proponemos resolverlo como un modelo de caja negra mediante técnicas de optimización sin derivadas. Realizamos experimentos en una aplicación relevante: la categorización de las solicitudes recibidas por el Centro de Contacto del Instituto Nacional de Estadística de Italia (Istat). Los resultados muestran que el enfoque propuesto es capaz de categorizar efectivamente las solicitudes y que su rendimiento se ve aumentado por la optimización propuesta de hiperparámetros.