La comunidad de Procesamiento de Lenguaje Natural (NLP) ha sido testigo de enormes mejoras en los últimos años. Sin embargo, la mayoría de los logros se evalúan en corpora curados de referencia, con poca atención dedicada al contenido generado por los usuarios y a los idiomas con menos recursos. A pesar de que los enfoques recientes se centran en el desarrollo de herramientas y modelos multilingües, todavía tienen un rendimiento inferior en idiomas como el portugués, para el cual los recursos lingüísticos no abundan. Este artículo expone un conjunto de desafíos encontrados al abordar un problema complejo de NLP en el mundo real, basado en datos de quejas generadas por usuarios en portugués. Este estudio de caso satisface las necesidades de una institución gubernamental a nivel nacional responsable de la seguridad alimentaria y la vigilancia económica, y sus responsabilidades en el manejo de un alto número de quejas ciudadanas. Más allá de ver el problema desde un punto de vista exclusivamente académico, adoptamos preocupaciones a nivel de aplicación al analizar el progreso obtenido a través de diferentes técnicas, incluida la necesidad de obtener un soporte de decisión explicable. Discutimos las elecciones de modelado y proporcionamos información útil para investigadores que trabajan en problemas o datos similares.