Las plataformas de noticias en línea se han convertido en las principales fuentes de información para los usuarios. Sin embargo, se centran en atraer a los usuarios a hacer clic en las noticias e ignoran si las noticias generan un sentido de compromiso, lo que podría reducir potencialmente la participación de los usuarios en eventos públicos. Por lo tanto, este estudio construye cuatro indicadores al evaluar el compromiso del usuario para construir un sistema inteligente que ayude a las plataformas a optimizar sus estrategias de publicación. Primero, este estudio define la evaluación del compromiso del usuario como una tarea de clasificación que divide el compromiso del usuario en cuatro indicadores y propone un modelo LDA extendido basado en el comportamiento de clics y comentarios de los usuarios (UCCB), con el cual se puede representar efectivamente la atractividad de las palabras en los titulares y el contenido de las noticias. En segundo lugar, este estudio propone un modelo de evaluación de compromiso del usuario profundo (DUEE) que integra la atractividad de las noticias y múltiples características en una red neuronal profunda basada en atención para la evaluación del compromiso del usuario. El modelo DUEE considera varios elementos que determinan colectivamente la capacidad de las noticias para atraer clics y compromiso. En tercer lugar, el modelo propuesto se compara con las técnicas de referencia y de última generación, mostrando que supera a todos los métodos existentes. Este estudio proporciona nuevas contribuciones e ideas de investigación para mejorar el compromiso del usuario en la evaluación de noticias en línea.