En el procesamiento del lenguaje natural, el texto debe transformarse en una representación legible por máquina antes de cualquier procesamiento. La calidad de las tareas posteriores de procesamiento del lenguaje natural depende en gran medida de la calidad de esas representaciones. En esta encuesta, sistematizamos y analizamos 50 modelos neuronales de la última década. Los modelos descritos se agrupan según la arquitectura de las redes neuronales como modelos superficiales, recurrentes, recursivos, convolucionales y de atención. Además, categorizamos estos modelos por nivel de representación, nivel de entrada, tipo de modelo y supervisión del modelo. Nos centramos en modelos de representación independientes de tareas, discutimos sus ventajas y desventajas, y posteriormente identificamos las direcciones prometedoras para futuros modelos de representación de texto neuronal. Describimos los conjuntos de datos de evaluación y las tareas utilizadas en los artículos que introdujeron los modelos y comparamos los modelos en función de evaluaciones relevantes. La calidad de un modelo de representación puede evaluarse por su capacidad para generalizar a múltiples tareas no relacionadas. La estandarización de los puntos de referencia es visible entre los modelos recientes y el número de diferentes tareas en las que se evalúan los modelos está aumentando.