El rendimiento excepcional alcanzado recientemente por los modelos de lenguaje neuronal (NLMs) en muchas tareas de procesamiento del lenguaje natural (NLP) ha dirigido el debate hacia la comprensión de si los NLMs aprenden implícitamente la competencia lingüística. Se adoptan frecuentemente sondas, es decir, modelos supervisados entrenados utilizando representaciones de NLM para predecir propiedades lingüísticas, para investigar este tema. Sin embargo, aún se cuestiona si las tareas de clasificación de sondas realmente permiten tal investigación o si simplemente sugieren patrones superficiales en los datos. Este trabajo contribuye a este debate al presentar un enfoque para evaluar la efectividad de un conjunto de tareas de sondeo destinadas a probar el conocimiento lingüístico implícitamente codificado por uno de los NLMs más prominentes, BERT. Con este fin, comparamos el rendimiento de las sondas al predecir valores reales y valores alterados automáticamente de un conjunto de características lingüísticas. Nuestros experimentos se realizaron en italiano y se evaluaron a través de las capas de BERT y para oraciones de diferentes longitudes. Como resultado general, observamos un mayor rendimiento en la predicción de valores reales, lo que sugiere que el modelo de sondeo es sensible a la distorsión de los valores de las características. Sin embargo, nuestros experimentos también mostraron que la longitud de una oración es un factor altamente influyente que puede confundir las predicciones del modelo de sondeo.