Las redes neuronales profundas han demostrado ser capaces de aprender representaciones internas ricas, incluyendo características que también pueden ser utilizadas para diferentes propósitos a los que las redes fueron originalmente desarrolladas. En este artículo, estamos interesados en explorar tal habilidad y, para este fin, proponemos un enfoque novedoso para investigar el comportamiento interno de las redes entrenadas para tareas de procesamiento de código fuente. Usando un simple autoencoder entrenado en la reconstrucción de vectores que representan programas (es decir, embeddings de programas), primero analizamos el rendimiento de las neuronas internas en la clasificación de programas de acuerdo con diferentes políticas de etiquetado inspiradas en problemas reales de programación, mostrando que algunas neuronas pueden detectar diferentes propiedades de los programas. Luego estudiamos la dinámica de la red desde un punto de vista teórico de la información, considerando las neuronas como sistemas de señalización y calculando la entropía correspondiente. Además, definimos una forma de distinguir neuronas según su comportamiento, considerándolas formalmente asociadas con diferentes conceptos abstractos, y a través de la aplicación de pruebas estadísticas no paramétricas a pares de neuronas, buscamos neuronas con conceptos asociados únicos (o casi únicos), mostrando que el valor de entropía de una neurona está relacionado con la rareza de su concepto. Finalmente, discutimos cómo los enfoques propuestos para clasificar las neuronas pueden generalizarse a diferentes dominios y aplicarse a redes más sofisticadas y especializadas para ayudar a la investigación en el creciente campo de la inteligencia artificial explicable.