Las redes neuronales bayesianas (BNNs) han recuperado recientemente una cantidad significativa de atención en la comunidad de aprendizaje profundo debido al desarrollo de técnicas escalables de inferencia bayesiana aproximada. Hay varias ventajas de usar un enfoque bayesiano: las incertidumbres de parámetros y predicciones se vuelven fácilmente disponibles, lo que facilita un análisis estadístico más riguroso. Además, el conocimiento previo puede ser incorporado. Sin embargo, la construcción de técnicas escalables que combinen tanto la incertidumbre estructural como la de parámetros sigue siendo un desafío. En este documento, aplicamos el concepto de incertidumbre del modelo como un marco para el aprendizaje estructural en BNNs y, por lo tanto, hacemos inferencias en el espacio conjunto de estructuras/modelos y parámetros. Además, sugerimos una adaptación de un enfoque de inferencia variacional escalable con reparametrización de probabilidades de inclusión marginal para incorporar las restricciones del espacio del modelo. Los resultados experimentales en una variedad de conjuntos de datos de referencia muestran que obtenemos resultados de precisión comparables con los modelos competidores, pero basados en métodos mucho más dispersos que las BNNs ordinarias.