La detección de objetos es una tarea fundamental en visión por computadora, que suele basarse en redes neuronales convolucionales (CNNs). Aunque es difícil de implementar en dispositivos integrados debido al gran consumo de almacenamiento y computación, las redes neuronales binarias (BNNs) pueden ejecutar la detección de objetos con recursos limitados. Sin embargo, la extrema cuantificación en BNN causa diversidad de pérdida de representación de características, lo que finalmente influye en el rendimiento de la detección de objetos. En este documento, proponemos un método para equilibrar la retención de información y el control de desviación para lograr una detección de objetos efectiva, llamado IR-DC Net. Por un lado, introducimos la Divergencia de Kullback-Leibler para componer múltiples entropías para maximizar la información disponible. Por otro lado, diseñamos un módulo convolucional liviano para generar factores de escala dinámicamente para minimizar la desviación entre la convolución binaria y real. Los experimentos en los conjuntos de datos PASCAL VOC, COCO2014, KITTI y VisDrone muestran que nuestro método mejoró la precisión en comparación con las redes neuronales binarias anteriores.