Dado que el vidrio óptico diminuto es el componente clave en varios instrumentos ópticos, cada vez más investigadores han prestado atención a la detección automática de defectos en vidrio óptico diminuto en los últimos años. Permanece siendo un problema desafiante, ya que los defectos son extremadamente pequeños. En este documento, proponemos una red de detección de defectos en dos etapas basada en video para mejorar la precisión de detección de defectos pequeños. Específicamente, el proceso de detección se lleva a cabo de manera de grueso a fino para mejorar la precisión de detección. Primero, se localiza el área de vidrio óptico en la versión de imagen de menor resolución, y luego los defectos se detectan solo dentro del área de vidrio óptico con una versión de mayor resolución, lo que puede reducir significativamente la tasa de alarmas falsas. Dado que los defectos pueden existir en cualquier lugar del vidrio óptico, fusionamos los resultados de varios fotogramas de video capturados desde diversas perspectivas para promover las tasas de recuperación de los defectos. Además, proponemos un módulo de evaluación de calidad de imagen basado en un algoritmo de agrupación para seleccionar fotogramas de video con alta calidad para mejorar tanto la recuperación como la precisión de detección. Contribuimos con un nuevo conjunto de datos llamado OGD-DET para experimentos de detección de defectos en la superficie de vidrio óptico a pequeña escala. Los conjuntos de datos constan de 3415 imágenes de 40 videos, y el tamaño del área de defecto varía de 0.1 mm a 0.53 mm, 2 a 7 píxeles en imágenes con una resolución de 1536 x 1024 píxeles. Experimentos extensos muestran que el método propuesto supera a los métodos más avanzados en términos de precisión y costo computacional.