La observación manual de frotis de esputo mediante microscopía de fluorescencia para el diagnóstico y monitoreo del tratamiento de pacientes con tuberculosis (TB) es una tarea laboriosa y subjetiva. En este trabajo, presentamos un pipeline automático que emplea un enfoque novedoso basado en aprendizaje profundo para detectar rápidamente organismos de Mycobacterium tuberculosis (Mtb) en muestras de esputo y así cuantificar la carga de la enfermedad. Las imágenes de microscopía de fluorescencia se utilizan como entrada en una serie de redes, que finalmente producen un conteo final de las bacterias presentes de manera más rápida y consistente que el análisis manual realizado por trabajadores de la salud. El pipeline consta de cuatro etapas: anotación por redes generativas adversariales (GANs) consistentes en ciclos, extracción de parches de imagen salientes, clasificación de los parches extraídos y, finalmente, regresión para obtener el conteo final de bacterias. Evaluamos empíricamente las etapas individuales del pipeline y realizamos una evaluación unificada en datos previamente no vistos que fueron etiquetados con verdad de terreno por un microscopista experimentado. Mostramos que sin intervención humana, el pipeline puede proporcionar el conteo bacteriano para una muestra de imágenes con un error de menos del 5%.