Los enfoques de aprendizaje profundo han sido explorados para la clasificación de herramientas quirúrgicas en videos laparoscópicos. Las redes neuronales convolucionales (CNN) son prominentes entre los enfoques propuestos. Sin embargo, se han planteado preocupaciones sobre la robustez y generalizabilidad de los enfoques de CNN. Este documento evalúa la generalizabilidad de CNN en diferentes procedimientos y en datos de diferentes entornos quirúrgicos. Además, se evalúa el rendimiento de generalización a nuevos tipos de procedimientos e se proporcionan ideas sobre el efecto de aumentar el tamaño y la representatividad de los datos de entrenamiento en las capacidades de generalización de CNN. Se realizaron cinco experimentos utilizando tres conjuntos de datos. El modelo DenseNet-121 mostró una alta capacidad de generalización dentro del conjunto de datos, con una precisión promedio media del 93%. Sin embargo, el rendimiento del modelo disminuyó en datos de diferentes sitios quirúrgicos y en diferentes tipos de procedimientos (27% y 38%, respectivamente). El rendimiento de generalización del modelo de CNN se mejoró al aumentar la cantidad de videos de entrenamiento en datos del mismo tipo de procedimiento (la mejor mejora fue del 27%). Estos resultados destacan la importancia de evaluar el rendimiento de los modelos de CNN en datos de fuentes no vistas para determinar sus verdaderas capacidades de clasificación. Si bien el modelo de CNN analizado mostró un rendimiento razonablemente robusto en datos de diferentes sujetos, mostró una reducción moderada en el rendimiento para diferentes entornos quirúrgicos.