La fractura del codo es común en los seres humanos. La estructura compleja del codo, incluyendo su forma irregular, borde, etc., hace que sea difícil reconocer correctamente las fracturas de codo. Para abordar tales desafíos, se propone en este trabajo un método que consta de dos fases. En la Fase I, se realiza un preprocesamiento, en el que las imágenes se convierten en RGB. En la Fase II, se utilizan modelos de convolución preentrenados Darknet-53 y Xception para la extracción de características profundas. Las características hechas a mano, como el histograma de gradiente orientado (HOG) y el patrón binario local (LBP), también se extraen de las imágenes de entrada. Se utiliza un análisis de componentes principales (PCA) para la mejor selección de características y se fusiona en serie en un vector de características único con una longitud de Nx2125. Además, se seleccionan características informativas Nx1049 de las Nx2125 características utilizando el enfoque de optimización de ballenas (WOA) y se suministran a los clasificadores SVM, KNN y red neuronal amplia (WNN). El rendimiento del método propuesto se evalúa en 16,984 radiografías de codo tomadas del conjunto de datos de radiología musculoesquelética (MURA) disponible públicamente. La técnica propuesta proporciona una precisión del 97.1% y un coeficiente kappa del 0.943% para la clasificación de fracturas de codo. Los resultados obtenidos se comparan con los enfoques más recientemente publicados en los mismos conjuntos de datos de referencia.