Hoy en día, el Internet de las Cosas Submarinas (IoUT) proporciona muchas aplicaciones marinas 5G. Sin embargo, tiene algunos problemas con la eficiencia energética y la duración de la red. El enfoque de agrupamiento de redes es eficiente para optimizar el consumo de energía, especialmente para las comunicaciones acústicas submarinas. Recientemente, se han desarrollado muchos algoritmos relacionados con las comunicaciones submarinas basadas en agrupamiento para la eficiencia energética. Sin embargo, estos algoritmos tienen desventajas cuando se consideran para aplicaciones heterogéneas de IoUT. La eficiencia del agrupamiento en IoUT heterogéneo se ve influenciada por la distribución uniforme de los cabezales de clúster (CHs). Como resultado, los esquemas convencionales son ineficientes cuando los CHs están dispuestos en nodos grandes y densos, ya que no pueden optimizar el número correcto de CHs. En consecuencia, el enfoque de agrupamiento no puede mejorar la red IoUT, y muchos nodos submarinos consumirán rápidamente su energía y se agotarán debido al gran número de clústeres. En este artículo, desarrollamos un esquema de agrupamiento eficiente para seleccionar efectivamente los mejores CHs basado en enfoques de optimización de colonia de abejas artificiales (ABC) y aprendizaje por refuerzo (Q-learning). El esquema propuesto permite una selección efectiva de los CHs basada en cuatro factores: el nivel de energía residual, la profundidad y la distancia desde la estación base, y la calidad de la señal. Primero evaluamos los algoritmos de enjambre más adecuados y su impacto en la mejora del mecanismo de selección de CH. Los algoritmos evaluados son el algoritmo genético (GA), la optimización por enjambre de partículas (PSO), la optimización por colonia de hormigas (ACO) y ABC. Luego, se mejora el proceso del algoritmo ABC utilizando el enfoque de Q-learning para optimizar el proceso de ABC y su función de aptitud para optimizar la selección de CH. Observamos a partir del resultado del rendimiento de la simulación que un esquema mejorado ABC-QL permite una selección eficiente de los mejores CHs para aumentar la duración de la red y reducir el consumo promedio de energía en un 40% en comparación con el ABC convencional.