La comunicación de dispositivo a dispositivo (D2D) es un paradigma prometedor para las redes de quinta generación (5G) y más allá de 5G (B5G). Aunque la comunicación D2D proporciona varios beneficios, incluyendo interferencia limitada, eficiencia energética, menor retraso y sobrecarga de red, enfrenta muchos desafíos técnicos como la arquitectura de red y el descubrimiento de vecinos, etc. La complejidad de configurar enlaces D2D y gestionar su interferencia, especialmente al usar ondas milimétricas (mmWave), inspira a los investigadores a aprovechar diferentes técnicas de aprendizaje automático (ML) para abordar estos problemas hacia el impulso del rendimiento de las redes D2D. En este documento, se explorará una encuesta exhaustiva sobre las actividades de investigación recientes en redes D2D poniendo más énfasis en la utilización de mmWave y métodos de ML. Después de explorar las direcciones de investigación D2D existentes acompañadas de sus soluciones convencionales existentes, mostraremos cómo se pueden aplicar diferentes técnicas de ML para mejorar el rendimiento de las redes D2D en lugar de utilizar métodos convencionales. Luego, se investigarán las direcciones de investigación aún abiertas en aplicaciones de ML en redes D2D, incluyendo sus necesidades esenciales. Se presentará un estudio de caso sobre la aplicación del bandido de múltiples brazos (MAB) como una herramienta de ML en línea eficiente para mejorar el rendimiento del descubrimiento y selección de vecinos (NDS) en redes D2D mmWave. Este estudio de caso pondrá énfasis en la alta eficacia de utilizar soluciones de ML en lugar de métodos convencionales no basados en ML para mejorar significativamente el rendimiento promedio del NDS mmWave.