En este documento, desarrollamos conducción autónoma de extremo a extremo basada en un sensor LiDAR 2D y un sensor de cámara que predicen el valor de control del vehículo a partir de los datos de entrada, en lugar de modelar la conducción autónoma basada en reglas. Diferente de muchos estudios que utilizan datos simulados, creamos un algoritmo de conducción autónoma de extremo a extremo con datos obtenidos de la conducción real y analizando el rendimiento de nuestro algoritmo propuesto. Basándonos en los datos obtenidos de un entorno de conducción urbana real, la conducción autónoma de extremo a extremo fue posible en un entorno informal como un semáforo al predecir el valor de control del vehículo basado en una red neuronal convolucional. Además, este documento resuelve el problema de desequilibrio de datos al eliminar datos redundantes para cada fotograma durante la parada y la conducción en el entorno de conducción para poder mejorar el rendimiento de la conducción autónoma. Finalmente, verificamos a través del mapa de activación cómo la red predice los valores de control vertical y horizontal al reconocer las instalaciones de tráfico en el entorno de conducción. Se mostrarán experimentos y análisis para demostrar la validez del algoritmo propuesto.