Un entorno de percepción confiable es una tarea crucial para la conducción autónoma, especialmente en áreas de tráfico denso. Los avances recientes y los logros en la comprensión de escenas para sistemas de transporte inteligentes se basan principalmente en el aprendizaje profundo y la fusión de diferentes modalidades. En este contexto, presentamos OLIMP: un conjunto de datos multimodal heterogéneo para la percepción avanzada del entorno. Este es el primer conjunto de datos público, multimodal y sincronizado que incluye datos de radar UWB, datos acústicos, datos de radar de banda estrecha e imágenes. OLIMP consta de 407 escenas y 47,354 fotogramas sincronizados, presentando cuatro categorías: peatones, ciclistas, automóviles y tranvías. El conjunto de datos incluye varios desafíos relacionados con el tráfico urbano denso, como un entorno abarrotado y diferentes condiciones climáticas. Para demostrar la utilidad del conjunto de datos presentado, proponemos un marco de fusión que combina las cuatro modalidades para la detección de múltiples objetos. Los resultados obtenidos son prometedores y estimulan la investigación futura.