El lastre cumple una función estructural vital en el soporte de las vías férreas bajo cargas continuas. La degradación del lastre puede resultar en problemas como drenaje inadecuado, inestabilidad lateral, asentamientos excesivos y posibles interrupciones del servicio, lo que requiere métodos de evaluación eficientes para garantizar operaciones ferroviarias seguras y confiables. La incorporación de técnicas de visión por computadora en los procesos de inspección de lastre ha demostrado ser efectiva para mejorar la precisión y robustez. Dada la naturaleza basada en datos de los enfoques de aprendizaje profundo, la eficacia de estos modelos está intrínsecamente vinculada a la calidad de los conjuntos de datos de entrenamiento, enfatizando así la necesidad de un conjunto de datos de agregados de lastre completo y meticulosamente anotado. Este documento presenta el desarrollo de un conjunto de datos de agregados de lastre multidimensional, construido utilizando datos empíricos recopilados de entornos de campo y laboratorio, complementados con datos sintéticos generados por un generador de partículas de lastre patentado. El conjunto de datos comprende tanto datos bidimensionales (2D), que consisten en imágenes de lastre anotadas con máscaras 2D para la localización de partículas, como datos tridimensionales (3D), que incluyen mapas de altura, nubes de puntos y anotaciones 3D para la localización de partículas. El proceso de recopilación de datos abarcó diversas condiciones de iluminación ambiental y estados de degradación, asegurando una cobertura extensa y diversidad dentro del conjunto de datos de entrenamiento. Un modelo previamente desarrollado de segmentación de partículas de lastre en 2D fue entrenado en este conjunto de datos aumentado, demostrando una alta precisión en las inspecciones de lastre en campo. Esta base de datos integral se utilizará en investigaciones posteriores para avanzar en la segmentación tridimensional de partículas de lastre y la completitud de formas, facilitando así protocolos de inspección mejorados y el desarrollo de metodologías efectivas de mantenimiento de lastre.