La construcción de edificios militares en el Caribe español fue supervisada por ingenieros, como han demostrado en gran medida estudios anteriores, pero el trabajo forzado desempeñó un papel clave en los procesos, un aspecto poco estudiado. Cientos de trabajadores esclavizados en San Juan de Puerto Rico o San Juan de Ulúa (Veracruz, México) y miles en La Habana (Cuba) ayudaron a crear el entorno construido del imperio español en el siglo XVIII, sin embargo, tanto su significativa presencia física como sus situaciones de vivienda no han sido discutidas en gran medida. Además, el mantenimiento general de estas estructuras era uno de los deberes de los ingenieros militares que servían en el Caribe español y, por lo tanto, el material de archivo debería ser rico en la descripción de este aspecto, sin embargo, muy pocos planos o informes ofrecen información sobre las viviendas de los trabajadores esclavizados, aparte de las de La Habana y algunas secciones de San Juan de Ulúa, ambas inéditas hasta ahora. Reconociendo que las autoridades españolas prestaron poca atención a las viviendas de sus trabajadores esclavizados, este artículo considera las formas de estructuras creadas por los pueblos esclavizados para sus alojamientos. A través de ejemplos discutidos en La Habana y en San Juan de Ulúa, este estudio demuestra que las tradiciones arquitectónicas europeas fueron evitadas en favor de costumbres nativas y, probablemente, africanas. Estos ejemplos ofrecen perspectivas únicas sobre los entornos de vida de los pueblos esclavizados y amplían nuestras discusiones sobre cómo la raza contribuyó a la diversidad de prácticas arquitectónicas en el mundo ibérico de la temprana modernidad.