Actualmente, desplegar cargas de trabajo de aprendizaje automático en el continuo Cloud-Edge-IoT es un desafío debido a la amplia variedad de plataformas de hardware disponibles, los estrictos requisitos de rendimiento y la heterogeneidad de las propias cargas de trabajo. Para aliviar esto, se presenta un enfoque novedoso y flexible para la inferencia de aprendizaje automático, que es adecuado para despliegues en entornos diversos, incluidos dispositivos de borde. La solución propuesta tiene un diseño modular y es compatible con una amplia gama de tuberías de aprendizaje automático definidas por el usuario. Para mejorar la eficiencia energética y la escalabilidad, se propone un protocolo de comunicación de alto rendimiento para la inferencia, junto con un mecanismo de escala basado en un balanceador de carga. El servicio de inferencia se integra en la arquitectura de referencia ASSIST-IoT, aprovechando así sus otros componentes. La solución fue evaluada en dos escenarios que emulan de cerca casos de uso de la vida real, con cargas de trabajo exigentes y requisitos que constituyen varios escenarios de despliegue diferentes. Los resultados de la evaluación muestran que el software propuesto cumple con los requisitos de alta capacidad de procesamiento y baja latencia de inferencia de los casos de uso, adaptándose eficazmente al hardware disponible. El código y la documentación, además de los datos utilizados en la evaluación, se han hecho de código abierto para fomentar la adopción de la solución.