Un sistema de comunicación semántica de imágenes de baja tasa de bits basado en un grafo semántico
Autores: Dong, Jiajun; Yan, Tianfeng; Sun, Wenhao
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Un sistema de comunicación semántica de imágenes de baja tasa de bits basado en un grafo semántico
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Investigación
Comunicación semántica
Velocidad de bits
Reconstrucción de imagen
Optimización
Métricas perceptivas
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 35
Citaciones: Sin citaciones
En el progreso de la investigación en el campo de la comunicación semántica, la mayoría de los esfuerzos se han centrado en optimizar la relación señal-ruido (SNR), mientras que el diseño y la optimización de la tasa de bits requerida para la transmisión han sido relativamente descuidados. Para abordar este problema, este estudio introduce un innovador modelo de sistema de comunicación semántica de imágenes de baja tasa de bits, que tiene como objetivo reconstruir imágenes a través del intercambio de información semántica en lugar de la transmisión de símbolos tradicionales. Este modelo emplea una extracción de características de imagen y un marco de reconstrucción de optimización, logrando un rendimiento de reconstrucción visualmente satisfactorio y semánticamente consistente a tasas de bits extremadamente bajas (por debajo de 0.03 bits por píxel (bpp)). A diferencia de los métodos anteriores que utilizaban la precisión de píxeles como estándar para la medición de la distorsión, esta investigación introduce múltiples métricas perceptuales para entrenar y evaluar el modelo de codificación semántica de imágenes propuesto, alineándose más estrechamente con el propósito fundamental de la comunicación semántica. Los resultados experimentales demuestran que, en comparación con WebP, JPEG y códecs de imágenes basados en aprendizaje profundo, nuestro modelo no solo proporciona un efecto de reconstrucción visualmente más agradable, sino que también reduce significativamente la tasa de bits requerida manteniendo la consistencia semántica.
Descripción
En el progreso de la investigación en el campo de la comunicación semántica, la mayoría de los esfuerzos se han centrado en optimizar la relación señal-ruido (SNR), mientras que el diseño y la optimización de la tasa de bits requerida para la transmisión han sido relativamente descuidados. Para abordar este problema, este estudio introduce un innovador modelo de sistema de comunicación semántica de imágenes de baja tasa de bits, que tiene como objetivo reconstruir imágenes a través del intercambio de información semántica en lugar de la transmisión de símbolos tradicionales. Este modelo emplea una extracción de características de imagen y un marco de reconstrucción de optimización, logrando un rendimiento de reconstrucción visualmente satisfactorio y semánticamente consistente a tasas de bits extremadamente bajas (por debajo de 0.03 bits por píxel (bpp)). A diferencia de los métodos anteriores que utilizaban la precisión de píxeles como estándar para la medición de la distorsión, esta investigación introduce múltiples métricas perceptuales para entrenar y evaluar el modelo de codificación semántica de imágenes propuesto, alineándose más estrechamente con el propósito fundamental de la comunicación semántica. Los resultados experimentales demuestran que, en comparación con WebP, JPEG y códecs de imágenes basados en aprendizaje profundo, nuestro modelo no solo proporciona un efecto de reconstrucción visualmente más agradable, sino que también reduce significativamente la tasa de bits requerida manteniendo la consistencia semántica.