logo móvil
Contáctanos

CECS-CLIP: Fusionando Conocimiento del Dominio para el Modelo de Detección de Vida Silvestre Rara

Autores: Yang, Feng; Hu, Chunying; Liang, Aokang; Wang, Sheng; Su, Yun; Xu, Fu

Idioma: Inglés

Editor: MDPI

Año: 2024

Descargar PDF

Acceso abierto

Artículo científico
2024

CECS-CLIP: Fusionando Conocimiento del Dominio para el Modelo de Detección de Vida Silvestre Rara


Categoría

Ciencias Agrícolas y Biológicas

Subcategoría

Zootecnia

Palabras clave

Monitoreo de vida silvestre
Esfuerzos de conservación
Marco de detección de objetivos multimodal
Información textual
Características de imagen
Validación experimental

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 11

Citaciones: Sin citaciones


Descripción
El monitoreo preciso y eficiente de la vida silvestre es esencial para los esfuerzos de conservación. Los métodos tradicionales basados en imágenes a menudo tienen dificultades para detectar animales pequeños, ocultos o camuflados debido a los desafíos que presentan los complejos entornos naturales. Para superar estas limitaciones, se propone en este estudio un innovador marco de detección de objetivos multimodal, que integra información textual de una base de conocimientos sobre animales como características suplementarias para mejorar el rendimiento de detección. En primer lugar, se desarrolló un módulo de mejora de conceptos, empleando un mecanismo de atención cruzada para fusionar características basadas en la correlación entre características textuales e imágenes, obteniendo así características de imagen mejoradas. En segundo lugar, se desarrolló un módulo de normalización de características, amplificando la similitud coseno e introduciendo parámetros aprendibles para ponderar y transformar continuamente las características de imagen, mejorando aún más su poder expresivo en el espacio de características. La rigurosa validación experimental en un conjunto de datos especializado proporcionado por el equipo de investigación de la Universidad Northwest A&F demuestra que nuestro modelo multimodal logró una mejora del 0.3% en precisión en comparación con los métodos unimodales. En comparación con los algoritmos existentes de detección de objetivos multimodal, este modelo logró al menos un 25% de mejora en AP y destacó en la detección de pequeños objetivos de ciertas especies, superando significativamente los puntos de referencia de los modelos de detección de objetivos multimodal existentes. Este estudio ofrece un modelo de detección de objetivos multimodal que integra información textual e imagen para la conservación de la vida silvestre rara y en peligro de extinción, proporcionando pruebas sólidas y nuevas perspectivas para la investigación en este campo.

Otros recursos que podrían interesarte

Temas Virtualpro