logo móvil
Contáctanos

Eficiente inferencia de descarga para modelos de lenguaje grandes de mezcla de expertos en Internet de las Cosas Médicas

Autores: Yuan, Xiaoming; Kong, Weixuan; Luo, Zhenyu; Xu, Minrui

Idioma: Inglés

Editor: MDPI

Año: 2024

Descargar PDF

Acceso abierto

Artículo científico
2024

Eficiente inferencia de descarga para modelos de lenguaje grandes de mezcla de expertos en Internet de las Cosas Médicas


Categoría

Ingeniería y Tecnología

Subcategoría

Ingeniería Eléctrica y Electrónica

Palabras clave

Avances significativos
Grandes modelos de lenguaje
E-salud
Internet de las Cosas Médicas
Protección de la privacidad
Desafíos de implementación

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 32

Citaciones: Sin citaciones


Descripción
A pesar de los recientes avances significativos en los modelos de lenguaje grandes (LLMs) para servicios médicos, las dificultades de implementación de LLMs en la e-salud obstaculizan aplicaciones médicas complejas en Internet de las Cosas Médicas (IoMT). La gente está cada vez más preocupada por los riesgos de la e-salud y la protección de la privacidad. Los LLMs existentes enfrentan dificultades para proporcionar preguntas y respuestas médicas precisas y cumplir con las demandas de recursos de implementación en el IoMT. Para abordar estos desafíos, proponemos MedMixtral 8x7B, un nuevo LLM médico basado en la arquitectura de mezcla de expertos (MoE) con una estrategia de descarga, que permite la implementación en el IoMT, mejorando la protección de la privacidad para los usuarios. Además, encontramos que los factores significativos que afectan la latencia incluyen el método de interconexión de dispositivos, la ubicación de los servidores de descarga y la velocidad del disco.

Otros recursos que podrían interesarte

Temas Virtualpro