Eficiente inferencia de descarga para modelos de lenguaje grandes de mezcla de expertos en Internet de las Cosas Médicas
Autores: Yuan, Xiaoming; Kong, Weixuan; Luo, Zhenyu; Xu, Minrui
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Eficiente inferencia de descarga para modelos de lenguaje grandes de mezcla de expertos en Internet de las Cosas Médicas
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Avances significativos
Grandes modelos de lenguaje
E-salud
Internet de las Cosas Médicas
Protección de la privacidad
Desafíos de implementación
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 32
Citaciones: Sin citaciones
A pesar de los recientes avances significativos en los modelos de lenguaje grandes (LLMs) para servicios médicos, las dificultades de implementación de LLMs en la e-salud obstaculizan aplicaciones médicas complejas en Internet de las Cosas Médicas (IoMT). La gente está cada vez más preocupada por los riesgos de la e-salud y la protección de la privacidad. Los LLMs existentes enfrentan dificultades para proporcionar preguntas y respuestas médicas precisas y cumplir con las demandas de recursos de implementación en el IoMT. Para abordar estos desafíos, proponemos MedMixtral 8x7B, un nuevo LLM médico basado en la arquitectura de mezcla de expertos (MoE) con una estrategia de descarga, que permite la implementación en el IoMT, mejorando la protección de la privacidad para los usuarios. Además, encontramos que los factores significativos que afectan la latencia incluyen el método de interconexión de dispositivos, la ubicación de los servidores de descarga y la velocidad del disco.
Descripción
A pesar de los recientes avances significativos en los modelos de lenguaje grandes (LLMs) para servicios médicos, las dificultades de implementación de LLMs en la e-salud obstaculizan aplicaciones médicas complejas en Internet de las Cosas Médicas (IoMT). La gente está cada vez más preocupada por los riesgos de la e-salud y la protección de la privacidad. Los LLMs existentes enfrentan dificultades para proporcionar preguntas y respuestas médicas precisas y cumplir con las demandas de recursos de implementación en el IoMT. Para abordar estos desafíos, proponemos MedMixtral 8x7B, un nuevo LLM médico basado en la arquitectura de mezcla de expertos (MoE) con una estrategia de descarga, que permite la implementación en el IoMT, mejorando la protección de la privacidad para los usuarios. Además, encontramos que los factores significativos que afectan la latencia incluyen el método de interconexión de dispositivos, la ubicación de los servidores de descarga y la velocidad del disco.