FinSoSent: avanzando en el análisis de sentimiento del mercado financiero a través de modelos de lenguaje grandes preentrenados
Autores: Delgadillo, Josiel; Kinyua, Johnson; Mutigwe, Charles
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
FinSoSent: avanzando en el análisis de sentimiento del mercado financiero a través de modelos de lenguaje grandes preentrenados
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería de Sistemas
Palabras clave
Mercados financieros
Análisis de sentimiento
Modelos de lenguaje grandes
Microblogs de redes sociales
FinSoSent
Específico del dominio.
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 40
Citaciones: Sin citaciones
Predecir las direcciones de los mercados financieros se ha realizado utilizando una variedad de enfoques, y el gran volumen de datos no estructurados generados por los traders y otros interesados en plataformas de microblogs en redes sociales proporciona oportunidades únicas para analizar los mercados financieros utilizando perspectivas adicionales. Los modelos de lenguaje grandes preentrenados (LLMs) han demostrado un rendimiento muy bueno en una variedad de tareas de análisis de sentimientos en diferentes dominios. Sin embargo, se sabe que el análisis de sentimientos es una tarea de procesamiento de lenguaje natural muy dependiente del dominio que requiere conocimiento de la ontología del dominio, y esto es particularmente el caso del dominio financiero, que utiliza su propio vocabulario único. Los avances recientes en NLP y aprendizaje profundo, incluidos los LLMs, han hecho posible generar sentimientos financieros accionables utilizando múltiples fuentes, incluidas noticias financieras, fundamentos de empresas, indicadores técnicos, así como microblogs en redes sociales publicados en plataformas como StockTwits y X (anteriormente Twitter). Desarrollamos un analizador de sentimientos de redes sociales financieras (FinSoSent), que es un modelo de lenguaje grande específico del dominio financiero que fue preentrenado en artículos de noticias financieras y ajustado y probado utilizando varias corporaciones de redes sociales financieras. Realizamos un gran número de experimentos utilizando diferentes tasas de aprendizaje, épocas y tamaños de lote para obtener el modelo con mejor rendimiento. Nuestro modelo supera a los modelos FSA actuales de vanguardia basados en más de 860 experimentos, demostrando la eficacia y efectividad de FinSoSent. También realizamos experimentos utilizando modelos de conjunto que comprenden FinSoSent y los otros modelos FSA actuales de vanguardia utilizados en esta investigación, y se obtuvo una ligera mejora en el rendimiento basada en votación mayoritaria. Basándonos en los resultados obtenidos en todos los modelos en estos experimentos, la importancia de este estudio es que destaca el hecho de que, a pesar de los avances recientes de los LLMs, el análisis de sentimientos, incluso en contextos específicos del dominio, sigue siendo un problema de investigación difícil.
Descripción
Predecir las direcciones de los mercados financieros se ha realizado utilizando una variedad de enfoques, y el gran volumen de datos no estructurados generados por los traders y otros interesados en plataformas de microblogs en redes sociales proporciona oportunidades únicas para analizar los mercados financieros utilizando perspectivas adicionales. Los modelos de lenguaje grandes preentrenados (LLMs) han demostrado un rendimiento muy bueno en una variedad de tareas de análisis de sentimientos en diferentes dominios. Sin embargo, se sabe que el análisis de sentimientos es una tarea de procesamiento de lenguaje natural muy dependiente del dominio que requiere conocimiento de la ontología del dominio, y esto es particularmente el caso del dominio financiero, que utiliza su propio vocabulario único. Los avances recientes en NLP y aprendizaje profundo, incluidos los LLMs, han hecho posible generar sentimientos financieros accionables utilizando múltiples fuentes, incluidas noticias financieras, fundamentos de empresas, indicadores técnicos, así como microblogs en redes sociales publicados en plataformas como StockTwits y X (anteriormente Twitter). Desarrollamos un analizador de sentimientos de redes sociales financieras (FinSoSent), que es un modelo de lenguaje grande específico del dominio financiero que fue preentrenado en artículos de noticias financieras y ajustado y probado utilizando varias corporaciones de redes sociales financieras. Realizamos un gran número de experimentos utilizando diferentes tasas de aprendizaje, épocas y tamaños de lote para obtener el modelo con mejor rendimiento. Nuestro modelo supera a los modelos FSA actuales de vanguardia basados en más de 860 experimentos, demostrando la eficacia y efectividad de FinSoSent. También realizamos experimentos utilizando modelos de conjunto que comprenden FinSoSent y los otros modelos FSA actuales de vanguardia utilizados en esta investigación, y se obtuvo una ligera mejora en el rendimiento basada en votación mayoritaria. Basándonos en los resultados obtenidos en todos los modelos en estos experimentos, la importancia de este estudio es que destaca el hecho de que, a pesar de los avances recientes de los LLMs, el análisis de sentimientos, incluso en contextos específicos del dominio, sigue siendo un problema de investigación difícil.