La propiedad del peaje en tiempo finito en el aprendizaje automático
Autores: Gugat, Martin
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
La propiedad del peaje en tiempo finito en el aprendizaje automático
Categoría
Tecnología de Equipos y Accesorios
Subcategoría
Diseño de equipos y herramientas
Palabras clave
Propiedad de peaje en tiempo fin
Problema de control óptimo
Ecuación diferencial ordinaria neural
ResNet profunda
Trayectoria óptima
Arquitectura de red neuronal
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 17
Citaciones: Sin citaciones
La propiedad del peaje en tiempo finito describe la situación en un problema de control óptimo donde una trayectoria óptima alcanza el estado deseado antes del final del intervalo de tiempo y permanece allí. Consideramos un problema de aprendizaje automático con una ecuación diferencial ordinaria neuronal que puede verse como una homogeneización de una ResNet profunda. Mostramos que con la escala adecuada del costo de control cuadrático y el término de seguimiento no suave, el problema de control óptimo tiene la propiedad del peaje en tiempo finito; es decir, el estado deseado se alcanza dentro del intervalo de tiempo y el estado óptimo permanece allí hasta el tiempo terminal. El momento en que las trayectorias óptimas alcanzan el estado deseado puede servir como un parámetro de diseño adicional. Dado que las ResNets pueden verse como discretizaciones de odes neuronales, la elección de corresponde a la elección del número de capas; es decir, la profundidad de la red neuronal. La elección de nos permite lograr un compromiso entre la profundidad de la red y el tamaño de los parámetros óptimos del sistema, lo que esperamos que sea útil para determinar las profundidades óptimas para arquitecturas de redes neuronales en el futuro.
Descripción
La propiedad del peaje en tiempo finito describe la situación en un problema de control óptimo donde una trayectoria óptima alcanza el estado deseado antes del final del intervalo de tiempo y permanece allí. Consideramos un problema de aprendizaje automático con una ecuación diferencial ordinaria neuronal que puede verse como una homogeneización de una ResNet profunda. Mostramos que con la escala adecuada del costo de control cuadrático y el término de seguimiento no suave, el problema de control óptimo tiene la propiedad del peaje en tiempo finito; es decir, el estado deseado se alcanza dentro del intervalo de tiempo y el estado óptimo permanece allí hasta el tiempo terminal. El momento en que las trayectorias óptimas alcanzan el estado deseado puede servir como un parámetro de diseño adicional. Dado que las ResNets pueden verse como discretizaciones de odes neuronales, la elección de corresponde a la elección del número de capas; es decir, la profundidad de la red neuronal. La elección de nos permite lograr un compromiso entre la profundidad de la red y el tamaño de los parámetros óptimos del sistema, lo que esperamos que sea útil para determinar las profundidades óptimas para arquitecturas de redes neuronales en el futuro.