Estudiamos la tarea funcional de los modelos de clasificación de imágenes de aprendizaje profundo y mostramos que la clasificación de imágenes requiere capacidades de extrapolación. Esto sugiere que se deben desarrollar nuevas teorías para comprender el aprendizaje profundo, ya que la teoría actual supone que los modelos se interpolan únicamente, lo que deja muchas preguntas sin respuesta. Investigamos el espacio de píxeles y también los espacios de características extraídos de las imágenes por modelos entrenados (en sus capas ocultas, incluido el espacio de características de 64 dimensiones en la última capa oculta de redes neuronales residuales previamente entrenadas), y también el espacio de características extraído por ondículas/shearlets. En todos estos dominios, las muestras de prueba caen considerablemente fuera del casco convexo de los conjuntos de entrenamiento, y la clasificación de imágenes requiere extrapolación. A diferencia de la literatura sobre aprendizaje profundo, en la ciencia cognitiva, la psicología y la neurociencia, la extrapolación y el aprendizaje a menudo se estudian en conjunto. Además, se informa que muchos aspectos de la cognición y el comportamiento visuales humanos implican extrapolación. Proponemos un marco de extrapolación novedoso para el estudio matemático de modelos de aprendizaje profundo.
En nuestro marco, usamos el término extrapolación en esta forma específica de extrapolar fuera del casco convexo del conjunto de entrenamiento (en el espacio de píxeles o espacio de características) pero dentro del alcance específico definido por los datos de entrenamiento, de la misma manera que la extrapolación se define en muchos estudios en ciencias cognitivas. Explicamos que nuestro marco de extrapolación puede proporcionar respuestas novedosas a problemas de investigación abiertos sobre el aprendizaje profundo, incluida su sobreparametrización, su régimen de entrenamiento, detección fuera de distribución, etc. También vemos que el alcance de la extrapolación es insignificante en tareas de aprendizaje donde Se informa que el aprendizaje profundo no tiene ninguna ventaja sobre los modelos simples. Proponemos un marco de extrapolación para estudiar la tarea funcional de las redes neuronales profundas utilizadas para la clasificación de imágenes. Primero demostramos que la tarea funcional de los modelos de clasificación de imágenes implica la extrapolación. Aunque no se considera que la extrapolación explique la generalización de los modelos de aprendizaje profundo, existe una rica literatura en ciencias cognitivas, psicología y neurociencia que estudia diferentes tareas de extrapolación en relación con el aprendizaje.
El modelo entrenado divide su dominio y asigna una clase a cada partición.
Estudiamos esa literatura para ver cómo la extrapolación se puede definir de diferentes maneras dependiendo de la tarea de aprendizaje. La definición que adoptamos en nuestro marco de extrapolación es extrapolación dentro de un alcance específico definido por el conjunto de entrenamiento. Desde la perspectiva matemática, un modelo de clasificación de imágenes puede considerarse una función de clasificación que asigna imágenes a clases (Strang, 2019). El dominio de dicha función es el espacio de píxeles que puede considerarse un hipercubo. El modelo entrenado divide su dominio y asigna una clase a cada partición. Las particiones están definidas por límites de decisión, al igual que el modelo (Yousefzadeh y O'Leary, 2020). Esta partición de dominio es inherente a la tarea de clasificación de estos modelos, y puede estudiarse no solo en el espacio de píxeles sino también en espacios de características derivados de imágenes en las capas internas de redes profundas. La partición de dominios, de hecho, tiene una rica literatura en matemáticas aplicadas y teoría de aproximación (Weierstrass, 1885; Fornæss et al., 2020). El proceso de entrenamiento de un modelo puede verse como la definición de las particiones y los límites de decisión.
POSTSUPERSCRIPT son cruciales en la generalización del modelo. Esta perspectiva novedosa puede proporcionar nuevas respuestas a algunas preguntas de investigación abiertas en el aprendizaje profundo. En esta sección, proporcionamos un breve resumen (de nuestro trabajo anterior (Yousefzadeh, 2020)) sobre la geometría de los conjuntos de datos de clasificación de imágenes (en el espacio de píxeles y características). Informamos que no hay evidencia de que la clasificación de imágenes sea simplemente una tarea de interpolación. Más bien, toda la evidencia indica que la tarea funcional de los modelos de clasificación de imágenes implica la extrapolación. Sin embargo, los estudios sobre la generalización de las DNN se centran únicamente en la interpolación, por ejemplo, (Belkin, 2021; Dar et al., 2021; Belkin et al., 2019b, a; Ma et al., 2018; Belkin et al., 2018 ), y la extrapolación está completamente ausente de su marco de estudio.111 Consulte el Apéndice B para obtener una discusión sobre la definición de interpolación y extrapolación. Hay estudios profundos sobre los aspectos geométricos de los modelos de clasificación de imágenes, por ejemplo, Cohen et al. 2020), sin embargo, dichos estudios no consideran la extrapolación. La extrapolación es significativa incluso en el espacio de características de 64 dimensiones aprendido por las DNN.
Dejar una contestacion