Today Mario Zarco graduated with honors from UNAM’s Master’s degree in Computer Science and Engineering for his work on self-optimization in neural networks.
The title and extended abstract of his thesis are as follows:
Estudio de Auto-Optimización en Redes Neuronales de Hopfield
Mario Alberto Zarco López
Las redes neuronales de Hopfield de tiempo discreto, cuya dinámica presentan múltiples atractores de punto fijo, han sido ampliamente usadas en dos casos: (1) memoria asociativa, basada en aprender un conjunto de patrones de entrenamiento los cuales son representados por atractores, y (2) optimización, basado en representar un problema de satisfaccion de restricciones con la topología de la red de tal forma que los atractores sean soluciones de ese problema. En el ultimo caso, la función de energía de la red debe tener la misma forma que la función a ser optimizada, de modo que los m´ınimos de la primera también sean mínimos de la segunda. Aunque se ha demostrado que los atractores de baja energía tienen un amplio domino de atracción, la red usualmente queda atrapada en mínimos locales. Recientemente se demostró que las redes de Hopfield de tiempo-discreto pueden converger en atractores globalmente óptimos ampliando las mejores cuencas de atracción. La red combina el aprendizaje de sus propios atractores usando aprendizaje Hebbiano y la aleatorizacion de los estados neuronales una vez que la red ha reforzada su configuración actual.
Dado que el optimo global tiene subpatrones en común con muchos locales óptimos, el fortalecimiento de los atractores de alta energía a través del aprendizaje tiene el potencial de reforzar los atractores de baja energía incluso antes de que la red converge en estos últimos por primera vez. El denominado proceso de auto-modelado esta restringido a ser aplicado a matrices de pesos simétricos sin conexiones auto-recurrentes. En este trabajo se relajan las restricciones de este proceso de auto-optimizacion mediante el uso de redes neuronales de Hopfield en tiempo continuo con matriz de pesos asimétricos y conexiones auto-recurrentes.
El uso de una función de activación continua provoca que los atractores se mueven hacia la esquina del hipercubo del espacio de fase cuando se están ref orzando los patrones aprendidos por la red. Aunque los atractores ya no son ni binarios ni están estabilizados de la misma manera que en el modelo discreto de Hopfield, la memoria asociativa permite a la red de Hopfield de tiempo continuo generalizar sobre los patrones aprendidos de tal manera que al reforzar óptimos locales también se refuerzan optimos que son superiores con respecto a la satisfacción de restricciones. El proceso de auto-modelado puede explotar la estructura de la red para encontrar configuraciones globalmente optimas, incluso si no se encontró una correlación positiva entre la energía de los atractores y el numero de restricciones satisfechas.
4E Cognition Group 