Informations

Attracteurs parasites dans les réseaux de Hopfield

Attracteurs parasites dans les réseaux de Hopfield


We are searching data for your request:

Forums and discussions:
Manuals and reference books:
Data from registers:
Wait the end of the search in all databases.
Upon completion, a link will appear to access the found materials.

Un "réseau Hopfield" classique est un type de réseau de neurones artificiels dans lequel les unités sont bistables et entièrement interconnectées par des connexions pondérées symétriquement. En 1982, Hopfield a montré que de tels réseaux sont caractérisés par une « fonction énergétique », sous laquelle les mémoires stockées correspondent à des minima énergétiques locaux [1].

Dans un article de 1983 [2], Hopfield et al ont en outre montré que les « faux souvenirs » (minimums d'énergie locaux créés pendant l'entraînement, en plus des modèles cibles visés) peuvent être supprimés par une « procédure de désapprentissage », au cours de laquelle le réseau est autorisé à plusieurs reprises à se détendre à partir d'états aléatoires, et les états résultants sont ensuite "désappris" par des ajustements de poids anti-Hebbian. La procédure affecte davantage les faux souvenirs que les "souvenirs appris" souhaitables, améliorant ainsi les performances de rappel. Cependant, le document n'explique pas pourquoi cela devrait être ainsi.

Un article de 2004 de Robins et McCallum [3] démontre que les faux souvenirs peuvent être distingués des souvenirs appris parce que leurs « profils énergétiques » sont différents. Plus précisément, le rapport entre les contributions énergétiques les plus faibles et les plus élevées des unités individuelles est significativement plus faible dans les états correspondant à des souvenirs parasites que dans les états correspondant à des souvenirs appris. Encore une fois, l'effet n'est pas pris en compte (sauf pour une explication partielle provisoire).

Mes questions sont :

  1. Existe-t-il une relation entre ces deux résultats, c'est-à-dire que le « rapport énergétique » plus faible des états parasites explique leur plus grande susceptibilité au désapprentissage ?
  2. Des explications à l'un ou à l'autre de ces phénomènes ont-elles été avancées depuis la publication des articles ?
  3. Existe-t-il d'autres moyens de supprimer ou de détecter les faux souvenirs dans la famille Hopfield des réseaux de neurones ?

[1] Hopfield, J.J. (1982). Réseaux de neurones et systèmes physiques avec des capacités de calcul collectives émergentes. Actes de l'Académie nationale des sciences, 79(8), 2554 -2558.

[2] Hopfield, J.J., Feinstein, D.I. et Palmer, R.G. (1983). Le « désapprentissage » a un effet stabilisateur dans les mémoires collectives. Nature, 304(5922), 158-159.

[3] Robins, A.V., & McCallum, S.J.R. (2004). Une méthode robuste pour distinguer les attracteurs appris et faux. Réseaux de neurones, 17(3), 313-326. doi:10.1016/j.neunet.2003.11.007


Je pense que votre intuition sur le "rapport énergétique" inférieur des états parasites expliquant leur plus grande susceptibilité au désapprentissage pourrait être correcte.

Dans un réseau Hopfield, les états parasites sont des modèles d'activité qui n'ont pas été explicitement intégrés dans la matrice synaptique, mais qui sont néanmoins stables. Il s'agit en d'autres termes d'états attracteurs « non désirés » qui, en vertu d'un recouvrement fini avec les états attracteurs « désirés », se présentent comme un minimum local dans la fonction énergétique. La règle de désapprentissage de Hopfield et al. (1983) consiste à modifier la matrice synaptique de manière à diminuer l'énergie des états stables dans lesquels s'installe la dynamique du réseau, qu'il s'agisse d'états parasites ou encastrés. Parce que les états parasites ont une énergie plus élevée que les états intégrés, ils sont plus fortement affectés par l'étape de désapprentissage.

Maintenant, pourquoi les états parasites ont-ils une énergie plus élevée que les états attracteurs intégrés ? Eh bien, ce n'est pas vrai en général, mais c'est le cas dans un régime où le réseau Hopfield ne dépasse pas sa capacité de chargement, c'est-à-dire lorsque le nombre de motifs appris sur le nombre d'unités $p/N$ est inférieur à la capacité critique $alpha_capprox0.138$. Dans ce régime, il est possible d'estimer le chevauchement des états parasites avec les motifs appris, et de montrer qu'il est généralement inférieur à $1$ (le chevauchement des motifs appris avec eux-mêmes). En raison de la façon dont la construction Hebbian de la matrice synaptique dans le modèle de Hopfield, ces chevauchements sont des termes qui apparaissent dans la fonction énergétique. L'énergie d'un motif est notamment proportionnelle à moins la racine carrée de son chevauchement avec les motifs appris. Cela signifie que les modèles parasites ont une énergie plus élevée que les modèles appris.

En général, ce genre de considérations naïves doit être appuyée par des arguments plus rigoureux basés sur la théorie des probabilités. Ceux-ci indiquent par exemple que même pour le régime inférieur à $alpha_c$ les motifs récupérés sont en fait des états parasites dès que le nombre de motifs embarqués $p$ dépasse au-dessus de $frac{N}{2ln N}$. De tels états parasites ont cependant un chevauchement si élevé avec les modèles appris (0,97 $) qu'ils coïncident fondamentalement avec eux.

Ce résultat et ses généralisations pour la température non nulle (c'est-à-dire le bruit dans la dynamique) et au-delà de la capacité critique ont été élaborés dans l'article très technique suivant :

  • Amit D.J, Gutfreund H et Sompolinsky H (1987) Mécanique statistique des réseaux de neurones près de la saturation. Anne. Phys. (New York) 173, 30

et dans le livre :

  • Amit D.J, (1992) Modélisation de la fonction cérébrale : le monde des réseaux de neurones attracteurs. Cambridge University Press, ISBN : 9780521421249


Voir la vidéo: Coder un simple réseau de neurone - Se former à Tensorflow #5 (Juin 2022).


Commentaires:

  1. Waeringawicum

    I will not consent

  2. Padgett

    Cette belle phrase vient d'être gravée

  3. Bomani

    À mon avis, ils ont tort. Écrivez-moi dans PM, discutez-en.

  4. Launfal

    Volontiers j'accepte. Un thème intéressant, je vais participer. Ensemble nous pouvons arriver à la bonne réponse. Je suis assuré.

  5. Kadal

    Quelle charmante question

  6. Ondrus

    Je vous recommande de visiter le site avec un grand nombre d'articles sur le sujet qui vous intéresse.

  7. Mosar

    Chaque personne est lui-même pi @ dec de son propre bonheur ... negrophilia, moins nous aimons une femme, plus la main est fatiguée. Il y a une telle ville - des conseils de cul pour les utilisateurs de Windows - baise votre patience!

  8. Narmer

    Un peu déçu de vos joyaux, vous ne voyez que la pointe de l'iceberg comme d'habitude, creusez plus profondément



Écrire un message