Phase transition in multi-layered neural networks, statisitical physics and practical algorithms (backpropagation)

点击翻译按钮获取中文摘要

Mit Methoden der statistischen Physik soll das Training mehrschichtiger neuronaler Netzwerke mit differenzierbaren Aktivierungsfunktionen untersucht werden. Der Schwerpunkt soll auf Phasenübergängen in solchen Netzwerken liegen, die auftreten, wenn das Training auf einem festen Satz von Beispieldaten beruht.Um typische Ergebnisse für entsprechende Modellsituation zu erhalten, müssen Methoden der statistischen Physik ungeordneter Systeme angewandt und ggf. weiterentwickelt werden. Neben diesen analytischen Rechnungen sollen im Rahmen des Vorhabens auch numerische Simulationen durchgeführt werden. Insbesondere soll geklärt werden, inwieweit die Ergebnisse der statistischen Physik für praktische Lernverfahren, wie z.B. den bekannten Backpropagations-Algorithmus, relevant sind.