Wachsende neuronale Netze

Wachsende neuronale Netze sind der Vorwärtsselektion bei multipler linearer Regression sehr ähnlich. Das Ziel von wachsenden neuronalen Netzwerken ist, während des Wachstumsprozesses eine Merkmalsselektion durchzuführen.

Man startet mit einem neuronalen Netzwerk, das nur ein Eingangsneuron besitzt. Dann wird jedes einzelne Merkmal ausgewählt und das Netzwerk mit diesem Merkmal trainiert und evaluiert. Jenes Merkmal, das zu den besten Resultaten führt, wird dann dauerhaft mit dem ersten Neuron der Eingangsschicht verknüpft. Danach wächst das Netzwerk in seiner Eingangsschicht um ein Neuron und der Selektionsprozess wird auf dieselbe Weise wiederholt. So werden die besten Merkmale der vorhergenden Durchläufe mit jenem neuen Merkmal, das die größte Verbesserung der Leistung des Modells ergibt, kombiniert. Um das Netzwerk vor der mehrfachen Selektion eines Merkmals abzuhalten, werden diejenigen Merkmale, die schon selektiert worden sind, vom Rest des Selektionsprozesses ausgeschlossen. Der Prozess des Netzwerkswachstums wird abgebrochen, wenn ein Testdatensatz keine Verbesserung des Modells mehr zeigt.

Wachsende Netzwerke sind, was die Computerleistung betrifft, sehr anspruchsvoll, weil jeder einzelne Schritt der Merkmalsselektion ein Training des neuronalen Netzwerks verlangt. Trainingsmethoden wie back propagation sind bei wachsenden Netzwerken nicht einsetzbar, dazu benötigt man Netzwerke, die sehr schnell trainiert werden können (wie z.B. RBF-Netze).