UITWERKINGEN
13.4 Neurale netwerken
a Het eerste en het derde figuurtje is wel met een perceptron te classificeren,
het is immers mogelijk een beslislijn in deze figuurtjes te tekenen, waarbij alle zwarte
rondjes aan de ene zijde van de lijn en alle witte rondjes aan de andere zijde van de lijn
komen te liggen. Voor het tweede figuurtje is dat niet het geval en classificatie is
hierbij niet mogelijk met een perceptron.
b Een beslisboom kan zo gedetailleerd worden gemaakt als gewenst wordt. Als er een
eindig aantal voorbeelden zijn kunnen deze perfect worden geclassificeerd. Alle figuurtjes
zijn dus te classificeren met beslisbomen.
Figuur 13.4.6
Als beide attributen 1 zijn, dan moet het perceptron ook klasse 1 toekennen. Dit is weergegeven in figuur 13.4.6. De beslislijn scheidt de twee verschillende klassen.
Als e = 0, dan is f(e) =
1/2, voor willekeurige l ongelijk aan 0. Als e toeneemt, dan stijgt f(e) en dat gaat sneller naarmate l kleiner is. De limietwaarde 1 verandert niet, maar wordt sneller benaderd. Als e kleiner wordt vanaf 0, dan daalt f(e) en dat gaat sneller naarmate l kleiner is. Als l klein is, dan loopt de grafiek dus in de buurt van e = 0 steiler, dan wanneer l groot is.Als de activatiefunctie van het meerlaags perceptron een lineaire functie zou zijn, dan zou het meerlaagse perceptron gereduceerd kunnen worden tot een enkellaags perceptron en alleen nog maar lineair separabele klassen kunnen classificeren.
Met één verborgen laag zijn al vrijwel alle problemen aan te pakken. Meer lagen maken het risico van overfitting groter en vergroten bovendien in ernstige mate de leertijd.
Als de gewichten met te grote stappen worden aangepast, dan kan het zijn dat er te verwordt doorgeschoten en er geen oplossing wordt gevonden.
Het meerlaags perceptron kan ook niet-lineaire problemen oplossen en kan dus alle drie de voorbeelden in opgave 13.4.1 aan.