UITWERKINGEN

13.4 Neurale netwerken

Uitwerking 13.4.1

a – Het eerste en het derde figuurtje is wel met een perceptron te classificeren, het is immers mogelijk een beslislijn in deze figuurtjes te tekenen, waarbij alle zwarte rondjes aan de ene zijde van de lijn en alle witte rondjes aan de andere zijde van de lijn komen te liggen. Voor het tweede figuurtje is dat niet het geval en classificatie is hierbij niet mogelijk met een perceptron.
b – Een beslisboom kan zo gedetailleerd worden gemaakt als gewenst wordt. Als er een eindig aantal voorbeelden zijn kunnen deze perfect worden geclassificeerd. Alle figuurtjes zijn dus te classificeren met beslisbomen.

> Opgave 13.4.1

Uitwerking 13.4.2

fi130406.gif (1003 bytes)

Figuur 13.4.6

Als beide attributen 1 zijn, dan moet het perceptron ook klasse 1 toekennen. Dit is weergegeven in figuur 13.4.6. De beslislijn scheidt de twee verschillende klassen.

> Opgave 13.4.2

Uitwerking 13.4.3

Als e = 0, dan is f(e) = 1/2, voor willekeurige l ongelijk aan 0. Als e toeneemt, dan stijgt f(e) en dat gaat sneller naarmate l kleiner is. De limietwaarde 1 verandert niet, maar wordt sneller benaderd. Als e kleiner wordt vanaf 0, dan daalt f(e) en dat gaat sneller naarmate l kleiner is. Als l klein is, dan loopt de grafiek dus in de buurt van e = 0 steiler, dan wanneer l groot is.

> Opgave 13.4.3

Uitwerking 13.4.4

Als de activatiefunctie van het meerlaags perceptron een lineaire functie zou zijn, dan zou het meerlaagse perceptron gereduceerd kunnen worden tot een enkellaags perceptron en alleen nog maar lineair separabele klassen kunnen classificeren.

> Opgave 13.4.4

Uitwerking 13.4.5

Met één verborgen laag zijn al vrijwel alle problemen aan te pakken. Meer lagen maken het risico van overfitting groter en vergroten bovendien in ernstige mate de leertijd.

> Opgave 13.4.5

Uitwerking 13.4.6

Als de gewichten met te grote stappen worden aangepast, dan kan het zijn dat er ‘te ver’wordt doorgeschoten en er geen oplossing wordt gevonden.

> Opgave 13.4.6

Uitwerking 13.4.7

Het meerlaags perceptron kan ook niet-lineaire problemen oplossen en kan dus alle drie de voorbeelden in opgave 13.4.1 aan.

> Opgave 13.4.7