OPGAVEN
13.5 Overfitting en probleemrepresentatie
De grafiek in figuur 13.5.1 toont de gemiddelde fout van het meerlaags perceptron op een willekeurige taak. De getrokken lijn representeert de prestatie op de trainingset, de gestippelde lijn de prestatie op de testset.
Figuur 13.5.1 Gemiddelde fout op training- en testset
Op welk moment dient er volgens het early-stopping-criterium gestopt te worden met leren?
Een gegevensverzameling bestaande uit binaire vectoren dient geclassificeerd te worden. Vectoren die een of meer groepjes van drie opeenvolgende enen bevatten, behoren tot klasse A, alle overige vectoren tot klasse B. De volgende tabel toont een aantal voorbeelden en hun bijbehorende klasse.
vector | klasse |
01001001000110000010 | B |
01001110000010100100 | A |
01010101010101010101 | B |
00000011010000000000 | B |
11101110111001110011 | A |
10010010011001100111 | A |
Bedenk drie verschillende invoerrepresentaties voor een meerlaags perceptron dat wordt getraind op dit classificatieprobleem. Geef tevens aan welke representatie naar verwachting de beste resultaten oplevert.
De in dit hoofdstuk besproken algoritmen voor machinaal leren kunnen worden geplaatst op het abstractiecontinuüm dat loopt van géén abstractie (zoals bijvoorbeeld de directe opslag van voorbeelden in memory-based leeralgoritmen) tot volledige abstractie (uit alle voorbeelden wordt een nieuwe kennisrepresentatie geabstraheerd). Geef van alle algoritmen voor machinaal leren aan wat hun plaats is op het continuüm. Licht uw antwoord toe.