UITWERKINGEN
13.5 Overfitting en probleemrepresentatie
Volgens het early-stopping criterium dient er gestopt te worden met leren zodra de prestatie op de testset afneemt. Dat is het geval zodra de gestippelde lijn gaat stijgen. Op dat moment moet dus worden gestopt.
Er zijn verschillende mogelijkheden:
ieder element van de invoervector kan toegevoerd worden naar één invoerperceptron
de invoervector kan opgeknipt worden in rijtjes van drie (of een ander aantal)
elementen die steeds toegevoerd worden aan de invoerperceptrons
er kunnen invoerrijtjes gemaakt worden van de invoervector door ieder element van
de invoervector, samen met de twee volgende elementen in de vector, als invoerrijtje te
definiëren.
De laatste methode heeft waarschijnlijk het beste resultaat, want op die wijze is een
rijtje van drie opéénvolgende enen in ieder geval minstens éénmaal een invoerelement
en hoeft het neuraal netwerk dus alleen maar te detecteren of een dergelijke situatie al
dan niet voorkomt.
In dit hoofdstuk zijn drie machinaal leren algoritmen besproken: model-based learning, beslisbomen en neurale netwerken. Elders is reeds opgemerkt dat bij model-based learning in het geheel niet wordt geabstraheerd. Bij beslisbomen en neurale netwerken worden wel kennisrepresentaties opgebouwd. Bij beslisbomen zijn die interpreteerbaar, bij neurale netwerken vrijwel nooit. Als dit laatste onderscheid wordt meegenomen, in die zin dat meer intrepretatie een hogere mate van abstractie betekent, dan kunnen de machinaal leren algoritmen op onderstaande wijze op het abstractiecontinuüm worden geplaatst.
Figuur 13.5.2 Machinaal leren algoritmen op het abstractiecontinuüm