In termini generali, i valori ottimali dei pesi associati ad un modello MLP sono determinati sulla base di una procedura estimativa iterativa, denominata algoritmo di addestramento (o di apprendimento). Gli algoritmi di addestramento maggiormente
utilizzati si fondano sulla metodologia EBP, alla cui base, a sua volta, si pone la metodologia di Discesa Rapida del Gradiente (DRG). Nell'ambito di algoritmi di addestramento di questo tipo, dopo aver effettuato un'operazione di inizializzazione casuale dei pesi, le coppie di input-output appartenenti ad un prefissato insieme di dati
, ,

vengono iterativamente presentate al modello MLP fintantoché, attraverso opportune operazioni di modifica (aggiornamento) dei pesi, non si raggiunga il minimo (assoluto) di una funzione di costo predefinita, funzione che
esprima una misura della distanza che intercorre tra gli output desiderati e i corrispondenti output che il modello MLP calcola. Una tipica funzione di costo è la seguente:

(2.2.1)

dove

P è il numero delle coppie di input-output appartenenti al prefissato insieme di dati,
n è la dimensione dello spazio di output,
o, più semplicemente, ,con , sono gli elementi del p-esimo vettore degli output calcolati dal modello MLP (il cui valore dipende da quello assunto dai pesi di iterazione in iterazione) e
, sono, infine, gli elementi del p-esimo vettore degli output desiderati.[2 Per questi motivi, tali procedure iterative di stima sono anche denominate procedure (a carattere batch)
di apprendimento supervisionato]. In modo particolare, l'aggiornamento dei pesi si ottiene retropropagando opportunamente il valore assunto dalla funzione di costo, cioè il livello di errore negli output, dallo strato di output, attraverso gli strati nascosti, fino allo strato iniziale di input, nel modo seguente:

dove
, è il valore, alla q-esima iterazione (od epoca) dell'algoritmo, del peso associato all'arco che connette l'i-esimo nodo dell'(l-1)-esimo strato con il k-esimo nodo dell'lesimo strato,

, è il valore, alla medesima iterazione, dell'aggiornamento del peso stesso,

, è un parametro denominato tasso di apprendimento,

è il valore, sempre alla stessa iterazione, assunto dalla derivata parziale della funzione di costo rispetto al peso stesso e T, infine, è il numero di iterazioni richieste dall'algoritmo d'addestramento (numero che risulta implicitamente definito da un'opportuna regola di stop-learning fissata
inizialmente).

In particolare, è possibile provare che la forma funzionale dell'aggiornamento parametrico

è diversa se si considerano pesi associati ad archi che confluiscono in nodi dello strato finale di output (cioè se l=L) oppure pesi i cui archi confluiscono in nodi appartenenti ad uno degli strati nascosti ,cioè se l .

La procedura iterativa di stima utilizzata per eccellenza può essere riassunta nel modo che segue:

Step 1 Prendi in considerazione l'insieme di dati D contenente le coppie di inputoutput.

Step 2 Inizializza t = 0 ed inizializza casualmente il valore dei pesi con
.

Step 3 Aggiorna il valore dei parametri retropropagando il livello d'errore così come descritto nella procedura (a carattere batch) di apprendimento supervisionato.

Step 4 Aggiorna t ponendo

Step 5 Se il criterio di stop-learning non è soddisfatto allora ritorna allo Step 3 altrimenti termina.

In un algoritmo di apprendimento come questo è particolarmente rilevante il ruolo assunto dalla regola di arresto dell'apprendimento. La versione classica di regola stop-learning risulta soddisfatta a quella T-esima iterazione dell'algoritmo di apprendimento in cui il livello d'errore rilevato ( ) E T non sia superiore al valore di una prefissata soglia suddetta E . Ad una scelta procedurale di questo tipo, tuttavia, può
accompagnarsi un fenomeno sfavorevole denominato iperapprendimento, consistente nella possibilità che l'algoritmo di apprendimento individui relazioni funzionali, tra i vettori di input x ed i vettori di output y delle coppie input-output appartenenti al
prefissato insieme di dati D, in realtà inesistenti. Allo scopo di evitare il manifestarsi di possibili inconvenienti di questo tipo, alcuni autori suggeriscono di utilizzare un criterio di stop-learning basato sulla Metodologia di Discesa Concorrente dell'errore (MDC) (ad esempio si veda [Hecht-Nielsen, 1990] e [Hertz et al., 1991]). In un approccio così
definito, l'insieme di dati iniziale contenente le coppie di input-output viene, prima di tutto, convenientemente suddiviso in due sottoinsiemi ad intersezione vuota, il training set ed il testing (o validation) set ( ) e, successivamente, l'algoritmo di apprendimento viene applicato iterativamente al training set , finché non sia raggiunto il minimo (assoluto) della funzione di costo calcolata sul testing set .

Successivo: La costruzione del modello neuro - computazionale

Sommario: Indice