Neural Networks & Learning Machines
[click here for the English version]
Nota: il corso occuperà una finestra temporale esigua (di poco superiore al mese) e le lezioni totali frontali prenderanno un totale di 30 ore per un valore di 4 CFU.
|
Corso avanzato per il dottorato di ricerca
Da prospettiva storica il corso analizza modelli e metodi matematici espliciti inerenti la processazione d'informazione emergente in reti di neuroni (biologici o artificiali, ma opportunamente stilizzati). Dopo una succinta infarinatura di meccanica statistica, processi stocastici ed inferenza statistica, partendo dai primi modelli per l'emissione di un segnale elettrico dal singolo neurone approderemo a studiarne le interazioni in semplici architetture neurali, analizzando le capacità di apprendimento statistico di cui tali reti fruiscono. In particolare, in ragione del Premio Nobel per la Fisica conferito nel 2024 a John Hopfield e Geoffrey Hinton per i loro pionieristici studi sulle reti neurali, si porrà particolare enfasi sui loro contributi e sullo stretto connubio che tra questi esiste. Il leitmotif metodologico sarà la meccanica statistica dei sistemi complessi (i.e. la teoria di Parisi, Nobel per la Fisica nel 2021) con il suo annesso pacchetto di osservabili e strumenti tipici (repliche, overlaps, etc.). |
Libri di testo consigliati:
A.C.C. Coolen, R. Kuhn, P. Sollich, Theory of neural information processing systems, Oxford University Press (Amazon link)
D.J. Amit, Modeling brain function, Cambridge University Press (Amazon link)
Prerequisiti:
Nessuno oltre la laurea magistrale in Computer Science, Ingegneria, Fisica o Matematica (l'ordine è alfabetico).
Un'infarinatura di processi stocastici, inferenza statistica e meccanica statistica certamente agevola la fruizione del corso.
Crucci:
Per qualunque cruccio scrivere al docente all'indirizzo nome.cognome[at]uniroma1.it
In calce gli argomenti. Quelli scritti in questo colore probabilmente non saranno trattati in questo A.A.
A.C.C. Coolen, R. Kuhn, P. Sollich, Theory of neural information processing systems, Oxford University Press (Amazon link)
D.J. Amit, Modeling brain function, Cambridge University Press (Amazon link)
Prerequisiti:
Nessuno oltre la laurea magistrale in Computer Science, Ingegneria, Fisica o Matematica (l'ordine è alfabetico).
Un'infarinatura di processi stocastici, inferenza statistica e meccanica statistica certamente agevola la fruizione del corso.
Crucci:
Per qualunque cruccio scrivere al docente all'indirizzo nome.cognome[at]uniroma1.it
In calce gli argomenti. Quelli scritti in questo colore probabilmente non saranno trattati in questo A.A.
Lezione Uno
|
1) il modello di Erhenfest (statica e dinamica): il II PTD tra macroscopico e microscopico.
2) quantità estensive vs intensive: legge dei grandi numeri e teorema del limite centrale. 3) l'entropia di Shannon nel microcanonico, i bounds di MacKay e lotterie di Shannon-MacMillan. 4) il principio di Gibbs ed il riduzionismo statistico: l'importanza di funzioni costo quadratiche. 5) l'equazione di Fourier: il limite al continuo del random walk e la soluzione Gaussiana dalla delta. 6) il principio di massima entropia di Jaynes: tra meccanica statistica ed inferenza statistica. 7) il teorema di Liouville, la critica di Zermelo, il problema del box counting ed il mixing. 8) la mappa logistica: la genesi del chaos deterministico nell'incertezza dei problemi di Cauchy. |
Lezione Due
|
1) Funzioni di Lyapounov, stabilità dei sistemi dinamici e relativi bacini di attrazione.
2) rudimenti di meccanica statistica: energie, entropie, energie libere. 3) rudimenti di processi stocastici: bilancio dettagliato, ergodicità, irriducibilità e teorema di Markov. 4) la minimizzazione dinamica dell'energia libera: il bound di Boltzmann à la Amit. 5) equivalenza dell'entropia di Boltzmann con quelle di Gibbs e di Shannon nel canonico. 6) il neurone biologico: dalla pompa sodio-potassio al modello "integrate & fire" di Stein. 7) Il perceptrone di Rosenblatt e la critica di Minsky & Papert: dal soggetto alle interazioni. |
Lezione Tre 1) modelli one-body: struttura fattorizzata delle distribuzioni di Gibbs e risposta sigmoidale m(h).
2) il modello di Curie-Weiss (conto diretto): rottura di ergodicità e di simmetria, transizioni di fase.
Video: Kuramoto 3) teoria gaussiana: interpolazione di Guerra per media (magnetizzazione) e varianza (suscettività).
4) teoria lagrangiana: equazione di Hamilton-Jacobi e Burgers. Transizioni & biforcazioni di Hopf.
5) integrale gaussiano e soluzione del modello di Curie-Weiss mediante il punto di sella.
6) analogia strutturale tra risposta nei ferromagneti e risposta negli amplificatori operazionali.
2) il modello di Curie-Weiss (conto diretto): rottura di ergodicità e di simmetria, transizioni di fase.
Video: Kuramoto 3) teoria gaussiana: interpolazione di Guerra per media (magnetizzazione) e varianza (suscettività).
4) teoria lagrangiana: equazione di Hamilton-Jacobi e Burgers. Transizioni & biforcazioni di Hopf.
5) integrale gaussiano e soluzione del modello di Curie-Weiss mediante il punto di sella.
6) analogia strutturale tra risposta nei ferromagneti e risposta negli amplificatori operazionali.
Lezione Quattro 1) la rete neurale come modello di spin glass: prime generalità su vetri di spin e reti neurali.
2) dinamica neurale come processo di Markov. Stato stazionario e descrizione à la Boltzmann.
3) la Hebb learning rule e la proposta di Hopfield per la memoria associativa: teoria AGS.
4) il modello di Hopfield nel basso carico mediante la log-constrained entropy à la Coolen.
5) il modello di Hopfield nel basso carico mediante l'interpolazione di Guerra.
6) il modello di Hopfield nel basso carico mediante la tecnica di Hamilton-Jacobi.
2) dinamica neurale come processo di Markov. Stato stazionario e descrizione à la Boltzmann.
3) la Hebb learning rule e la proposta di Hopfield per la memoria associativa: teoria AGS.
4) il modello di Hopfield nel basso carico mediante la log-constrained entropy à la Coolen.
5) il modello di Hopfield nel basso carico mediante l'interpolazione di Guerra.
6) il modello di Hopfield nel basso carico mediante la tecnica di Hamilton-Jacobi.
Lezione Cinque 1) il modello di Sherrington-Kirkpatrick: vetri di spin in campo medio, ulteriori generalità.
2) il self-averaging e la descrizione replica simmetrica dell'SK con il metodo del replica trick.
3) teoria gaussiana: l'interpolazione di Guerra replica simmetrica per il modello SK: medie.
4) teoria gaussiana: l'interpolazione di Guerra replica simmetrica per il modello SK: varianze.
5) teoria lagrangiana: equazione di Hamilton-Jacobi e Burgers. Transizioni & biforcazioni di Hopf.
6) la rottura di simmetria di replica (RSB) di Parisi. L'importanza dell'RSB nelle reti neurali.
7) un cenno alla dinamica: aging (FDT-violation) e importanza della descrizione via trap models.
2) il self-averaging e la descrizione replica simmetrica dell'SK con il metodo del replica trick.
3) teoria gaussiana: l'interpolazione di Guerra replica simmetrica per il modello SK: medie.
4) teoria gaussiana: l'interpolazione di Guerra replica simmetrica per il modello SK: varianze.
5) teoria lagrangiana: equazione di Hamilton-Jacobi e Burgers. Transizioni & biforcazioni di Hopf.
6) la rottura di simmetria di replica (RSB) di Parisi. L'importanza dell'RSB nelle reti neurali.
7) un cenno alla dinamica: aging (FDT-violation) e importanza della descrizione via trap models.
Lezione Sei 1) la rete neurale di Hopfield nell'alto carico mediante replica trick: soluzione replica simmetrica.
2) la rete neurale di Hopfield nell'alto carico mediante interpolazione di Guerra: soluzione RS.
3) una prospettiva diversa: la teoria della Gardner ed il bound di Kohonen
4) variazioni sul tema 1: le reti neurali "multi-tasking" ed il richiamo parallelo multiplo.
5) variazioni sul tema 2: le reti neurali "dreaming" e lo storage massimale di Kanter-Sompolinsky.
6) variazioni sul tema 3: le reti neurali etero-associative di Kosko ed il disentanglement di segnali.
7) variazioni sul tema 4: le reti idiotipiche di Jerne-Varela e la distinzione self-nonself.
8) le reti diluite e asimmetriche di Derridà, Gardner e Zippelius
9) il limite di Curie-Weiss ed il limite di Sherrington-Kirkpatrick
2) la rete neurale di Hopfield nell'alto carico mediante interpolazione di Guerra: soluzione RS.
3) una prospettiva diversa: la teoria della Gardner ed il bound di Kohonen
4) variazioni sul tema 1: le reti neurali "multi-tasking" ed il richiamo parallelo multiplo.
5) variazioni sul tema 2: le reti neurali "dreaming" e lo storage massimale di Kanter-Sompolinsky.
6) variazioni sul tema 3: le reti neurali etero-associative di Kosko ed il disentanglement di segnali.
7) variazioni sul tema 4: le reti idiotipiche di Jerne-Varela e la distinzione self-nonself.
8) le reti diluite e asimmetriche di Derridà, Gardner e Zippelius
9) il limite di Curie-Weiss ed il limite di Sherrington-Kirkpatrick
Lezione Sette 1) il metodo della massima verosimiglianza e gli stimatori. Inferenza statistica e dinamica sinaptica.
2) i problemi inversi: stima di media (magnetizzazione) e varianza (suscettività) nel Curie-Weiss.
3) il modulo del riflesso condizionato di Pavlov: apprendimento mediante due ODE multiscala.
4) il modulo del riflesso condizionato generalizzato: il limite di AGS per tempi lunghi.
5) il modulo del riflesso condizionato di Pavlov: richiami persistenti e genesi di ossessioni.
6) l'entropia di Kullback-Leibler e la mutua informazione.
2) i problemi inversi: stima di media (magnetizzazione) e varianza (suscettività) nel Curie-Weiss.
3) il modulo del riflesso condizionato di Pavlov: apprendimento mediante due ODE multiscala.
4) il modulo del riflesso condizionato generalizzato: il limite di AGS per tempi lunghi.
5) il modulo del riflesso condizionato di Pavlov: richiami persistenti e genesi di ossessioni.
6) l'entropia di Kullback-Leibler e la mutua informazione.
Lezione Otto 1) La macchina di Boltzmann: la teoria statistica di Hinton per la dinamica sinaptica.
2) L'apprendimento supervisionato (o con teacher): la tecnica "contrastive divergence".
3) L'apprendimento non supervisionato e gli annessi problemi concettuali.
4) Equivalenza tra rete neurale di Hopfield e rete neurale di Hinton: learning & retrieval.
5) uno sguardo ai datasets (random, mnist/fashion-mnist, cifar-10), features & grandmother cells.
6) Equivalenza generalizzata per reti eteroassociative: grappoli di cellule grandmother interagenti.
2) L'apprendimento supervisionato (o con teacher): la tecnica "contrastive divergence".
3) L'apprendimento non supervisionato e gli annessi problemi concettuali.
4) Equivalenza tra rete neurale di Hopfield e rete neurale di Hinton: learning & retrieval.
5) uno sguardo ai datasets (random, mnist/fashion-mnist, cifar-10), features & grandmother cells.
6) Equivalenza generalizzata per reti eteroassociative: grappoli di cellule grandmother interagenti.
Lezione Nove 1) una tecnica semplice per un'analisi grossolana ma efficace: la signal-2-noise (S2N).
2) apprendimento Hebbiano da esempi senza il teacher via S2N: scaling per la generalizzazione.
3) apprendimento Hebbiano da esempi con il teacher via S2N: scaling per la generalizzazione.
4) apprendimento Hebbiano in reti equipaggiate con la capacità di dormire via S2N: small datasets.
5) apprendimento Hebbiano dal principio di massima entropia: cost functions e loss functions.
6) il principio di massima entropia costringendo momenti oltre media e varianza: le reti dense.
7) altre variazioni sul tema: la K-sat ed il coloring.
8) altre variazioni sul tema: il problema del commesso viaggiatore à la Hopfield & Tank
2) apprendimento Hebbiano da esempi senza il teacher via S2N: scaling per la generalizzazione.
3) apprendimento Hebbiano da esempi con il teacher via S2N: scaling per la generalizzazione.
4) apprendimento Hebbiano in reti equipaggiate con la capacità di dormire via S2N: small datasets.
5) apprendimento Hebbiano dal principio di massima entropia: cost functions e loss functions.
6) il principio di massima entropia costringendo momenti oltre media e varianza: le reti dense.
7) altre variazioni sul tema: la K-sat ed il coloring.
8) altre variazioni sul tema: il problema del commesso viaggiatore à la Hopfield & Tank
Lezione Dieci 1) le reti neurali dense: learning, storage & retrieval nella pittura replica simmetrica.
2) le reti neurali dense: abbassare la soglia segnale/rumore del retrieval sacrificando lo storage.
3) le reti neurali dense: learning, storage & retrieval nella pittura a simmetria di replica rotta.
4) i modelli esponenziali ed i problemi moderni dello storage: calore latente ed altre scappatoie.
5) le deep Boltzmann machines: telai densi vs telai profondi.
6) gli esperimenti sulle place cells: l'alta connettività dell'ippocampo.
7) gli esperimenti di Bialek: il patch clamp ed il multielectrode array alla massima entropia.
2) le reti neurali dense: abbassare la soglia segnale/rumore del retrieval sacrificando lo storage.
3) le reti neurali dense: learning, storage & retrieval nella pittura a simmetria di replica rotta.
4) i modelli esponenziali ed i problemi moderni dello storage: calore latente ed altre scappatoie.
5) le deep Boltzmann machines: telai densi vs telai profondi.
6) gli esperimenti sulle place cells: l'alta connettività dell'ippocampo.
7) gli esperimenti di Bialek: il patch clamp ed il multielectrode array alla massima entropia.
SINOSSI DEL CORSO Il corso è articolato in tre sezioni principali:
1) La prima sezione serve ad assicurarci di condividere una conoscenza scientifica di base (pre-requisito ovviamente necessario per muovere insieme i primi passi verso un'intelaiatura matematica formale delle reti neurali). In estrema sintesi si suppliranno allo studente rudimenti di Meccanica Statistica, Processi Stocastici ed Inferenza Statistica rivisitando insieme alcuni argomenti fondamentali (adattati per questo corso) di pertinenza canonica di queste tre discipline.
2) La seconda sezione introduce invece metodi e modelli matematici atto a caratterizzare quantitativamente sistemi semplici e sistemi complessi in meccanica statistica, i quali risulteranno fondamentali per una successiva analisi matematica del funzionamento delle reti neurali da una prospettiva sistemica teorica. In questa sezione sviluppiamo in dettaglio i metodi matematici necessari alla descrizione ed alla comprensione della fenomenologia che questi sistemi mostrano (dalla rottura spontanea di ergodicità alla rottura spontanea di simmetria di replica) dotandoci tanto di metodi oltremodo efficaci seppur euristici (di largo impiego in approcci di Fisica Teorica à la Parisi, e.g. “replica trick”, “message passage”, etc.), quanto di metodi più rigorosi (appannaggio del know-how di Fisica Matematica à la Guerra, e.g. “stochastic stability”, “cavity fields”, etc.).
3) L'ultima e preponderante sezione è invece completamente dedita alle reti neurali e ricalca la via maestra tracciata da Amit, Gutfreund & Sompolinsky: dopo una succinta descrizione (sempre in termini matematici) dei meccanismi cardine inerenti modelli di neurone biologico -e.g. l'integrate&fire di Stein (alla stregua della loro implementazione elettronica, e.g. il perceptrone di Rosenblatt)- e la propagazione d'informazione tra questi mediante assoni e dendriti, vedremo i limiti della computazione a singolo neurone guardandola da diverse prospettive (e.g. la critica di Minsky & Papert nella costruzione di porte logiche, etc.). Spostato il focus dal soggetto (il neurone) alle sue interazioni (le reti neurali), a seguire costruiremo quindi “reti di neuroni” e ne studieremo le proprietà emergenti (cioè non immediatamente deducibili guardando al comportamento del singolo neurone), persistendo in una prospettiva di meccanica statistica. Nello specifico, proveremo a vedere come queste reti siano in grado di apprendere ed astrarre "archetipi" guardando esempi suppliti dal mondo esterno e come, successivamente, queste reti usino quanto appreso per rispondere opportunamente, qualora stimolate, al mondo esterno svolgendo compiti quali "pattern recognition", "associative memory", "pattern disentanglement", etc. Capiremo inoltre come queste a volte possano sbagliare, e perché. Particolare enfasi si darà alla modellizazione di fenomeni tipici delle reti neurali biologiche quali, e.g. il modulo del riflesso condizionato di Pavlov, la naturale capacità di operare multi-tasking e la parimenti naturale necessità di alternare fasi "on-line" a fasi "sleeping" e se ne discuteranno i vantaggi nell'eventuale implementazione nella controparte artificiale.
Usando le reti neurali di Hopfield e Hinton come leitmotif per le variazioni sul tema che verranno discusse, la sezione si chiuderà mostrando la profonda equivalenza strutturale e computazionale tra queste due teorie, il pattern recognition di Hopfield e lo statistical learning di Hinton, unificando questi pilastri della disciplina in un unico e coerente scenario per il fenomeno della "cognizione": idealmente -ed auspicabilmente- alla fine del corso lo studente dovrebbe essere in grado di poter proseguire autonomamente nell'approfondimento di questi argomenti. In particolare questi dovrebbe poter essere in grado, interagendo in team un domani, di svolgere un ruolo complementare alle figure del computer-scientist e dell'ingegnere dell'informazione, interessandosi alle loro stesse tematiche, ma offrendo una diversa prospettiva, intrinsecamente più astratta e sintetica (a dire cioè dove la miriade di ricette di algoritmica che ogni giorno produciamo trovi una collocazione naturale) aiutando nell'ottimizzazione del gruppo di ricerca stesso.
Tempo permettendo (cosa non ovvia), ci permetteremo di aprire una finestra sulla processazione d'informazione spontanea in altri sistemi biologici (un esempio di processazione intra-cellulare offerto dalle cinetiche di reazione cooperative ed uno extra-cellulare offerto dalle reti linfocitarie) per mettere in risalto come queste proprietà di processazione d'informazione non siano tipiche solo delle reti neurali quanto, piuttosto, fenomeni naturali abbastanza comuni nei sistemi complessi.
OBBIETTIVI FORMATIVI
Lo scopo del corso è condividere con lo studente i concetti salienti e, parimenti, fornire allo studente gli strumenti cardine, affinché questi possa continuare autonomamente la sua crescita culturale nell'ambito delle reti neurali e del machine learning da una prospettiva prettamente formale: il presente corso brama essere un corso teorico di “meccanica statistica delle reti neurali e dell'apprendimento automatico”.
L'ambizione ultima è riuscire a porsi domande (cum grano salis) sui principi primi di funzionamento dell'AI (traendo ispirazione da analogie con la processazione d'informazione in reti biologiche) e, ove possibile rispondere, capire come impostare il problema nel suo complesso all'interno di una cornice matematica consona affinché queste reti neurali non siano viste assolutamente come delle "black boxes".
Come nota tecnica si pone rilievo sul fatto che il corso è strutturato in maniera "metodologicamente simmetrica" in questo senso: tratteremo tutti i principali modelli (i.e. Curie-Weiss, Sherrington-Kirkpatrick, Hopfield, Boltzmann) mediante le stesse tecniche (il metodo del punto-sella/replica trick, la tecnca dell'interpolazione à la Guerra e gli approcci mediante equazioni alle derivate parziali) di volta in volta opportunamente plasmate sul modello in studio: questo dovrebbe agevolare lo studente nel prendere dimistichezza con le tecniche stesse -oltre che con la particolare rete neurali in esame- al fine di renderlo autonomo nello studio di nuove architetture neurali e/o algoritmi di apprendimento dai dati.
1) La prima sezione serve ad assicurarci di condividere una conoscenza scientifica di base (pre-requisito ovviamente necessario per muovere insieme i primi passi verso un'intelaiatura matematica formale delle reti neurali). In estrema sintesi si suppliranno allo studente rudimenti di Meccanica Statistica, Processi Stocastici ed Inferenza Statistica rivisitando insieme alcuni argomenti fondamentali (adattati per questo corso) di pertinenza canonica di queste tre discipline.
2) La seconda sezione introduce invece metodi e modelli matematici atto a caratterizzare quantitativamente sistemi semplici e sistemi complessi in meccanica statistica, i quali risulteranno fondamentali per una successiva analisi matematica del funzionamento delle reti neurali da una prospettiva sistemica teorica. In questa sezione sviluppiamo in dettaglio i metodi matematici necessari alla descrizione ed alla comprensione della fenomenologia che questi sistemi mostrano (dalla rottura spontanea di ergodicità alla rottura spontanea di simmetria di replica) dotandoci tanto di metodi oltremodo efficaci seppur euristici (di largo impiego in approcci di Fisica Teorica à la Parisi, e.g. “replica trick”, “message passage”, etc.), quanto di metodi più rigorosi (appannaggio del know-how di Fisica Matematica à la Guerra, e.g. “stochastic stability”, “cavity fields”, etc.).
3) L'ultima e preponderante sezione è invece completamente dedita alle reti neurali e ricalca la via maestra tracciata da Amit, Gutfreund & Sompolinsky: dopo una succinta descrizione (sempre in termini matematici) dei meccanismi cardine inerenti modelli di neurone biologico -e.g. l'integrate&fire di Stein (alla stregua della loro implementazione elettronica, e.g. il perceptrone di Rosenblatt)- e la propagazione d'informazione tra questi mediante assoni e dendriti, vedremo i limiti della computazione a singolo neurone guardandola da diverse prospettive (e.g. la critica di Minsky & Papert nella costruzione di porte logiche, etc.). Spostato il focus dal soggetto (il neurone) alle sue interazioni (le reti neurali), a seguire costruiremo quindi “reti di neuroni” e ne studieremo le proprietà emergenti (cioè non immediatamente deducibili guardando al comportamento del singolo neurone), persistendo in una prospettiva di meccanica statistica. Nello specifico, proveremo a vedere come queste reti siano in grado di apprendere ed astrarre "archetipi" guardando esempi suppliti dal mondo esterno e come, successivamente, queste reti usino quanto appreso per rispondere opportunamente, qualora stimolate, al mondo esterno svolgendo compiti quali "pattern recognition", "associative memory", "pattern disentanglement", etc. Capiremo inoltre come queste a volte possano sbagliare, e perché. Particolare enfasi si darà alla modellizazione di fenomeni tipici delle reti neurali biologiche quali, e.g. il modulo del riflesso condizionato di Pavlov, la naturale capacità di operare multi-tasking e la parimenti naturale necessità di alternare fasi "on-line" a fasi "sleeping" e se ne discuteranno i vantaggi nell'eventuale implementazione nella controparte artificiale.
Usando le reti neurali di Hopfield e Hinton come leitmotif per le variazioni sul tema che verranno discusse, la sezione si chiuderà mostrando la profonda equivalenza strutturale e computazionale tra queste due teorie, il pattern recognition di Hopfield e lo statistical learning di Hinton, unificando questi pilastri della disciplina in un unico e coerente scenario per il fenomeno della "cognizione": idealmente -ed auspicabilmente- alla fine del corso lo studente dovrebbe essere in grado di poter proseguire autonomamente nell'approfondimento di questi argomenti. In particolare questi dovrebbe poter essere in grado, interagendo in team un domani, di svolgere un ruolo complementare alle figure del computer-scientist e dell'ingegnere dell'informazione, interessandosi alle loro stesse tematiche, ma offrendo una diversa prospettiva, intrinsecamente più astratta e sintetica (a dire cioè dove la miriade di ricette di algoritmica che ogni giorno produciamo trovi una collocazione naturale) aiutando nell'ottimizzazione del gruppo di ricerca stesso.
Tempo permettendo (cosa non ovvia), ci permetteremo di aprire una finestra sulla processazione d'informazione spontanea in altri sistemi biologici (un esempio di processazione intra-cellulare offerto dalle cinetiche di reazione cooperative ed uno extra-cellulare offerto dalle reti linfocitarie) per mettere in risalto come queste proprietà di processazione d'informazione non siano tipiche solo delle reti neurali quanto, piuttosto, fenomeni naturali abbastanza comuni nei sistemi complessi.
OBBIETTIVI FORMATIVI
Lo scopo del corso è condividere con lo studente i concetti salienti e, parimenti, fornire allo studente gli strumenti cardine, affinché questi possa continuare autonomamente la sua crescita culturale nell'ambito delle reti neurali e del machine learning da una prospettiva prettamente formale: il presente corso brama essere un corso teorico di “meccanica statistica delle reti neurali e dell'apprendimento automatico”.
L'ambizione ultima è riuscire a porsi domande (cum grano salis) sui principi primi di funzionamento dell'AI (traendo ispirazione da analogie con la processazione d'informazione in reti biologiche) e, ove possibile rispondere, capire come impostare il problema nel suo complesso all'interno di una cornice matematica consona affinché queste reti neurali non siano viste assolutamente come delle "black boxes".
Come nota tecnica si pone rilievo sul fatto che il corso è strutturato in maniera "metodologicamente simmetrica" in questo senso: tratteremo tutti i principali modelli (i.e. Curie-Weiss, Sherrington-Kirkpatrick, Hopfield, Boltzmann) mediante le stesse tecniche (il metodo del punto-sella/replica trick, la tecnca dell'interpolazione à la Guerra e gli approcci mediante equazioni alle derivate parziali) di volta in volta opportunamente plasmate sul modello in studio: questo dovrebbe agevolare lo studente nel prendere dimistichezza con le tecniche stesse -oltre che con la particolare rete neurali in esame- al fine di renderlo autonomo nello studio di nuove architetture neurali e/o algoritmi di apprendimento dai dati.