Co'Scienza: il know-how del nostro Gruppo di Ricerca al servizio degli altri
|
Il nostro gruppo di ricerca mette a disposizione di aziende e privati un know-how più che ventennale sulla ricerca di frontiera inerente le reti neurali ed il machine learning e, più in generale, l'analisi di dati complessi.
Gli algoritmi che sviluppiamo -e le relative architetture neurali che costruiamo ogni volta "ex-novo"- vengono pianificati ad hoc -su misura del problema in esame- ma risultano oltremodo versatili e robusti: con modifiche minori si possono adattare ad un'ingente pletora di diverse analisi dati simili rendendone vantaggioso il loro sviluppo. Si vedano qui di seguito alcuni esempi concreti. Per vedere quali problemi pratici abbiamo affrontato in passato si veda la sezione "past research" (link here): questa può servire sia per farsi un'idea delle tecniche sia dei soggetti: abbiamo lavorato estensivamente ad un'ingente moltitudine di problemi, prevalentemente di quantitative-biology & health-care, ma anche su problemi sociali ed economici. |
Nota: il primo lavoro del nostro gruppo sulle reti neurali è datato 2008: link alla rivista (molto prima del boom del machine learning in atto)...
Prof. Adriano BarraCo-Funder & Group Leader
Professore di Reti Neurali e "Neural Networks & Learning Macihens" (advanced coruse) presso Sapienza. |
Prof. Elena AgliariCo-Funder & Group Leader
Professore di "Mathematical models for Neural Networks" & "Mathematics of Machine Learning" presso Sapienza |
Prof. Alberto FachechiSenior scientist, permanent researcher & Responsabile di Calcolo. Professore di "Statistical Learning" & "Mathematics for Data Science" presso Sapienza
|
Esempi di recenti sviluppi della nostra ricerca in Reti Neurali, Machine Learning e Artificial Intelligence
Nota: per vedere esempi di applicazioni concrete si veda invece la pagina dedicata "past research"
1) The exponential storage problem.
Qui il problema che si affronta è il seguente: al momento la nostra società raddoppia la produzione di dati digitali ed il loro stoccaggio è diventato un problema serio, basti pensare che major companies (quali, e.g. Amazon, Microsoft, etc.) hanno dato vita al progetto di raccogliere i dati in rack da storage grossomodo "standard" ma, per moderare i costi di raffreddamento, hanno immerso questi servers nell'oceano (si da sfruttare il calore latente dell'acqua e non incidere -o almeno in misura minore- sull'impiego della corrente elettrica). In questo lavoro abbiamo sviluppato un'architettura neurale che permette un "exponential storage" di dati, a dire, una rete neurale che -se composta da N neuroni- permette di immagazzinare un numero di dati esponenziale in N.
Per approfondire si veda il lavoro: Yet another exponential Hopfield model (2025)
Per approfondire si veda il lavoro: Replica symmetric picture of supervised learning in dense neural networks (2023)
2) The pattern disentanglement problem
Qui il problema che si affronta è il seguente: si immagini di prendere dei segnali (che si vuole riconoscere) e mischiarli tra di loro (e.g. combinare linearmente tre patterns) per produrre come output questo segnale composito (o "pattern spurio" a seconda del gergo). Il problema è costruire una rete neurale che, prendendo in pasto il pattern spurio sia in grado di separarne i patterns elementari e restituirli correttamente (cioè fare "pattern disentanglement") si da riotterne puliti i segnali di partenza che sono stati mischiati (o "criptati").
Per approfondire questo lavoro: Networks of neural networks, more is different (2024)
Per approfondire questo lavoro: Generalized hetero-associative neural networks (2023)
3) The small repository problem
Qui il problema è il seguente: non sempre riusciamo ad avere abbondanza di dati e ci sono scenari in cui al massimo si ottiene (e.g. dagli esperimenti) un dataset esiguo dal quale gli algoritmi standard del machine learning (e.g. contrastive divergence o backpropagation su loss function quadratiche) faticano ad estrapolarne i patterns, i.e., l'informazione utlie in esso contenuta (con conseguente incapacità di fare generalizzazione, fare pattern recognition, denoising, etc.). Lo scopo è allora costruire architetture neurali, e relativi algoritmi di apprendimento automatico, in grado di fare inferenza con pochissimi dati, i.e. pochissimi esempi per pattern (interessantemente, imitando computazionalmente i meccanismi del sonno nei mammiferi, delle "dreaming neural networks" riescono a risparmiare anche il 90% del training set preservando le stesse performance).
Per approfondire questo lavoro: Hebbian dreaming for small datasets (2024)
Per approfondire questo lavoro: Dreaming neural networks (2022)
4) The hidden patterns and the signal-to-noise tradeoff
Qui il problema è il seguente: abbiamo un segnale flebile sperso in un mare di rumore e sistemi di signal detection che operano alla soglia standard di Signal-to-Noise (i.e. l'ampiezza del segnale deve almeno lambire quella media del rumore) falliscono. Lo scopo allora è costruire architetture neurali, e relativi algoritmi di apprendimento automatico, che riescano a variare alla bisogna la loro signal-to-noise threshold per fare pattern detection. Questo tipo di reti, dette reti neurali dense, riescono a fare un compromesso tra pattern storage e risoluzione della signal-to-noise a dire, possono sacrificare storage di memoria per abbassare la loro soglia di detection permettendo di scovare un pattern anche molto flebile, nascosto in una marea di dati rumorosi.
Per approfondire questo lavoro: Redundant neural networks detecting the undetectable (2020)
Per approfondire questo lavoro: Tolerance versus synaptic noise in dense associative memories (2020)
Nota: per vedere esempi di applicazioni concrete si veda invece la pagina dedicata "past research"
1) The exponential storage problem.
Qui il problema che si affronta è il seguente: al momento la nostra società raddoppia la produzione di dati digitali ed il loro stoccaggio è diventato un problema serio, basti pensare che major companies (quali, e.g. Amazon, Microsoft, etc.) hanno dato vita al progetto di raccogliere i dati in rack da storage grossomodo "standard" ma, per moderare i costi di raffreddamento, hanno immerso questi servers nell'oceano (si da sfruttare il calore latente dell'acqua e non incidere -o almeno in misura minore- sull'impiego della corrente elettrica). In questo lavoro abbiamo sviluppato un'architettura neurale che permette un "exponential storage" di dati, a dire, una rete neurale che -se composta da N neuroni- permette di immagazzinare un numero di dati esponenziale in N.
Per approfondire si veda il lavoro: Yet another exponential Hopfield model (2025)
Per approfondire si veda il lavoro: Replica symmetric picture of supervised learning in dense neural networks (2023)
2) The pattern disentanglement problem
Qui il problema che si affronta è il seguente: si immagini di prendere dei segnali (che si vuole riconoscere) e mischiarli tra di loro (e.g. combinare linearmente tre patterns) per produrre come output questo segnale composito (o "pattern spurio" a seconda del gergo). Il problema è costruire una rete neurale che, prendendo in pasto il pattern spurio sia in grado di separarne i patterns elementari e restituirli correttamente (cioè fare "pattern disentanglement") si da riotterne puliti i segnali di partenza che sono stati mischiati (o "criptati").
Per approfondire questo lavoro: Networks of neural networks, more is different (2024)
Per approfondire questo lavoro: Generalized hetero-associative neural networks (2023)
3) The small repository problem
Qui il problema è il seguente: non sempre riusciamo ad avere abbondanza di dati e ci sono scenari in cui al massimo si ottiene (e.g. dagli esperimenti) un dataset esiguo dal quale gli algoritmi standard del machine learning (e.g. contrastive divergence o backpropagation su loss function quadratiche) faticano ad estrapolarne i patterns, i.e., l'informazione utlie in esso contenuta (con conseguente incapacità di fare generalizzazione, fare pattern recognition, denoising, etc.). Lo scopo è allora costruire architetture neurali, e relativi algoritmi di apprendimento automatico, in grado di fare inferenza con pochissimi dati, i.e. pochissimi esempi per pattern (interessantemente, imitando computazionalmente i meccanismi del sonno nei mammiferi, delle "dreaming neural networks" riescono a risparmiare anche il 90% del training set preservando le stesse performance).
Per approfondire questo lavoro: Hebbian dreaming for small datasets (2024)
Per approfondire questo lavoro: Dreaming neural networks (2022)
4) The hidden patterns and the signal-to-noise tradeoff
Qui il problema è il seguente: abbiamo un segnale flebile sperso in un mare di rumore e sistemi di signal detection che operano alla soglia standard di Signal-to-Noise (i.e. l'ampiezza del segnale deve almeno lambire quella media del rumore) falliscono. Lo scopo allora è costruire architetture neurali, e relativi algoritmi di apprendimento automatico, che riescano a variare alla bisogna la loro signal-to-noise threshold per fare pattern detection. Questo tipo di reti, dette reti neurali dense, riescono a fare un compromesso tra pattern storage e risoluzione della signal-to-noise a dire, possono sacrificare storage di memoria per abbassare la loro soglia di detection permettendo di scovare un pattern anche molto flebile, nascosto in una marea di dati rumorosi.
Per approfondire questo lavoro: Redundant neural networks detecting the undetectable (2020)
Per approfondire questo lavoro: Tolerance versus synaptic noise in dense associative memories (2020)