Novel language models and methods for semantic representation learning, self-supervised retrieval, and summarization

Comprendere il linguaggio naturale rappresenta una delle sfide più affascinanti e complesse che ha coinvolto centinaia di ricercatori nell'ultimo secolo. La ricchezza e la varietà del linguaggio, utilizzato quotidianamente in una miriade di contesti da persone di ogni età e professione, rendono la sua elaborazione da parte dei computer un obiettivo di grande rilevanza. Dalla scrittura di un'email alla lettura di un giornale, dall'ascolto di un podcast alla semplice interazione sui social media, il linguaggio emerge come il mezzo comunicativo universale, rendendo cruciale lo sviluppo di sistemi in grado di comprenderlo e di interagire naturalmente con l'utente. La realizzazione di interfacce che parlano e comprendono la lingua umana non solo rappresenta un passo avanti nel campo dell'interazione uomo-macchina, ma ha il potenziale di rivoluzionare il nostro modo di vivere, rendendo la tecnologia più accessibile e intuitiva per tutti, abbattendo barriere e riducendo le curve di apprendimento. Oggigiorno, assistiamo a significativi progressi in questo ambito, con lo sviluppo di chatbot avanzati, large language models e diffusion models che trasformano il modo in cui interagiamo con la tecnologia. È già possibile, ad esempio, generare immagini dettagliate partendo da una semplice descrizione, progettare interi siti web o ricevere consigli personalizzati esprimendo le proprie esigenze nella lingua di preferenza. Tuttavia, al cuore di questa trasformazione giace una questione fondamentale, che costituisce l'oggetto di questa tesi: come possiamo insegnare ai computer a comprendere realmente il significato nascosto dietro le parole umane? In questo lavoro di tesi, ci addentriamo nell'analisi di questa complessa relazione uomo-macchina, esaminando i limiti attuali delle reti neurali, come i transformers, e affrontando ostacoli concreti, quali la carenza di dati annotati. Inoltre, introdurremo nuove strategie volte a mitigare, se non risolvere, queste problematiche.