Seminari

Il primo seminario del ciclo, su uno dei temi più interessanti della ricerca sull'AI safety: la mechanistic interpretability.

Quando un large language model rifiuta una richiesta, cosa succede realmente al suo interno? Possiamo identificare i meccanismi responsabili di questo comportamento e intervenire direttamente su di essi? Attraverso un esempio pratico legato al refusal behavior, vedremo come la mechanistic interpretability possa aiutarci a comprendere meglio il funzionamento interno degli LLM e a modificarne il comportamento.

Come si fa a capire se un testo è stato scritto da un modello linguistico? Una risposta è far firmare al modello ciò che scrive: un watermark nascosto nella scelta delle parole, invisibile a chi legge ma riconoscibile da chi possiede la chiave.

Partendo dal paper che l'ha proposto, vedremo come funziona la tecnica e quali sono i suoi limiti. Un talk introduttivo, senza prerequisiti. Per un'anteprima, c'è il post di Carlo sul tema sul suo Substack.

Cosa percepiscono davvero i modelli Transformer? Molti metodi di interpretability assumono che lo spazio degli input sia piatto ed euclideo, ma durante l'addestramento le reti deformano i propri spazi di rappresentazione: input molto diversi possono essere equivalenti per il modello, mentre piccole variazioni possono cambiarne l'output.

Il talk presenta un approccio basato sulla geometria riemanniana per individuare gli insiemi di input che il modello considera equivalenti, e per muoversi al loro interno e attraverso i loro confini. Propone poi la geometria differenziale, più che l'algebra lineare, come linguaggio per capire le reti neurali.