Lezione 13 - Language models (INTRO)

Che cosa prevede la rappresentazione esplicita del linguaggio (approcci tradizionali)?

Il linguista (o annotatore) specifica esplicitamente la struttura linguistica (testo > tokenizzazione > annotazione linguistica > struttura sintattica)

Che cosa prevede la rappresentazione statistica e distribuzionale del linguaggio (Language Models)?

Il modello apprende automaticamente regolarità linguistiche osservando grandi quantità di testo (corpora > statistiche e contesti > distribuzioni e probabilità > predizione del prossimo token)

Cosa sono gli unigrammi?

Distribuzioni di frequenza di parole

Che cos’è l’andamento zipfiano del vocabolario?

La distribuzione delle parole in un corpus è caratterizzata da poche parole con frequenza molto alta e molte parole con frequenza molto bassa (e hapax)

Quale problema comporta l’andamento zipfiano?

La data sparsity: un corpus avrà pochissime occorrenze di gran parte delle parole che contiene

Che cos’è la probabilità?

È una funzione che assegna un numero a un certo evento (aleatorio) per quantificare il suo grado di incertezza

Che cosa si intende per probabilità classica?

La probabilità di un evento è il rapporto tra il numero dei casi favorevoli e il numero di casi possibili (purché questi ultimi siano ugualmente possibili). In questo caso la probabilità è stabilita a priori, prima di guardare i dati

Che cosa si intende per probabilità frequentista?

La probabilità di un evento si può approssimare in funzione della frequenza relativa del suo verificarsi in un certo numero di prove effettuate nelle stesse condizioni. La probabilità di un evento è il limite della frequenza relativa dell’evento

Che cosa fa solitamente un modello probabilistico del linguaggio (language model o n-gram model)?

• Assegna una distribuzione di probabilità a una sequenza di parole o a un’intera frase > P (w) = P (w1, w2, w3, w4, …, wn)

• Assegna una distribuzione di probabilità a una parola in entrata, data una serie di parole già incontrate > P (w5 | w1,w2,w3,w4)

Che cosa afferma l’assunzione di Markov?

Possiamo stimare la probabilità di una parola sulla base di un contesto ristretto di parole precedenti. Il numero di parole che includiamo nel contesto definisce l’ordine del modello n-gram

Che cos’è il Berkeley Restaurant Project?

Un dataset contenente domande in linguaggio naturale poste da utenti reali a un sistema di question answering

Che cos’è la Chain Rule (regola della catena di probabilità)?

Data una sequenza (potenzialmente infinita) di parole, la probabilità dell’intera sequenza è data dal prodotto delle probabilità condizionate delle singole parole

Che cos’è la perplessità?

Formalizza l’idea intuitiva che il modello migliore è quello che assegna una probabilità più alta alle frasi (o sequenze di parole) contenute nel test set. La sua formula corrisponde all’inverso del valore della probabilità che il modello assegna al test set normalizzato sul totale delle parole del test set

Che cos’è lo Shannon Visualization Method?

Un language model può essere inteso come un meccanismo generativo in grado di predire la parola successiva dato un certo contesto