LCA Tema 2.2

0.0(0)
Studied by 0 people
call kaiCall Kai
learnLearn
examPractice Test
spaced repetitionSpaced Repetition
heart puzzleMatch
flashcardsFlashcards
GameKnowt Play
Card Sorting

1/9

encourage image

There's no tags or description

Looks like no tags are added yet.

10 Terms

1
New cards

¿Cuál es el objetivo de entrenamiento de un modelo de lenguaje (LLM) y qué consecuencia tiene?

Predecir el siguiente token de una secuencia; de esa tarea aparentemente sencilla emergen capacidades lingüísticas muy complejas.

2
New cards

¿Por qué los modelos actuales suelen tokenizar en subpalabras en lugar de palabras completas?

Porque permite representar tanto palabras frecuentes como palabras nuevas o poco habituales, evitando tratarlas como “desconocidas”.

3
New cards

Comparando el texto con otros tipos de datos (imagen, vídeo, audio), ¿qué lo hace especialmente complejo de representar computacionalmente?

Tanto el orden como el contexto tienen una importancia máxima para su significado.

4
New cards

¿Qué idea importante se destaca sobre las lenguas de bajos recursos?

Una lengua de bajos recursos no es necesariamente minoritaria, poco hablada o antigua; por ejemplo, el hindi tiene cientos de millones de hablantes pero históricamente menos recursos digitales que el inglés.

5
New cards

Según el tema, ¿de qué depende principalmente la cantidad de modelos disponibles para una lengua en Hugging Face?

Del prestigio socioeconómico de la lengua y de su presencia online (cantidad de lenguaje digitalizado disponible).

6
New cards

¿Qué significa realmente que un modelo de lenguaje presente sesgo lingüístico?

Que las desigualdades del ecosistema lingüístico y social digital se trasladan al comportamiento del modelo y se cronifican.

7
New cards

¿Qué diferencia principal existe entre la distribución de datos de entrenamiento de GPT-3 y de BLOOM?

GPT-3 tiene cerca de un 93% de sus datos en inglés, mientras que BLOOM se construyó con el corpus ROOTS, mucho más equilibrado entre lenguas.

8
New cards

En los ejemplos de sesgo de género en traducción automática, ¿qué tienden a hacer los sistemas ante una ambigüedad de género en inglés?

Resuelven la ambigüedad hacia el estereotipo de género asociado a la profesión (por ejemplo, “doctor” como hombre y “nurse” como mujer).

9
New cards

¿Qué papel desempeña el Barcelona Supercomputing Center (BSC-CNS) en el PLN español?

Es un centro de investigación público que, entre otras iniciativas, ha desarrollado ALIA, una familia de modelos en español, y debe compartir sus resultados como modelos abiertos.

10
New cards

¿Cuál es el objetivo principal de iniciativas como AINA y ALIA en España?

Desarrollar recursos, modelos y herramientas de PLN en catalán (AINA) y en español y lenguas cooficiales (ALIA), como alternativa abierta frente al predominio de modelos entrenados en inglés.