1/9
Looks like no tags are added yet.
¿Cuál es el objetivo de entrenamiento de un modelo de lenguaje (LLM) y qué consecuencia tiene?
Predecir el siguiente token de una secuencia; de esa tarea aparentemente sencilla emergen capacidades lingüísticas muy complejas.
¿Por qué los modelos actuales suelen tokenizar en subpalabras en lugar de palabras completas?
Porque permite representar tanto palabras frecuentes como palabras nuevas o poco habituales, evitando tratarlas como “desconocidas”.
Comparando el texto con otros tipos de datos (imagen, vídeo, audio), ¿qué lo hace especialmente complejo de representar computacionalmente?
Tanto el orden como el contexto tienen una importancia máxima para su significado.
¿Qué idea importante se destaca sobre las lenguas de bajos recursos?
Una lengua de bajos recursos no es necesariamente minoritaria, poco hablada o antigua; por ejemplo, el hindi tiene cientos de millones de hablantes pero históricamente menos recursos digitales que el inglés.
Según el tema, ¿de qué depende principalmente la cantidad de modelos disponibles para una lengua en Hugging Face?
Del prestigio socioeconómico de la lengua y de su presencia online (cantidad de lenguaje digitalizado disponible).
¿Qué significa realmente que un modelo de lenguaje presente sesgo lingüístico?
Que las desigualdades del ecosistema lingüístico y social digital se trasladan al comportamiento del modelo y se cronifican.
¿Qué diferencia principal existe entre la distribución de datos de entrenamiento de GPT-3 y de BLOOM?
GPT-3 tiene cerca de un 93% de sus datos en inglés, mientras que BLOOM se construyó con el corpus ROOTS, mucho más equilibrado entre lenguas.
En los ejemplos de sesgo de género en traducción automática, ¿qué tienden a hacer los sistemas ante una ambigüedad de género en inglés?
Resuelven la ambigüedad hacia el estereotipo de género asociado a la profesión (por ejemplo, “doctor” como hombre y “nurse” como mujer).
¿Qué papel desempeña el Barcelona Supercomputing Center (BSC-CNS) en el PLN español?
Es un centro de investigación público que, entre otras iniciativas, ha desarrollado ALIA, una familia de modelos en español, y debe compartir sus resultados como modelos abiertos.
¿Cuál es el objetivo principal de iniciativas como AINA y ALIA en España?
Desarrollar recursos, modelos y herramientas de PLN en catalán (AINA) y en español y lenguas cooficiales (ALIA), como alternativa abierta frente al predominio de modelos entrenados en inglés.