Estudo de Large Language Models (LLMs)

Flashcards de vocabulário abrangendo conceitos fundamentais de LLMs, incluindo embeddings, tokenização, mecanismos de atenção, funções de perda, fenômenos de emergência e engenharia de prompts.

Embeddings

Representações numéricas (vetores em espaço de alta dimensão) que capturam o significado semântico de palavras, frases ou imagens, permitindo entender relações através da distância vetorial.

Embeddings de palavras

Representação de palavras individuais como vetores.

Embeddings de sentenças

Representação de sequências inteiras de palavras como um único vetor para capturar o significado global da frase.

Word Tokenization

Processo que divide o texto em palavras inteiras.

Subword Tokenization

Divisão do texto em partes menores que uma palavra, mas maiores que um caractere, ideal para lidar com vocabulários grandes e morfologia complexa.

Character Tokenization

Divisão do texto em caracteres individuais, útil para idiomas sem limites claros entre palavras, embora gere sequências muito longas.

Byte-Pair Encoding (BPE)

Técnica de Subword Tokenization que inicia com caracteres e mescla progressivamente os pares mais frequentes.

WordPiece

Técnica de Subword Tokenization baseada na probabilidade de co-ocorrência.

Unigram

Técnica de Subword Tokenization que utiliza um modelo de linguagem para selecionar as subpalavras mais adequadas.

Self-Attention

Mecanismo que calcula a importância (peso) de cada palavra em relação a todas as outras na frase, utilizando vetores Query, Key e Value.

Multi-Head Attention

Uso de múltiplos mecanismos de atenção (tipicamente $8$ heads em Transformers) operando em paralelo para focar em diferentes aspectos sintáticos e semânticos.

Loss Function

Também chamada de Taxa de Erro, quantifica a diferença entre a previsão do modelo e o valor real durante o treinamento.

Overfitting

Fenômeno que ocorre quando o Training Loss diminui mas o Validation Loss aumenta, indicando que o modelo memorizou os dados mas não generaliza bem.

Cross-Entropy Loss

Função de perda comum em LLMs que mede a diferença entre a distribuição de probabilidade predita e a real, penalizando erros confiantes.

Emergência

Capacidades complexas que surgem de forma não-linear e imprevisível quando o modelo atinge um certo limiar de escala em parâmetros e dados.

In-context learning

Capacidade emergente de aprender a realizar tarefas a partir de exemplos fornecidos diretamente no prompt.

Chain of Thought (CoT)

Técnica de Prompt Engineering que solicita ao modelo que explique seu raciocínio passo a passo antes de fornecer a resposta final.

Few-Shot Learning

Técnica que envolve fornecer de $2$ a $5$ exemplos de entrada e saída no prompt para orientar o padrão de resposta do modelo.

Zero-Shot Prompting

Fornecimento de instruções diretas ao modelo sem incluir exemplos prévios.

Self-Ask Decomposition

Técnica que decompõe problemas complexos em sub-problemas menores, onde o modelo faz e responde perguntas intermediárias a si mesmo.

Clareza (Avaliação de Prompt)

Critério que verifica se o prompt utiliza verbos de ação específicos e evita ambiguidades.

Especificidade (Avaliação de Prompt)

Refere-se ao nível de detalhe, contexto e restrições (ex: número de parágrafos) fornecidos no prompt.

Formato de Saída

Especificação da estrutura desejada para a resposta, como JSON, lista, tabela ou parágrafos.