Aprendizaje Automático No Supervisado - Técnicas No Lineales

Flashcards de vocabulario sobre técnicas de reducción de dimensionalidad no lineal como t-SNE, MDS e Isomap.

Variedad (Manifold)

Una generalización de curva o superficie que localmente es euclídea.

t-SNE (t-Distributed Stochastic Neighbor Embedding)

Técnica que busca un espacio de menor dimensión (generalmente 2D o 3D) para facilitar la comprensión de los datos preservando las relaciones locales.

MDS (Multi Dimensional Scaling)

Técnica que intenta encontrar un espacio de menor dimensión al original que conserve las disimilitudes o distancias entre los puntos.

Isomap

Extensión de MDS que utiliza la estructura de variedad formada por los datos mediante el cálculo de distancias geodésicas.

Perplejidad (Perplexity)

Hiperparámetro de t-SNE que representa el número de vecinos relevantes o la cantidad de opciones en la distribución, definido como $\text{perplejidad}(p_i) = 2^{H(p_i)}$.

Entropía de Shannon

Medida del desorden o incertidumbre en una distribución de probabilidad, calculada como $H(p_i) = - \sum_j p_{j|i} \log_2(p_{j|i})$.

Problema de amontonamiento (The Crowding problem)

Fenómeno en el que puntos alejados en un espacio de alta dimensión tienden a acercarse de manera artificial al reducir la dimensionalidad debido a la pérdida de grados de libertad.

Divergencia de Kullback-Leibler

Medida de la cantidad de información perdida al usar una distribución $Q$ cuando la real es $P$; t-SNE busca minimizar esta divergencia entre los dos espacios.

Matriz de Gram (B)

Matriz utilizada en el MDS clásico que se obtiene a partir de las distancias al cuadrado mediante la fórmula $B = - \frac{1}{2} C D^{(2)} C$, donde $C$ es la matriz de centrado.

SMACOF

Siglas de Scaling by MAjorizing a COmplicated Function; es un método de optimización que utiliza una función auxiliar para minimizar la tensión en el MDS métrico.

Distancia Geodésica

En Isomap, es el camino más corto entre dos nodos calculado sobre un grafo de $k$-vecinos, habitualmente mediante algoritmos como Dijkstra o Floyd-Warshall.

Algoritmo de Dijkstra

Procedimiento para encontrar el camino más corto entre nodos de un grafo basándose en los pesos de las aristas.

Exageración temprana (Early exaggeration)

Parámetro de t-SNE que multiplica las probabilidades iniciales del espacio original para aumentar las fuerzas de atracción y evitar puntos aislados durante el inicio de la optimización.

Distancia de Minkowski

Generalización de métricas de distancia que incluye la de Manhattan ($p=1$), la euclídea ($p=2$) y la de Chebyshev ($p=\infty$).

Distancia de Hamming

Métrica que mide en cuántas posiciones difieren dos secuencias, definida como $d_H(x, y) = \sum \delta(x_i, y_i)$.

Distancia de Chebyshev

Métrica de distancia que toma el valor máximo de las diferencias entre coordenadas.

Distancia de Jaccard

Métrica que mide las diferencias entre dos conjuntos basándose en su intersección y unión.