Aprendizaje Automático No Supervisado: Técnicas No Lineales

Flashcards de vocabulario sobre técnicas de reducción de dimensionalidad no lineal: t-SNE, MDS e Isomap.

Relación No Lineal

Situación en la que técnicas como PCA resultan ineficaces para reducir la dimensionalidad porque los datos no se ajustan a proyecciones lineales.

Variedad (Manifold)

En geometría, es una generalización de curva o superficie que localmente es euclídea.

t-SNE

Técnica que busca encontrar un espacio de menor dimensión (2D o 3D) preservando las relaciones locales mediante la comparación de probabilidades de similitud.

Perplejidad (Perplexity)

Hiperparámetro de t-SNE que representa el número de vecinos relevantes y se calcula a partir de la entropía de Shannon ($H(p_i)$).

Entropía de Shannon

Medida del desorden en una distribución; en t-SNE se define como $H(p_i) = - \sum_j p_{j|i} \log_2 (p_{j|i})$.

Crowding Problem (Problema de Hacinamiento)

Fenómeno donde puntos alejados en el espacio de alta dimensión tienden a juntarse artificialmente al reducir la dimensionalidad debido a la pérdida de grados de libertad.

Distribución t-Student

Distribución utilizada en el espacio reducido de t-SNE para mitigar el problema de hacinamiento, permitiendo mayores distancias para puntos con baja probabilidad de vecindad.

Divergencia de Kullback-Leibler

Medida de información perdida (entropía relativa) al usar una distribución $Q$ cuando la real es $P$; es la función que t-SNE minimiza.

Momento ($\alpha$)

Parámetro de inercia en la optimización de t-SNE que ayuda a estabilizar el proceso y evitar mínimos locales basándose en la dirección de la actualización anterior.

Exageración Temprana

Factor que multiplica las probabilidades iniciales en el espacio original para aumentar las fuerzas de atracción y evitar que puntos queden aislados al inicio del algoritmo t-SNE.

MDS (Multi Dimensional Scaling)

Técnica que busca un espacio de menor dimensión preservando las disimilitudes (medida de diferencia) entre los puntos.

Matriz de Gram

Matriz ($B$) utilizada en MDS clásico, definida como $B = - \frac{1}{2} C D^{(2)} C$, donde $D^{(2)}$ son las distancias al cuadrado y $C$ es la matriz de centrado.

Distancia de Manhattan

Métrica de distancia donde solo es posible el movimiento en cuadrícula, correspondiente al parámetro $p=1$ de la distancia de Minkowski.

Distancia de Chebyshev

Métrica que mide la distancia basándose únicamente en la coordenada donde la diferencia es máxima ($p = \infty$ en Minkowski).

Distancia de Hamming

Métrica que cuenta el número de posiciones en las que dos secuencias de datos difieren.

Tensión (Stress)

Función que el MDS métrico busca minimizar para ajustar las distancias proyectadas a las distancias originales.

SMACOF

Algoritmo de optimización (Scaling by MAjorizing a COmplicated Function) utilizado para minimizar la tensión en MDS mediante funciones auxiliares.

IsoMap

Extensión de MDS que utiliza distancias geodésicas en lugar de euclídeas para preservar la estructura intrínseca de los datos.

Distancia Geodésica

El camino más corto entre dos puntos siguiendo la superficie o variedad formada por los datos; en Isomap se calcula sobre un grafo de vecinos.

Algoritmo de Dijkstra

Método utilizado por Isomap para encontrar el camino más corto entre nodos en un grafo para estimar distancias geodésicas.